如何进行同文本中 中英文分词

假设现在有1000条评论,有纯中文,有纯英文,以及中英文混合。想问一下怎么能将这些文本分词,是先分类成三类再针对不同的类分别进行分词,还是可以直接分词?如果,再自定义词典中加入英文分词字典,可以直接分吗?

中文分词与英文分词是不同的
所以语言请保持一种风格进行分词识别