假设现在有1000条评论，有纯中文，有纯英文，以及中英文混合。想问一下怎么能将这些文本分词，是先分类成三类再针对不同的类分别进行分词，还是可以直接分词？如果，再自定义词典中加入英文分词字典，可以直接分吗？
中文分词与英文分词是不同的
所以语言请保持一种风格进行分词识别
假设现在有1000条评论，有纯中文，有纯英文，以及中英文混合。想问一下怎么能将这些文本分词，是先分类成三类再针对不同的类分别进行分词，还是可以直接分词？如果，再自定义词典中加入英文分词字典，可以直接分吗？
中文分词与英文分词是不同的
所以语言请保持一种风格进行分词识别