请问本地部署的时候crf nlp分词速度相比其他分词速度很慢很慢,是什么原因?Hanlp其他分词器的分词速度是crf和nlp分词速度的很多倍
HanLP1.x分词包含
- HMM-Bigram(速度与精度最佳平衡;一百兆内存)
- 由字构词(侧重精度,全世界最大语料库,可识别新词;适合NLP任务)
- 词典分词(侧重速度,每秒数千万字符;省内存)
- 极速词典分词 等等。
不同分词器适用于不同场景,您可以在
测试相关分词速度。 其中极速分词是词典最长分词,速度极其快,精度一般。在i7-6700K上跑出了4500万字每秒的速度。
多谢!nlp和crf两个基于算法的,是不是需要支持GPU的设备才行啊
cpu就可以,机器学习的算法cpu都可以快速运行加载的。