作者大大,求助,我在win上,通过遍历循环的方式加载了自定义词典,大概600w词量,可以加载成功,并启动分词服务的
但一样的代码在linux上执行时,加载了自定义词典后,过一会就显示 killed状态了
如下代码
beauty_vocab = set()
self.HanLP_TEST = hanlp.load(hanlp.pretrained.mtl.CLOSE_TOK_POS_NER_SRL_DEP_SDP_CON_ELECTRA_SMALL_ZH) # 世界最大中文语料库
tok = self.HanLP_TEST[‘tok/coarse’]
with open(file_path, ‘r’, encoding=‘utf-8’) as fin:
for line in fin:
beauty_vocab.add(line.strip())
tok.dict_combine = beauty_vocab
到这一步加载进tok.dict_combine 就显示
在win是不会的,请问这种是什么原因造成的呢,谢谢