Dict_combine不起作用

tok: TaggingTokenization = HanLP[‘tok/fine’]
tok.dict_force = None
tok.dict_combine = {}
print(f’合并模式:\n{HanLP(“您好,我是天下行于萌,有什么可以帮您的?”)[“tok/fine”]}’)

[‘您’, ‘好’, ‘,’, ‘我’, ‘是’, ‘天下’, ‘行于萌’, ‘,’, ‘有’, ‘什么’, ‘可以’, ‘帮’, ‘您’, ‘的’, ‘?’]

tok.dict_combine = {’天下行’}
print(f’合并模式:\n{HanLP(“您好,我是天下行于萌,有什么可以帮您的?”)[“tok/fine”]}’)

[‘您’, ‘好’, ‘,’, ‘我’, ‘是’, ‘天下’, ‘行于萌’, ‘,’, ‘有’, ‘什么’, ‘可以’, ‘帮’, ‘您’, ‘的’, ‘?’]

Hanlp version: 2.1.0a36
如上所示,dict_combine有些场景无效,请问是否有强制分词或提高词的权重的办法,改善这个问题,谢谢。

https://hanlp.hankcs.com/docs/api/hanlp/components/tokenizers/transformer.html
参考下这里介绍

1赞