微调模型例子中,pycharm已设置了UTF-8或者 GKB,但还是报UnicodeDecodeError: ‘utf-8’ 的错误

根据作者大大提高的demo,plugins/hanlp_demo/hanlp_demo/zh/train/open_small.py,我只是先进行如下导入数据的动作
from hanlp.datasets.parsing.ctb8 import CTB8_CWS_TRAIN, CTB8_CWS_DEV, CTB8_CWS_TEST
也设置了pycharm的file encodings 为GKB也试了UTF8,还是一直报如下错误,请问有大神能帮看下是啥原因呢,是不是需要在linux操作才行?非常感谢

将.decode(‘utf-8’)改为.decode(‘gbk’) 试一下

:sob:还是不行,改为gbk则会直接报错,请问是因为使用win导致的吗,不是很懂

:cry:最后上了linux,就直接可以跑通了,果然还是win的很多不知名格式导致,只是平常用pycharm比较实用,可惜用不了

你可以使用pycharm远程链接到linux服务器,或者vscode远程连接后,界面操作都是相同的。

好的,明白了感谢答复 :slightly_smiling_face: