文本语义相似度对比,速度较慢,请问有什么方法改善

使用的是GPU T4 cuda 11.6 tensorflow 2.9.0,在执行下面这段代码时,速度比较慢,平均2s左右,请问有什么方法可以提升性能;

sts = hanlp.load(hanlp.pretrained.sts.STS_ELECTRA_BASE_ZH)

result = sts([

('看图猜一电影名', '看图猜电影'),

('无线路由器怎么无线上网', '无线上网卡和无线路由器怎么用'),

('北京到上海的动车票', '上海到北京的动车票'),

])
微信截图_20230905200109

2赞

这个问题解决了吗?请教一下怎么解决的

1赞

试试看并行计算,开启多线程什么的。

1赞

在启动时就把对应的模型提前加载进来。

使用多台服务器联合工作