使用的是GPU T4 cuda 11.6 tensorflow 2.9.0,在执行下面这段代码时,速度比较慢,平均2s左右,请问有什么方法可以提升性能;
sts = hanlp.load(hanlp.pretrained.sts.STS_ELECTRA_BASE_ZH)
result = sts([
('看图猜一电影名', '看图猜电影'),
('无线路由器怎么无线上网', '无线上网卡和无线路由器怎么用'),
('北京到上海的动车票', '上海到北京的动车票'),
])
使用的是GPU T4 cuda 11.6 tensorflow 2.9.0,在执行下面这段代码时,速度比较慢,平均2s左右,请问有什么方法可以提升性能;
sts = hanlp.load(hanlp.pretrained.sts.STS_ELECTRA_BASE_ZH)
result = sts([
('看图猜一电影名', '看图猜电影'),
('无线路由器怎么无线上网', '无线上网卡和无线路由器怎么用'),
('北京到上海的动车票', '上海到北京的动车票'),
])
这个问题解决了吗?请教一下怎么解决的
试试看并行计算,开启多线程什么的。
在启动时就把对应的模型提前加载进来。
使用多台服务器联合工作