单并发,用的WeNetspeech离线大模型以及libtorch1.10,rescore和search都在500ms+,为什么这么慢呢?一般TLG有多大呀?语言模型大小会很影响速度的吧?
Search很快,rescoring一般100~200ms,WeNetSpeech模型很大,这个时间和机器性能也有关系,语言模型大小不太影响速度。
93 0 0
Search很快,rescoring一般100~200ms,WeNetSpeech模型很大,这个时间和机器性能也有关系,语言模型大小不太影响速度。
问:实战1课程AIshell-1模型训练,到stage4 neural network training训练的时候报了这个runtime 的错,是什么原因? 答:pytorch版本小于1.10.0
问:这里用conv2d做降采样的原理是什么?为什么用两个conv2d,第一次conv2d通道是从1->odim,第二次conv2d从odim->odim?第一次通道数为什么要改变? 答:2d卷积用stride=2,就可以把原来的W*H的输入…
目的不一样,sort目的是使一个batch中的wav数据长度一致。shuffle是打乱整个数据集中数据的顺序。
16c应该就能满足,在虚拟机上32c可以实现,实时内存3G左右,如果rtf 按 0.2 算的话,一核能搞定 5 并发,可以具体测一下 rtf。
问:我们测试websocket server 在高并发连接情况下出现连接慢的情况,这个是同时100个ws连接下出现的。这个有什么好的解决办法吗? 答:可以尝试一下grpc。
可以看一下 decoder/context_graph.cc后续新版的热词不会更改识别结果,而是返回识别结果的同时,额外返回识别到的热词列表,可以关注一下。