1、研究背景

预训练模型的Bert, GPT,GPT2为下游诸多nlp任务提供很好的帮助，但其在ASR中应用却很少研究，因此本文主要研究这些预训练模型Bert, GPT,GPT2在ASR中的应用。


2、详细设计

本文主要回顾一下Transformer，GPT, GPT2和Bert，这里不再详细介绍。另外本文介绍如何使用这些预训练的模型来对asr的n-best进行重打分。




3、实验结果

首先，本文对比使用FNN, LSTM和Transformer声学模型（这些模型是重新开始训练所得到）重打分效果。由table1显示，使用这些LM重打分，wer都下降，尤其同时使用该三种模型的wer最低。接下来看一下使用GPT的效果，图3和图4展示使用context大小对性能的影响，context越长效果越好。table3对比使用GPT的效果，相比于table1中的语言模型，使用GPT的性能最好，而且使用in-domain中的语料进行微调的效果好于直接使用原始的GPT。在Bert上的效果相同，但没有GPT的wer低。最后，同时使用GPT,GPT2和Bert的wer最低。








4、总结

本文研究使用GPT,GPT2和Bert等预训练语言模型来优化ASR，从而降低错误率。


文章来源知乎，本文作者：李永强