如何在icefall中玩转预训练模型
原创4 years ago
如何在icefall中玩转预训练模型

1. 背景 近年来,随着GPU算力的不断提升,大型自监督预训练模型在自然语言处理这项任务中大放异彩,从GPT,到BERT,再到GPT-3,SOTA被不断的刷新。这类模型在预训练过程中,仅使用无标注数据进行学习,便能够对数据本身进行分析,学习…

2039 1 0