论文统计每月更新一次,主要跟踪语音合成和语音识别的发展状况。很多文章都是在会议后才发出,但不影响统计。统计过程难免存在疏漏,因此统计结果仅供参考。

所有文章语音合成领域统计列表请访问:

http://yqli.tech/page/tts_paper.html

语音识别领域论文统计请访问:

http://yqli.tech/page/asr_paper.html

开源语音数据查询:

http://yqli.tech/page/data.html

如何查找语音资料请参考文章:

https://mp.weixin.qq.com/s/eJcpsfs3OuhrccJ7_BvKOg

文章统计excel :

https://docs.google.com/spreadsheets/d/11YYOg6i6UXw19_g1JRaXGNhvt1zhG24RgOXCzZlqZGE/edit?usp=sharing

AIGC统计:
http://yqli.tech/page/aigc.html
语音合成篇

表一给出具体分类说明。2022年语音合成有446篇文章,比2021多一些。图二和图三是2022年和2021年在每个研究方向上对比柱状图和饼状图,除了声学模型网络结构和声音转换相对稍微下降,其它方向都有上升。本年度的热点主要分布在声学模型、声码器、歌唱合成、声音转换和多模态。我们知道Diffusion模型在图像领域很火,同样在语音合成领域有24篇文章采用该技术。最后,自从vits端到端以来,很多开源平台也都支持该网络,今年也有十来篇文章做端到端,比如trinitts naturalspeech等等,端到端依然会是接下来几年的研究热点。

表一  语音合成分类说明
分类
说明
前端
多音字,韵律,g2p等等。
声学模型
语言特征转声学特征,attention工作,多说话人以及双重学习
声码器
波形生成
个性化
少数据,脏数据应用等自适应
多语言和多说话人
多语言模型、多说话人模型
歌唱合成
歌唱和音乐合成
情感
风格和情感
多模态
主要搜集talking head文章
声音转换
基于GAN方案和特征解耦方案
S2S
speech-to-speech
其它
基于EEG合成,开源数据,MOS评测以及语音合成的应用


图一  2022和2021语音合成论文总量


图二 2022年和2021年语音合成各领域文章分布柱状图


图三 2022年和2021年语音合成各领域文章分布饼状图




语音合成的文章列表请访问:

http://yqli.tech/page/tts_paper.html



语音识别篇
语音识别的文章分类参照表二说明。2022年语音识别文章有641篇,由于今年刚开始统计语音识别文章,所以没有对比2021年情况。由图四和图五可知,声学模型性能优化、无监督学习、多语言系统、个性化、speech translation以及speaker diarization等领域研究较多,其中开源工具espnet、wenet、k2、paddlespeech等都搞得如火如荼。

可参见煮酒论开源语音工具包:

https://mp.weixin.qq.com/s/ZFD2mUAC1B6ZH5JEf5yJmg

表二 语音识别分类说明
分类
说明
general
包括传统、混合语音识别,以及对asr的优化
ctc
ctc优化
rnn-t
rnn-t的优化
aed
aed优化
dataset
开源数据库
data aug
数据增广
lm
语言模型研究
multilingual
多语音系统以及code-switch
personal
少数据量自适应以及个性化ASR
rescoring
多种模型联合打分
unsupervised
无监督,半监督或者自监督学习
accent ,dialect
口音和方言
other
其它方向研究,包括系统评价标准等等
robust鲁棒性
speaker diarizationspeaker diarization

multichannel

多通道
speech translation语音翻译
multi-modal多模态

图四 语音识别文章分布柱状图(单位:篇)


图五 语音识别文章分布饼状图


语音识别的文章列表请访问

http://yqli.tech/page/asr_paper.html