声明：语音合成论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。


如有转载，请标注来源。

文章题目：How do Voices from Past Speech Synthesis Challenges Compare Today?
发表机构：日本国立情报学研究所发表日期：2021.05.05
文章链接：https://arxiv.org/pdf/2105.02373.pdf
文章类型：经验分享类
解决的问题：主要对比往年Blizzard Challenge和Voice Conversion Challenge大赛系统之间对比测试，供同行参考
文章缺点：本文选取的大赛主要是以英文为主，因此Blizzard Challenge基于端到端的系统都没有被选入评比，但好在添加ESPnet系统中的端到端系统


文章内容：
选取赛事主要以英文：Blizzard Challenge 2008，2009，2010，2011，2013和2016.Voice Conversion Challenge 2016,2018,2020以及ESPnet的几个系统。一共187个系统。

获取当时的test samples进行MOS测评，参加测评为日本304人。具体的结果为图1所示：

最好系统：ESPnet-transformerv3, bc2010-m, ESPnet-transformerv1,ESPnet-tacotronv3,ESPnet-nvidia (可以看出基于端到端的合成MOS最高，要是2017到2020都进行评比，排在前边绝对是端到端）

最差系统：VCC2018-N06, VCC2018-N16,VCC2020-T14,VCC2016-C,VCC2016-baseline

TTS效果好于VC的效果，这由很多因素造成的。



对比多种赛事和系统之间对比，很多因素需要考虑，比如参加评比人的喜好，训练系统的数据（音频质量，音色，发音标准，信噪比等等）。本文先对比现在参评人和当时参评人相关性。table 1中 PCC和SRCC越大越好，RMSE越小越好。table 2展示VC效果每年提升。另外本文也阐述了使用的不同数据集对系统的影响。比较遗憾的事情，本文只对比英文，因此近几年的Blizzard Challenge都没有参选。