滚动测试报告 2022年02月

1、更新日志
2022年02月：
  • 场景：增加[港台口音][老外口音]
  • 流程：文本归一模块加入儿化音过滤功能(贡献者：xiaoxi91@github )
  • 厂商：搜狗平台停止运营；添加 XFZX 服务；微软接口从Rest更换到SDK并关闭TN、脏词过滤模块。
  • 测试：全厂商× 全场景 滚动刷新测试
2021年10月：
2021年7月：
2021年4月：
2021年1月：

  • 场景：增加[体育赛事解说-NBA] [纪录片-篮球人物]

  • 厂商：得到"创业公司S"授权，身份公布为思必驰AISpeech，调用平台为[思必驰开放平台-一句话识别服务]

  • 测试：全厂商 × 全场景 滚动刷新测试

2020年12月：
2020年11月：
2020年10月：
2020年9月：
2020年8月：
2020年7月：

  • 场景：增加 [播客 故事FM]

  • 重要修复：发现 [直播带货 李佳琪薇娅][直播王者荣耀 张大仙骚白][老罗语录]三个场景测试集标注错误，全面检查&修正；作废这三个测试集6月的测试结果，7月开始启用修正后的测试集。详情见本月已经发布的[更正说明文章]

  • 测试：全厂商 × 全场景 滚动刷新测试

2020年6月：

  • 场景：增加 [直播带货 李佳琪薇娅] [直播王者荣耀 张大仙骚白] [老罗语录]

  • 厂商：增加【阿里+】，为阿里云新算法的试用版;测试中取消[谷歌], 因谷歌的中文识别性能没有参考性，且费用超过其余各家之和。

  • 更名：原【搜狗知音平台】改名为【搜狗AI开放平台】

  • 测试：全厂商 × 全场景 滚动刷新测试

2020年5月：
2020年4月：

  • 场景：增加 [鲁豫有约大咖一日行]

  • 厂商：增加【微软 Azure 认知服务】【搜狗知音平台】

  • 测试：全厂商 × 全场景 滚动刷新测试

2020年3月：

  • 场景：增加 [新闻联播]

  • 厂商：增加【阿里】【百度】【谷歌】【讯飞】【腾讯】【创Y】


2、滚动测试
已有测试集信息汇总

最新滚动测试结果汇总

最新滚动测试详细数据



3、简评

  • 本季度新增 [港台口音] [老外口音] 场景测试。

  • 厂商及测试也有更新，见开头 changelog 或 [更新说明]

  • 文本归一化中新加入的儿化过滤功能对部分口语化场景数字影响明显，全厂商数字均有相应提升。

  • 本期测试进行了账号全面切换（新身份&新注册），后续测试还会不定期全面更换（因为我们对行业陆续开源了SpeechIO数据成为白盒测试，账号有被定位风险，容易被低成本的定点部署和优化，影响测试公平）。