最新更新日期:2020.11
2020年11月:
场景:增加 [评书 单田芳-白眉大侠],[相声 德云社],[脱口秀 吐槽大会]
测试:全厂商 × 全场景 滚动刷新测试
2020年10月:
指标:增加 SOTA 数值,详见 [当我们谈论SOTA时,我们在谈论什么]
场景:增加 短视频 电影剪辑 谷阿莫&牛叔说电影、短视频 美食&烹饪 琼斯爱生活&贫穷料理
测试集发布:[新闻联播] 测试集已公开发布,后续滚动测试不会每期都覆盖该场景
测试:全厂商 × 全场景 滚动刷新测试
2020年9月:
场景:增加 在线教育 罗翔 法考、在线教育 张雪峰 考研
厂商:[阿里云+]已上线合并入公网版本[阿里云],TIOBE 历史数据记录始终以公网版本为准。
测试:全厂商 × 全场景 滚动刷新测试
2020年8月:
场景:增加 播客 创业内幕
测试:全厂商 × 全场景 滚动刷新测试
2020年7月:
场景:增加 播客 故事FM
重要修复:发现 直播带货 李佳琪薇娅、直播 王者荣耀、老罗语录 三个场景测试集标注错误,全面检查&修正;作废这三个测试集6月的测试结果,7月开始启用修正后的测试集。详情见本月已经发布的[更正说明文章]
测试:全厂商 × 全场景 滚动刷新测试
2020年6月:
场景:增加 直播带货 李佳琪薇娅\直播 王者荣耀\老罗语录
厂商:增加 阿里+,为阿里云新算法的试用版; 测试中取消 谷歌,因谷歌的中文识别性能没有参考性,且费用超过其余各家之和。
更名:原 搜狗知音平台 改名为 搜狗AI开放平台
测试:全厂商 × 全场景 滚动刷新测试
2020年5月:
修复搜狗多句结果解析bug
场景:增加 天下足球-世界杯往事、罗振宇跨年演讲、李永乐老师在线讲堂
厂商:增加 创S
测试:全厂商 × 全场景 滚动刷新测试
2020年4月:
场景:增加 鲁豫有约大咖一日行
厂商:增加 微软 Azure 认知服务、搜狗知音平台
测试:全厂商 × 全场景 滚动刷新测试
2020年3月:
场景:增加 新闻联播
厂商:增加 阿里、百度、谷歌、讯飞、腾讯、创Y
滚动测试
已有测试集信息汇总

最新滚动测试结果汇总
纵轴(字准确率%)绘制范围为[70, 100]
(注:讯飞被低估,原因详见SOTA)

最新滚动测试详细数据







飘绿部分为各个测试集的最优性能
后记
本月阿里、腾讯有提升
搜狗在涉及中远场的场景有明显提升,其余场景有波动。
