SpeechIO的所有历史文章可在语音之家网站的【声浪】-【SpeechIO专区】查看，评测结果数据可在语音之家（PC端）的【SOTA】页面查看。

官网地址：http://www.speechhome.com/eval

SpeechIOASR Benchmark

滚动测试报告2023年06月

1、排名


2、具体测试结果



3、简评

  • 本期滚动测试中：

    • 阿里云有小幅度提升，腾讯有小幅波动。

    • 其余厂商均无变化。

    • 依图因账号问题，本期结果缺失，预计下期恢复。

  • 原定本期加入的方言测试集，因标注难度较大返工，延至下期滚动测试。

  • 语音领域的技术正在发生深远的变化，SpeechIO 目前的测试集均为传统的短语音，从目前的场景、多样性、覆盖领域看，应该已经相当具有代表性，我们后续计划逐步停止短语音测试集的扩展。有对大模型，宽context的长语音识别评测感兴趣的同学，可以在后台留言，分享你的建议和想法。

最新评测结果，SpeechIO 开源测试集下载方法，Leaderboard 测试平台使用说明，见项目主页：https://github.com/SpeechColab/Leaderboard

附录1 已有测试集信息汇总
文章链接场景领域难度(1-5)
新闻联播新闻播报时政★
鲁豫有约一日行访谈电视节目名人工作、生活★★☆
天下足球专题电视节目足球★★☆
罗振宇跨年会场演讲社会、人文、商业★★
李永乐讲堂在线教育科普★★★
直播 王者荣耀直播游戏★★★☆
直播 带货直播电商、美妆★★★★☆
老罗语录线下培训段子，做人★★★★☆
播客 故事FM播客人生故事、见闻★★☆
播客 创业内幕播客创业、产品、投资★★☆
罗翔 法考在线教育法律 法考★★☆
张雪峰 考研在线教育考研 高校报考★★★☆
谷阿莫&牛叔短视频电影剪辑★★★
琼斯爱生活&贫穷料理短视频美食、烹饪★★★☆
单田芳-白眉大侠评书江湖、武侠★★☆
德云社专场相声包袱段子★★★
吐槽大会脱口秀明星糗事★★☆
小猪佩奇&熊出没少儿动画童话故事、日常★☆
NBA现场转播体育赛事解说篮球，NBA★★★
篮球人物纪录片篮球明星，成长★★
汽车之家 汽车评测短视频汽车品牌，车型，路测★★★☆
小艾大叔 豪宅带看短视频房地产，豪宅★★★☆
Zealer & 无聊开箱短视频产品开箱★★★
付老师种植技术短视频农业种植★★★☆
石国鹏线下课线下培训古希腊哲学★★☆
张震鬼故事电台节目恐怖故事★★★
华语大学生辩论赛辩论赛兴趣，技能，成长★★★
同声传译同声传译现场时政★★★☆
港台口音港台明星访谈演艺、创作、生活★★★☆
老外口音外国嘉宾参加的综艺文化、习俗、异国文化★★★☆
东方甄选直播带货，英语教学★★★☆
郎朗钢琴课长视频音乐乐理，钢琴弹奏★★☆
老石谈芯短视频芯片★★★
电丸科技AK短视频网络，IT★★★☆
新氧医美短视频医疗美容，审美★★
交通广播广播节目路况，娱乐广播★★★☆
老俞闲聊在线会议闲聊★★★
附录2 项目更新日志

    • 场景：增加 [播客 故事FM]

    • 重要修复：发现 [直播带货 李佳琪薇娅] [直播王者荣耀 张大仙骚白] [老罗语录] 三个场景测试集标注错误，全面检查&修正；作废这三个测试集6月的测试结果，7月开始启用修正后的测试集。详情见本月已经发布的[更正说明文章]

    • 测试：全厂商 × 全场景 滚动刷新测试

  • 2020年6月：

    • 场景：增加 [直播带货 李佳琪薇娅] [直播王者荣耀 张大仙骚白] [老罗语录]

    • 厂商：增加 阿里+ ，为阿里云新算法的试用版; 测试中取消[谷歌], 因谷歌的中文识别性能没有参考性，且费用超过其余各家之和。

    • 更名：原搜狗知音平台 改名为 搜狗AI开放平台

    • 测试：全厂商 × 全场景 滚动刷新测试

  • 2020年5月：

  • 2020年4月：

    • 场景：增加 [鲁豫有约大咖一日行]

    • 厂商：增加 微软 Azure 认知服务 搜狗知音平台

    • 测试：全厂商 × 全场景 滚动刷新测试

    • 场景：增加 [新闻联播]

    • 厂商：增加 阿里 百度 谷歌 讯飞 腾讯 创Y