语音识别与交互相关学习

1. 唤醒

• 熟悉Kaldi ，并且搞清当中做语音唤醒的功能
• 一个不错的github 资https://github.com/zycv/awesome-keyword-spotting#opensource-code
• https://paperswithcode.com/paper/temporal-convolution-for-real-time-keyword
• 可以利用TC-resnet 在wenet 框架中实现并部署出来，利用 AISHELL 的唤醒数据集 （OpenSLR 85）

语音识别

• 熟悉Wenet ，Kaldi 这个人学习过程很有意思：智能语音 - 随笔分类 - davidtym - 博客园
• 基础知识需要同步利用Kaldi 项目来进行熟悉
• 定期复习李琳山老师的数位语音处理
• 定期复习李宏毅的深度学习与人类语言处理

交互

• 主要是做NLU的intent检测和slot filling
• 利用轻量化的bert 来做， 如https://github.com/brightmart/albert_zh中的tiny 版本
• 学习可以利用https://github.com/sz128/slot_filling_and_intent_detection_of_SLU
• 知识图谱的构建用于更加大型的交互系统
• 一些对话型常用的参考：https://github.com/charlesXu86/

前端语音信号处理

• 波束形成 GSC LMS 等关键词
• 决定先报一个深蓝科技的这方面的课程

决定先搞语音识别部分，把基础知识搞得相当牢固一些。

文章来源知乎，文章作者：阿玲