哈工大开源“活字”对话大模型
转载3 years ago
哈工大开源“活字”对话大模型

一、介绍 大规模语言模型(LLM)在自然语言处理的通用领域已取得了令人瞩目的成功。对于广泛的应用场景,这种技术展示了强大的潜力,学术界和工业界的兴趣也持续升温。哈工大自然语言处理研究所30余位老师和学生参与开发了通用对话大模型活字1.0,哈…

94 0 0
大模型训练的一些坑点和判断
转载3 years ago
大模型训练的一些坑点和判断

在没有完全复现chatgpt之前,这些东西都是包大人根据公开资料和实践经验收敛出来的判断,仅供参考,所有的论断都有可能被新技术推翻。 1.冷启动可能是一个很重要的东西。 大模型的训练过程就是一步一步从全网数据得到的语言模型逐渐逼近接近人的语…

111 0 0