今天，AI降临派（Adventists AI）正式开源全双工语音模型 Sophon-Realtime v1，在魔搭社区首发。跟它说话，像跟人打电话一样：你说话时它一直在听，你一停它就接上；你随时插话，它马上停下来回答你的新问题。

和多数语音助手不同，Sophon-Realtime 不只听你说了什么，也听你是怎么说的：犹豫、语气、重音、笑声、叹气，它都听得出来。它回答时，声音里也带着语气：会笑，会叹气，嗓子干了会清一清，会自然地换气。

这次开源两个版本，一个大脑、两种声音，都是一张 80 GB 显卡、一条命令就能部署：

  • Sophon-Realtime-32B-Tag（推荐）：表现力最强，笑、叹气、清嗓子演得最像，单卡建议 16 路并发；
  • Sophon-Realtime-32B-Flash：最快、并发最高，首包 0.31 秒，单卡建议 40 路并发。
  • 模型权重和推理代码采用 Apache-2.0 许可，可以商用。
  • 系列主页：https://www.modelscope.cn/models/AdventistsAI/Sophon-Realtime-v1
  • 魔搭模型页（Tag）：https://www.modelscope.cn/models/AdventistsAI/Sophon-Realtime-32B-Tag
  • 魔搭模型页（Flash）：https://www.modelscope.cn/models/AdventistsAI/Sophon-Realtime-32B-Flash
  • 在线体验（魔搭创空间）：https://www.modelscope.cn/studios/AdventistsAI/Sophon-Realtime
  • GitHub：https://github.com/adventists-ai/sophon-realtime


01、核心指标

对话能力：开源全双工第一。 在语音对话评测 VoiceBench 上，Sophon-Realtime v1 得分 82.8，是开源全双工模型中的第一，与 GPT-4o-mini-Audio 持平。

其他开源全双工模型：

语音推理：同样是开源全双工第一。 在 1,000 道语音推理题 Big Bench Audio 上，Sophon-Realtime v1 答对 81.8%。开源全双工模型里，此前最好的是 Raon SpeechChat，58%。

听得懂语气。 它的听觉模型 DuplexJev，在 LISTEN、StressTest、MSPB 这几个公开副语言基准上综合排名第一，合计 48.6，高于 Gemini 3.8 Flash 的 46.9 和 Qwen3-Omni 的 44.6。

说得出语气。 在 NVV-SuperBench 上（看说出来的声音里，该有的笑、咳嗽、叹气、呼吸有没有真的出现），Tag 版中文 0.86、英文 0.80；Flash 版中文 0.77、英文 0.63。


能干活。 在真人不流利语音 + 多步工具调用的 Full-Duplex-Bench v3 上，Sophon-Realtime 的 Pass@1 达到 48%，高于 Grok 的 43%，该接话的时候 100% 接上了。

它支持 Live 模式，可以和后端大模型联合工作，接口兼容 OpenAI GPT-Live 的格式。

快，而且扛得住人多。 Flash 版首包 0.31 秒，Tag 版约 0.6 秒；一张 80 GB 显卡，Flash 建议 40 路并发、Tag 建议 16 路并发。


02、核心技术点

一个模型，边听边判断。 音频持续流入模型。每次停顿，同一个模型只用一个 token 就判断出用户的状态：说完了、还在说、在附和，还是在想。不需要再串接独立的语音识别、静音检测、话轮检测和语音合成。

提前起草，准时开口。 用户第一次停顿时，模型就开始起草回复；判断轮到自己的那一刻，立刻开口。用户如果还在说，草稿在被听到之前就丢掉。

不只写说什么，也写怎么说。 大脑写回复时，会顺手标出哪里该笑、该叹气、该换气、该清嗓子、哪个词该重读；声音把这些标记演出来，不会念出来。Tag 和 Flash 用的是同一个大脑，区别只在由哪个声音模型来演。

文字领先半步，声音同步跟上。 文字和声音并行流式生成，文字始终领先半步。这样既有端到端模型的速度，每句话又都有文字记录，方便审计，也方便接工具、接更大的后端模型。

记得你真正听到了什么。 对话历史保存双方的真实音频。用户打断时，只保留用户已经听到的部分，下一轮不会接错话。

另外，团队还同步开源了一个端到端的研究预览版 Sophon-Realtime-32B-E2E：不用单独的声音模型，32B 模型内部直接「写」出声音向量，再还原成声音，需要两张显卡部署，适合做研究。


03、模型推理

Tag 和 Flash 都是一张 80 GB 显卡（H100 / H800 / A100 80G）部署，基于 vLLM-Omni。最快的方式是直接用 pip 装 Tag 版：

pip install sophon-realtime     # Python 3.12、Linux、CUDA；会装好 vLLM-Omni 和插件
sophon-realtime serve           # 首次运行自动下载 Tag 版权重（约 42 GB），然后在 8000 端口提供服务

启动后提供两个接口：ws://HOST:8000/v1/realtime（全双工：话轮、打断、附和）和 POST /v1/chat/completions（语音进，文字 + 语音流出）。

也可以用 GitHub 仓库里的一键脚本，会建一个独立的虚拟环境（Flash 版用法相同，见 flash/ 目录）：

git clone https://github.com/adventists-ai/sophon-realtime && cd sophon-realtime/tag
PIP_INDEX=https://pypi.tuna.tsinghua.edu.cn/simple bash install.sh   # 建虚拟环境、装 vLLM-Omni 和插件，并下载权重
GPU=0 PORT=8000 bash start.sh
python client_example.py --wav 我的问题.wav --lang zh --voice vivian_zh

Live 模式。 在已经启动的引擎旁边再运行一条命令，就能用 OpenAI GPT-Live 协议接入，按 GPT-Live 写的客户端只要换地址和 key。智子负责听和说，遇到要查询、办事的请求，就交给你的后端，拿到结果后用自己的话说出来：

cd sophon-realtime/live && BUILD=tag PORT=8000 LIVE_PORT=8780 bash start_live.sh


04、用 ms-swift 微调

Sophon-Realtime v1 已经适配 ms-swift，可以按业务场景微调「听和写回复」的思考器：在它的 LLM 主干上训练 LoRA，改人设、口吻、领域知识和工具调用习惯。

听觉编码器、发声部分和接话判断都保持原样。微调从模型自带的写标签 LoRA 接着训，所以笑声、咳嗽、重读这些声音表现会保留下来。一张 80 GB 显卡就能训。

第一步：安装、下载。 微调只需要思考器底座和写标签 LoRA：

pip install "ms-swift>=4.6" "peft>=0.20,<0.21" "transformers>=4.51,<5.20" librosa soundfile
git clone https://github.com/adventists-ai/sophon-realtime && cd sophon-realtime/finetune
modelscope download --model AdventistsAI/Sophon-Realtime-v1 --include 'base/*' 'adapters/*' --local_dir Sophon-Realtime-v1
python -m sophon_swift.adapters to-swift Sophon-Realtime-v1/adapters/tag tag_swift

第二步：准备数据。 用 ms-swift 标准的 jsonl 格式，每行一条对话，用户语音写成 <audio>，音频文件列在 audios 里。系统提示词末尾保留「需要时可以用声音标签表现笑声、咳嗽和重读。」

这一句，回复写成要说出口的口语，合适的地方可以加 [laughter]、[cough]、<strong>重读的词</strong> 等标签：

{"messages": [
  {"role": "system", "content": "你是航空公司的语音客服小航……需要时可以用声音标签表现笑声、咳嗽和重读。"},
  {"role": "user", "content": "<audio>"},
  {"role": "assistant", "content": "[laughter]别担心，改签是免费的。您把航班号告诉我就行。"}],
 "audios": ["data/0001.wav"]}

多轮对话、工具调用都支持，格式与 Qwen 相同。如果你的数据里很少带标签，可以混入团队开源的写标签回放数据（魔搭数据集 AdventistsAI/Sophon-Realtime-tag-replay），取你数据量的 20%–30% 一起训，模型写标签的能力就不会变弱。

第三步：训练。

CUDA_VISIBLE_DEVICES=0 swift sft \
  --custom_register_path sophon_swift/swift_register.py \
  --model Sophon-Realtime-v1 --adapters tag_swift --tuner_type lora \
  --torch_dtype bfloat16 --dataset my_data.jsonl --max_length 4096 \
  --num_train_epochs 2 --learning_rate 5e-5 \
  --per_device_train_batch_size 1 --gradient_accumulation_steps 8 \
  --gradient_checkpointing true --freeze_vit true --freeze_aligner true \
  --output_dir output

--adapters tag_swift 表示从写标签 LoRA 接着训，--freeze_vit / --freeze_aligner 保持听觉部分冻结。单卡峰值显存约 65 GB；两张卡时 ms-swift 会自动把模型切开，每张约 34 GB。

训完用 swift infer 挂上 LoRA 就能快速看效果；导出、部署和回归检查脚本见 GitHub 仓库的 finetune 目录。

团队也已经向 ms-swift 官方提交了原生支持的 PR，合并后不再需要 --custom_register_path，直接用 --model AdventistsAI/Sophon-Realtime-v1:base 即可。