Wuli-Art 发布了基于 MiniMax-H3 的少步音视频生成模型 MiniMax-H3-Turbo，提供 4、6、8 步三个固定步数版本，支持文生音视频与首帧条件生成，配套工作流支持可选尾帧。模型采用轨迹蒸馏、DMD 和 GAN 相结合的技术方案，在减少去噪步骤的同时，针对运动连续性、条件遵循和音画事件对应进行优化。

音视频生成效果预览：

开源地址：


01、联合音视频去噪，如何压缩到少步生成

MiniMax-H3-Turbo 少步化的对象是联合音视频去噪过程，而不只是视频生成。MiniMax-H3 基座采用统一的多模态序列表示，由 H3-Omni-Transformer 联合预测视频与音频 latent，再通过各自的 VAE 解码。共享主干承担跨模态建模，模态差异主要体现在输入输出层及 AdaLN 等组件中。

在这样的系统里，一次去噪更新同时影响画面和声音的演化。步数减少后，每次更新需要跨越更大的噪声区间，既要建立画面结构和细节，也要维持跨帧运动与声音事件的对应。MiniMax-H3-Turbo 因此从采样轨迹、生成分布和感知质量三个层面提供训练约束。

轨迹蒸馏为学生提供跨噪声区间的状态更新监督。多步教师通过连续的小步更新，将噪声状态逐步推向数据分布；学生学习教师采样轨迹中的演化关系，使一次更新能够近似教师多次更新的作用。对于固定步数生成器，这种监督为有限更新次数内建立整体结构、条件信息和细节提供参照。

DMD（Distribution Matching Distillation，分布匹配蒸馏）则将约束推进到分布层面。它利用目标分布与学生生成分布的 score 估计差异，为生成器提供优化方向，使学生输出的整体分布接近目标分布。即便某条学生采样轨迹与教师并不完全重合，仍然可以从生成分布是否合理的角度获得训练信号。

轨迹监督与分布监督由此形成互补：前者关注不同噪声状态之间如何演化，后者约束学生最终生成的样本分布。两者分别为跨步更新和最终输出提供优化依据。

GAN 直接作用于学生生成器的输出。判别器以学生生成结果为判别对象，对抗损失通过生成结果反向传播，优化学生参数，为少步输出引入感知真实性约束，改善视频纹理细节，缓解少步蒸馏中可能出现的过度平滑。

三种训练信号分别对应状态更新、分布匹配和感知质量，共同服务于联合音视频的少步生成。


02、少步生成效果，与原版 50 步同屏对比

项目交互展示页收录了 9 组提示词、11 种配置、99 段视频，包含 Wuli-Art 的 4／6／8 步版本、原版 MiniMax-H3 的 50 步配置，以及其他加速方案，可用于对照不同配置下的生成表现。

4 步版本的多场景时序展示：

项目展示页地址：https://cdn.wuli.art/image/minimax-h3-comparison-20261009-0ff4412f/index.html


03、本地部署与推理

MiniMax-H3-Turbo 支持通过 Diffusers 脚本或 ComfyUI 进行本地音视频生成，需使用支持 CUDA 的 NVIDIA GPU。

环境安装

以下采用模型卡中 Ref2VA 验证过的 PyTorch 2.11.0、CUDA 13.0 和 Transformers 5.12.1 环境，需确保 NVIDIA 驱动兼容：

pip install torch==2.11.0 torchvision==0.26.0 \
  --index-url https://download.pytorch.org/whl/cu130

pip install "diffusers==0.40.0" "transformers==5.12.1" \
  "huggingface_hub==1.27.0" accelerate peft safetensors av pillow

pip install modelscope

模型下载

Turbo 权重需要配合原版 MiniMax-H3 的文本编码器、处理器和音视频 VAE 使用。以下从魔搭下载 8 步生成版本、8 步参考生成版本及所需基础组件，不下载原版 Transformer 和其他任务的重复权重。

modelscope download Wuli-Art/MiniMax-H3-Turbo \
  --local-dir Wuli-Art/MiniMax-H3-Turbo \
  --include "run_fl2va.py" "run_ref2va.py" \
    "turbo-8step/*" "ref2va-turbo-8step/*"

modelscope download MiniMax/MiniMax-H3 \
  --local-dir MiniMax/MiniMax-H3 \
  --include "model_index.json" "modular_model_index.json" \
    "text_encoder/*" "tokenizer/*" "processor/*" \
    "vae/*" "audio_vae/*" "scheduler/*" "audio_scheduler/*"

TURBO_DIR="$PWD/Wuli-Art/MiniMax-H3-Turbo"
BASE_DIR="$PWD/MiniMax/MiniMax-H3"

文生音视频

使用 8 步版本生成视频及配套音频，提示词可同时描述画面、动作和声音：

python "$TURBO_DIR/run_fl2va.py" \
  --model "$TURBO_DIR/turbo-8step" \
  --components "$BASE_DIR" \
  --steps 8 \
  --prompt "A paper airplane glides through a bright classroom. Soft paper rustling and quiet classroom ambience." \
  --height 768 --width 1344 \
  --num-frames 124 --seed 42 \
  --output t2va.mp4

首尾帧生音视频

通过 --image 指定首帧，使用 --last-image 进一步约束尾帧；仅提供首帧时，删除尾帧参数即可。

python "$TURBO_DIR/run_fl2va.py" \
  --model "$TURBO_DIR/turbo-8step" \
  --components "$BASE_DIR" \
  --steps 8 \
  --image first_frame.png \
  --last-image last_frame.png \
  --prompt "The scene in the first frame comes to life and transitions naturally to the final frame. Gentle wind and ambient outdoor sounds." \
  --height 768 --width 1344 \
  --num-frames 124 --seed 42 \
  --output fl2va.mp4

参考素材生音视频

Ref2VA 使用独立的 8 步权重及推理入口，可通过多个参考图像约束人物、服饰等内容：

python "$TURBO_DIR/run_ref2va.py" \
  --model "$TURBO_DIR/ref2va-turbo-8step" \
  --components "$BASE_DIR" \
  --image person.png \
  --image outfit.png \
  --prompt "The person in the first reference wears the outfit in the second reference and walks naturally through a sunlit studio. Soft footsteps and quiet room ambience." \
  --height 768 --width 1344 \
  --num-frames 124 --seed 1 \
  --output ref2va.mp4

切换 4 步或 6 步版本

6 步版本使用独立 Transformer；4 步版本为适配器，还需下载原版Transformer：

modelscope download Wuli-Art/MiniMax-H3-Turbo \
  --local-dir "$TURBO_DIR" \
  --include "turbo-6step/*" "turbo-4step/*"

# 仅使用 4 步版本时需要下载
modelscope download MiniMax/MiniMax-H3 \
  --local-dir "$BASE_DIR" \
  --include "transformer/*"

使用 6 步版本时，将文生或首尾帧命令中的 --model 改为 "$TURBO_DIR/turbo-6step"，并设置 --steps 6；4 步版本对应 "$TURBO_DIR/turbo-4step" 和 --steps 4。Ref2VA 保持固定 8 步，不使用上述切换方式。