开源AI音频工具AudioCraft

AudioCraft 是一个 PyTorch 库，用于对音频生成进行深度学习研究。AudioCraft 包含推理和训练代码用于两个最先进的 AI 生成模型，以产生高质量的音频：AudioGen 和 MusicGen。

官方地址：https://audiocraft.metademolab.com/index.html

在线体验：https://huggingface.co/spaces/facebook/MusicGen

两种安装方式

第一种使用整合包

占用磁盘空间38G，自动获取，也推荐这种方式。

https://www.123pan.com/s/uSmfjv-3hrCA.html

1. 先安装cuda和python环境，

2. 将压缩包内的文件释放到路径，替换文件。

C:\ProgramFiles\NVIDIAGPUComputingToolkit\CUDA\v11.8

3. 在PATH变量中添加CUDA\bin和CUDA\libnvvp。

C:\ProgramFiles\NVIDIAGPUComputingToolkit\CUDA\v11.8\binC:\ProgramFiles\NVIDIAGPUComputingToolkit\CUDA\v11.8\libnvvp

4. 运行run

可能遇到的问题需要安装安装PyTorch（如果尚未安装）：

pip install torch torchvision torchaudio -f https://download.pytorch.org/whl/cu111/torch_stable.html

第二种克隆安装

这种方法要下载的东西太多我没有亲自验证。

1.安装Python 3.9确保您的系统上安装了Python 3.9。如果还没有安装，您可以从Python官方网站下载并安装。

2. 安装PyTorch 2.1.0 在安装AudioCraft之前，您需要先安装PyTorch。根据您的系统和CUDA版本，运行以下命令之一来安装PyTorch：

python -m pip install 'torch==2.1.0'

如果您使用的是Anaconda或Miniconda，可以使用以下命令：

conda install pytorch==2.1.0 torchvision==0.9.0 torchaudio==0.9.0 -c pytorch

3. 安装setuptools和wheel，这些是Python的包管理工具，通常用于安装和打包Python包。

python -m pip install setuptools wheel

4. 安装AudioCraft：

python-m pip install -U audiocraftpython-m pip install -U git+https://github.com/facebookresearch/audiocraft.git

从本地克隆的仓库安装，如果您已经克隆了AudioCraft的仓库，可以使用以下命令安装：

python -m pip install -e .

5. 安装ffmpeg：AudioCraft可能需要ffmpeg来处理音频文件

sudo apt-get install ffmpeg

对于Anaconda或Miniconda环境：

conda install "ffmpeg<5" -c conda-forge

如何使用

1. 运行run成功后界面如图：

2. 输入英文提示词

3.选择模型

melody 可以在文本和旋律输入上生成音乐。

注意这个模型是支持上传音频参考的，当然也可以只使用文本。

medium 仅以文本为条件的 1.5B 转换器解码器。

small 仅以文本为条件的 300M 变压器解码器。

large 仅以文本为条件的 3.3B 转换器解码器。

4. 时长，音调，最长2分钟

5. 点击提交就可以生成了。

总结

AudioCraft 它包含了多种先进的音频处理技术和深度学习模型。这些工具和模型可以帮助研究人员和开发者在音频领域进行创新性的探索和实验。

AudioCraft 的主要特点包括：

AudioCraft 提供了丰富的训练代码和推理代码，使得研究人员能够轻松地进行音频信号处理、音乐生成和语音合成等任务。无论您是音频处理的新手还是经验丰富的专家，AudioCraft 都可能成为您探索音频领域的强大工具。