当前的音乐生成模型在生成速度、音乐连贯性和可控性之间面临着固有的权衡。例如，基于 LLM 的模型（例如 Yue、SongGen）在歌词对齐方面表现出色，但推理速度慢且存在结构性伪影。另一方面，扩散模型（例如 DiffRhythm）虽然能够实现更快的合成速度，但通常缺乏长距离的结构连贯性。对此，人工智能公司阶跃星辰（StepFun）与数字音乐平台 ACE Studio 联合推出了一款音乐生成基础模型 ACE-Step-v1-3.5B ，于 2025 年 5 月 7 日开源。该模型在 NVIDIA A100 GPU 上只需 20 秒即可合成长达 4 分钟的音乐，比基于 LLM 的基线方法快 15 倍，同时在旋律、和声和节奏指标方面实现了卓越的音乐连贯性和歌词对齐。

相较于传统 AI 音乐工具， ACE-Step 克服了现有方法的关键局限性，并通过整体架构设计实现了最佳性能，在多元风格流派、多语言支持、器乐表现力和人声表现力 4 个方面有着突出优势。其开源版本已支持 19 种语言输入，并且保留了精细的声学细节，支持高级控制机制，例如语音克隆、歌词编辑、混音和音轨生成等，此外还支持所有主流音乐风格、多种演唱风格，支持跨流派器乐生成，能精准还原乐器音色特征可生成包含复杂编曲的多轨音乐。

小编借 ACE-Step-v1-3.5B 之手，仅需输入音乐风格和歌词等参数，即可快速生成一段 30 秒的音乐片段，快来点击试听吧～

* tag 输入：funk, pop, soul, rock, melodic, guitar, drums, bass, keyboard, percussion, 105 BPM, energetic, upbeat, groovy, vibrant, dynamic

目前，「ACE-Step：音乐生成基础模型」已上线至 HyperAI超神经官网的「教程」板块，点击下方链接即可体验一键部署教程

教程链接：https://go.hyper.ai/tTmib

Demo 运行

1.进入 hyper.ai 首页后，选择「教程」页面，并选择「ACE-Step：音乐生成基础模型」，点击「在线运行此教程」。

2.页面跳转后，点击右上角「克隆」，将该教程克隆至自己的容器中。

3.选择「NVIDIA GeForce RTX 4090」以及「PyTorch」镜像，OpenBayes 平台提供了 4 种计费方式，大家可以按照需求选择「按量付费」或「包日/周/月」，点击「继续执行」。新用户使用下方邀请链接注册，可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费时长！

HyperAI超神经专属邀请链接（直接复制到浏览器打开）：

https://openbayes.com/console/signup?r=Ada0322_NR0n

4.等待分配资源，首次克隆需等待 2 分钟左右的时间。当状态变为「运行中」后，点击「API 地址」旁边的跳转箭头，即可跳转至 Demo 页面。由于模型较大，需等待约 3 分钟显示 WebUI 界面，否则将显示「Bad Gateway」。请注意，用户需在实名认证后才能使用 API 地址访问功能。

效果演示

该项目提供多任务创作面板：Text2Music Tab、Retake Tab、 Repainting Tab、Edit Tab 和 Extend Tab。

各模块功能及参数调整简介如下：

Text2Music Tab

* Audio Duration：设置生成音频的时长（-1 表示随机生成）

* Tags：输入描述性标签、音乐流派或场景描述，用逗号分隔

* Lyrics：输入带有结构标签的歌词，如 [verse]、[chorus]、[bridge]

* Basic Settings：调整推理步数、指导比例和种子值

* Advanced Settings：微调调度器类型、CFG 类型、ERG 设置等参数

* 点击「Generate」按钮，根据输入内容创作音乐

Retake Tab

功能：通过不同种子值重新生成音乐并产生细微变化，调整变化参数以控制新版本与原版的差异程度

* variance：填写方差

* retake seeds (default None)：填写随机数种子

* 点击「Retake」按钮，重新生成

Repainting Tab

功能：选择性重新生成音乐的特定段落

* variance：方差

* retake seeds (default None)：随机种子

* Repaint Start Time：指定需要重新生成段落的开始时间

* Repaint End Time：指定需要重新生成段落的结束时间

* Repaint Source：选择源音频（text2music、last_repaint 或 upload）

* 点击「Repaint」按钮，重新生成

Edit Tab

功能：通过调整编辑参数控制对原曲的保留程度

* Edit Tags：修改标签来改编现有音乐

* Edit Lyrics：修改歌词来改编现有音乐

* edit seeds (default None)：编辑随机种子

* Edit Type：编辑类型，可选择「only_lyrics」模式（保留原旋律）或「remix」模式（改变旋律）

* Repaint End Time：指定需要重新生成段落的结束时间

* edit_n_min：编辑最小范围

* edit_n_max：编辑最大范围

* Edit Source：编辑资源

* 点击「Edit」按钮，编辑

Extend Tab

功能：在现有音乐的开头或结尾添加音乐片段

* edit seeds (default None)：扩散随机种子

* Left Extend Length：指定左侧扩展时长

* Right Extend Length：指定右侧扩展时长

* Extend Source：选择需要扩展的源音频

* 点击「Extend」按钮，扩散