阶跃星辰再推开源模型，与ACE Studio联合发布ACE-Step音跃大模型
ztj100 2025-06-19 02:17 28 浏览 0 评论
5月7日，人工智能基础大模型公司阶跃星辰与数字音乐平台 ACE Studio ，联合发布开源音乐大模型“ACE-Step”（音跃），据悉模型参数量为3.5B，具备快速高质量生成、强可控性、易于拓展等特点，同时支持多种语言的歌曲生成，涵盖中文、英文、日文、韩文、西班牙文、俄语等 19 种语言。
阶跃星辰方面介绍，作为一个通用性强的音乐基础模型，ACE-Step 支持包括 LoRA （定制音乐风格）和 ControlNet（人声驱动伴奏生成） 在内的多种微调方式，可灵活适配音频编辑、人声合成、伴奏生成、声线克隆、风格迁移等多种下游任务，相比此前的开源音乐模型，具有真·全曲生成、精准时长控制、灵活输入格式、多语言与多风格生成四大优势。
另外，当前技术普遍面临生成速度、音乐连贯性和可控性之间的固有权衡。例如基于LLM的模型（如Yue、SongGen）擅长歌词对齐，但存在推理速度慢和音质问题；而扩散模型（如DiffRhythm）能实现更快合成，却往往缺乏全局结构连贯性。而ACE-Step通过融合扩散生成、Sana深度压缩自编码器（DCAE）和轻量级线性Transformer架构，成功弥合了这一鸿沟。
ACE-Step 模型架构图
该模型在训练阶段创新性地采用MERT和m-hubert实现语义表征对齐（REPA）技术，从而加速收敛。实验表明，在A100 GPU上仅需20秒即可生成长达4分钟的音乐，比基于LLM的基线快15倍，同时在旋律、和声与节奏维度均展现出更优的音乐连贯性和歌词对齐能力。ACE-Step也能保留精细的声学细节，支持语音克隆、歌词编辑、混音改编及分轨生成（如歌词转人声、演唱转伴奏）等高级控制功能。
ACE-Step 目前提供两种生成模式：快速和慢速模式。最快 15 秒即可生成一整首歌，慢速模式也仅需 32 秒。
同时，ACE-Step 不仅仅是一个“生成器”，还是一个全能的“编辑器”，它为创作者提供了两个关键功能：Edit 和 Retake/Repaint。
其中，Edit 功能可以使创作者在不改变旋律的情况下，精确修改已生成歌曲的歌词内容、语气或情感表达，确保每行歌词与整体音乐风格完美契合。
而如果生成的作品不完全符合创作需求，创作者可以使用 Retake 功能重新生成一首风格相似、结构类似的歌曲，或者通过 Repaint 对特定部分（如旋律或歌词）进行局部调整，进一步优化作品。
据悉，作为全球开源可商用的SOTA级音乐大模型，ACE-Step已开放GitHub代码库及API接口。开发者可基于其构建AI作曲、智能配乐、虚拟歌手等应用，而音乐人则能实现从灵感生成到混音母带的全程AI辅助。
相关推荐
- 这个 JavaScript Api 已被废弃!请慎用!
-
在开发过程中，我们可能会不自觉地使用一些已经被标记为废弃的JavaScriptAPI。这些...
- JavaScript中10个“过时”的API，你的代码里还在用吗?
-
JavaScript作为一门不断发展的语言，其API也在持续进化。新的、更安全、更高效的API不断涌现，而一些旧的API则因为各种原因（如安全问题、性能瓶颈、设计缺陷或有了更好的替代品）被标记为“废...
- 几大开源免费的 JavaScript 富文本编辑器测评
-
MarkDown编辑器用的时间长了，发现发现富文本编辑器用起来是真的舒服。...
- 比较好的网页里面的 html 编辑器 推荐
-
如果您正在寻找嵌入到网页中的HTML编辑器，以便用户可以直接在网页上编辑HTML内容，以下是几个备受推荐的：CKEditor：CKEditor是一个功能强大的、开源的富文本编辑器，可以嵌入到...
- Luckysheet 实现excel多人在线协同编辑
-
前言前些天看到Luckysheet支持协同编辑Excel，正符合我们协同项目的一部分，故而想进一步完善协同文章，但是遇到了一下困难，特此做声明哈，若侵权，请联系我删除文章！若侵犯版权、个人隐私，请联系...
- 从 Element UI 源码的构建流程来看前端 UI 库设计
-
作者：前端森林转发链接：https://mp.weixin.qq.com/s/ziDMLDJcvx07aM6xoEyWHQ引言...
- 手把手教你如何用 Decorator 装饰你的 Typescript?「实践」
-
作者：Nealyang转发连接：https://mp.weixin.qq.com/s/PFgc8xD7gT40-9qXNTpk7A...
- 推荐五个优秀的富文本编辑器
-
富文本编辑器是一种可嵌入浏览器网页中，所见即所得的文本编辑器。对于许多从事前端开发的小伙伴来说并不算陌生，它的应用场景非常广泛，平时发个评论、写篇博客文章等都能见到它的身影。...
- 基于vue + element的后台管理系统解决方案
-
作者：林鑫转发链接：https://github.com/lin-xin前言该方案作为一套多功能的后台框架模板，适用于绝大部分的后台管理系统（WebManagementSystem）开发。基于v...
- 开源富文本编辑器Quill 2.0重磅发布
-
开源富文本编辑器Quill正式发布2.0版本。官方TypeScript声明...
- Python之Web开发框架学习 Django-表单处理
-
在Django中创建表单实际上类似于创建模型。同样，我们只需要从Django类继承，则类属性将是表单字段。让我们在myapp文件夹中添加一个forms.py文件以包含我们的应用程序表单。我们将创建一个...
- Django测试入门:打造坚实代码基础的钥匙
-
这一篇说一下django框架的自动化测试，...
- Django ORM vs SQLAlchemy:到底谁更香?从入门到上头的选择指南
-
阅读文章前辛苦您点下“关注”，方便讨论和分享，为了回馈您的支持，我将每日更新优质内容。...
- 超详细的Django 框架介绍，它来了!
-
时光荏苒，一晃小编的Tornado框架系列也结束了。这个框架虽然没有之前的FastAPI高流量，但是，它也是小编的心血呀。总共16篇博文，从入门到进阶，包含了框架的方方面面。虽然小编有些方面介绍得不是...
- 20《Nginx 入门教程》使用 Nginx 部署 Python 项目
-
今天的目标是完成一个PythonWeb项目的线上部署，我们使用最新的Django项目搭建一个简易的Web工程，然后基于Nginx服务部署该PythonWeb项目。1.前期准备...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- idea eval reset (50)
- vue dispatch (70)
- update canceled (42)
- order by asc (53)
- spring gateway (67)
- 简单代码编程 贪吃蛇 (40)
- transforms.resize (33)
- redisson trylock (35)
- 卸载node (35)
- np.reshape (33)
- torch.arange (34)
- npm 源 (35)
- vue3 deep (35)
- win10 ssh (35)
- vue foreach (34)
- idea设置编码为utf8 (35)
- vue 数组添加元素 (34)
- std find (34)
- tablefield注解用途 (35)
- python str转json (34)
- java websocket客户端 (34)
- tensor.view (34)
- java jackson (34)
- vmware17pro最新密钥 (34)
- mysql单表最大数据量 (35)