阶跃星辰再推开源模型，与ACE Studio联合发布ACE-Step音跃大模型
ztj100 2025-06-19 02:17 1 浏览 0 评论
5月7日，人工智能基础大模型公司阶跃星辰与数字音乐平台 ACE Studio ，联合发布开源音乐大模型“ACE-Step”（音跃），据悉模型参数量为3.5B，具备快速高质量生成、强可控性、易于拓展等特点，同时支持多种语言的歌曲生成，涵盖中文、英文、日文、韩文、西班牙文、俄语等 19 种语言。
阶跃星辰方面介绍，作为一个通用性强的音乐基础模型，ACE-Step 支持包括 LoRA （定制音乐风格）和 ControlNet（人声驱动伴奏生成） 在内的多种微调方式，可灵活适配音频编辑、人声合成、伴奏生成、声线克隆、风格迁移等多种下游任务，相比此前的开源音乐模型，具有真·全曲生成、精准时长控制、灵活输入格式、多语言与多风格生成四大优势。
另外，当前技术普遍面临生成速度、音乐连贯性和可控性之间的固有权衡。例如基于LLM的模型（如Yue、SongGen）擅长歌词对齐，但存在推理速度慢和音质问题；而扩散模型（如DiffRhythm）能实现更快合成，却往往缺乏全局结构连贯性。而ACE-Step通过融合扩散生成、Sana深度压缩自编码器（DCAE）和轻量级线性Transformer架构，成功弥合了这一鸿沟。
ACE-Step 模型架构图
该模型在训练阶段创新性地采用MERT和m-hubert实现语义表征对齐（REPA）技术，从而加速收敛。实验表明，在A100 GPU上仅需20秒即可生成长达4分钟的音乐，比基于LLM的基线快15倍，同时在旋律、和声与节奏维度均展现出更优的音乐连贯性和歌词对齐能力。ACE-Step也能保留精细的声学细节，支持语音克隆、歌词编辑、混音改编及分轨生成（如歌词转人声、演唱转伴奏）等高级控制功能。
ACE-Step 目前提供两种生成模式：快速和慢速模式。最快 15 秒即可生成一整首歌，慢速模式也仅需 32 秒。
同时，ACE-Step 不仅仅是一个“生成器”，还是一个全能的“编辑器”，它为创作者提供了两个关键功能：Edit 和 Retake/Repaint。
其中，Edit 功能可以使创作者在不改变旋律的情况下，精确修改已生成歌曲的歌词内容、语气或情感表达，确保每行歌词与整体音乐风格完美契合。
而如果生成的作品不完全符合创作需求，创作者可以使用 Retake 功能重新生成一首风格相似、结构类似的歌曲，或者通过 Repaint 对特定部分（如旋律或歌词）进行局部调整，进一步优化作品。
据悉，作为全球开源可商用的SOTA级音乐大模型，ACE-Step已开放GitHub代码库及API接口。开发者可基于其构建AI作曲、智能配乐、虚拟歌手等应用，而音乐人则能实现从灵感生成到混音母带的全程AI辅助。
相关推荐
- 30天学会Python编程:16. Python常用标准库使用教程
-
16.1collections模块16.1.1高级数据结构16.1.2示例...
- 强烈推荐!Python 这个宝藏库 re 正则匹配
-
Python的re模块（RegularExpression正则表达式）提供各种正则表达式的匹配操作。...
- Python爬虫中正则表达式的用法，只讲如何应用，不讲原理
-
Python爬虫：正则的用法(非原理)。大家好，这节课给大家讲正则的实际用法，不讲原理，通俗易懂的讲如何用正则抓取内容。·导入re库，这里是需要从html这段字符串中提取出中间的那几个文字。实例一个对...
- Python数据分析实战-正则提取文本的URL网址和邮箱(源码和效果)
-
实现功能：Python数据分析实战-利用正则表达式提取文本中的URL网址和邮箱...
- python爬虫教程之爬取当当网 Top 500 本五星好评书籍
-
我们使用requests和re来写一个爬虫作为一个爱看书的你（说的跟真的似的）怎么能发现好书呢？所以我们爬取当当网的前500本好五星评书籍怎么样？ok接下来就是学习python的正确姿...
- 深入理解re模块:Python中的正则表达式神器解析
-
在Python中，"re"是一个强大的模块，用于处理正则表达式（regularexpressions）。正则表达式是一种强大的文本模式匹配工具，用于在字符串中查找、替换或提取特定模式...
- 如何使用正则表达式和 Python 匹配不以模式开头的字符串
-
需要在Python中使用正则表达式来匹配不以给定模式开头的字符串吗？如果是这样，你可以使用下面的语法来查找所有的字符串，除了那些不以https开始的字符串。r"^(?!https).*&...
- 先Mark后用!8分钟读懂 Python 性能优化
-
从本文总结了Python开发时，遇到的性能优化问题的定位和解决。概述：性能优化的原则——优化需要优化的部分。性能优化的一般步骤：首先，让你的程序跑起来结果一切正常。然后，运行这个结果正常的代码，看看它...
- Python“三步”即可爬取，毋庸置疑
-
声明：本实例仅供学习，切忌遵守robots协议，请不要使用多线程等方式频繁访问网站。#第一步导入模块importreimportrequests#第二步获取你想爬取的网页地址，发送请求，获取网页内...
- 简单学Python——re库(正则表达式)2(split、findall、和sub)
-
1、split（）：分割字符串，返回列表语法：re.split（'分隔符','目标字符串'）例如：importrere.split('，','...
- Lavazza拉瓦萨再度牵手上海大师赛
-
阅读此文前，麻烦您点击一下“关注”，方便您进行讨论和分享。Lavazza拉瓦萨再度牵手上海大师赛标题:2024上海大师赛:网球与咖啡的浪漫邂逅在2024年的上海劳力士大师赛上,拉瓦萨咖啡再次成为官...
- ArkUI-X构建Android平台AAR及使用
-
本教程主要讲述如何利用ArkUI-XSDK完成AndroidAAR开发，实现基于ArkTS的声明式开发范式在android平台显示。包括：1.跨平台Library工程开发介绍...
- Deepseek写歌详细教程（怎样用deepseek写歌功能）
-
以下为结合DeepSeek及相关工具实现AI写歌的详细教程，涵盖作词、作曲、演唱全流程：一、核心流程三步法1.AI生成歌词-打开DeepSeek（网页/APP/API），使用结构化提示词生成歌词：...
- “AI说唱解说影视”走红，“零基础入行”靠谱吗?本报记者实测
-
“手里翻找冻鱼，精心的布局；老漠却不言语，脸上带笑意……”《狂飙》剧情被写成歌词，再配上“科目三”背景音乐的演唱，这段1分钟30秒的视频受到了无数网友的点赞。最近一段时间随着AI技术的发展，说唱解说影...
- AI音乐制作神器揭秘!3款工具让你秒变高手
-
在音乐创作的领域里，每个人都有一颗想要成为大师的心。但是面对复杂的乐理知识和繁复的制作过程，许多人的热情被一点点消磨。...
欢迎 你 发表评论:
- 一周热门
- 最近发表
-
- 30天学会Python编程:16. Python常用标准库使用教程
- 强烈推荐!Python 这个宝藏库 re 正则匹配
- Python爬虫中正则表达式的用法，只讲如何应用，不讲原理
- Python数据分析实战-正则提取文本的URL网址和邮箱(源码和效果)
- python爬虫教程之爬取当当网 Top 500 本五星好评书籍
- 深入理解re模块:Python中的正则表达式神器解析
- 如何使用正则表达式和 Python 匹配不以模式开头的字符串
- 先Mark后用!8分钟读懂 Python 性能优化
- Python“三步”即可爬取，毋庸置疑
- 简单学Python——re库(正则表达式)2(split、findall、和sub)
- 标签列表
-
- idea eval reset (50)
- vue dispatch (70)
- update canceled (42)
- order by asc (53)
- spring gateway (67)
- 简单代码编程 贪吃蛇 (40)
- transforms.resize (33)
- redisson trylock (35)
- 卸载node (35)
- np.reshape (33)
- torch.arange (34)
- npm 源 (35)
- vue3 deep (35)
- win10 ssh (35)
- vue foreach (34)
- idea设置编码为utf8 (35)
- vue 数组添加元素 (34)
- std find (34)
- tablefield注解用途 (35)
- python str转json (34)
- java websocket客户端 (34)
- tensor.view (34)
- java jackson (34)
- vmware17pro最新密钥 (34)
- mysql单表最大数据量 (35)