生成式声音设计

传统的声音合成长期沿三条路线发展：一是对发声与传播的物理过程建模（物理建模合成），二是把信号发生与处理单元组装起来以复现声学特征（如减法合成、FM 合成等），三是对录制音频样本的集合进行剪辑与再组织（采样与拼接）。这三类方法在各自的应用中都能达到较高的合成质量与交互性，但都需要大量人工设计与调参。^{88Deep generative models for musical audio synthesisar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

生成式方法与传统合成路线的根本区别在于知识来源：传统方法把人对声学机理或信号处理结构的先验写进算法，而生成式方法让模型从数据（通常是大量音频样本，某些情形下也可以是小数据集甚至单个样本）中学习声音的分布，再从中采样出新声音。^{88Deep generative models for musical audio synthesisar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开|99Referencesieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

在术语上，这一方向常被概括为「神经音频合成」（Neural Audio Synthesis, NAS），即用深度神经网络从数据中学习并生成高质量音频；它与「生成式声音设计」高度重叠，区别主要在于前者强调模型骨干为神经网络，后者强调以生成方式完成声音设计任务。^{99Referencesieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

从模型谱系看，生成式音频合成并非由单一架构主导，而是并行发展了多类深度生成模型：自回归模型（如 WaveNet、SampleRNT 一类的样本级建模）、归一化流（normalizing flows，如 WaveGlow）、生成对抗网络与扩散模型等，各自在音质、采样速度与可控性上取舍不同。^{88Deep generative models for musical audio synthesisar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

扩散类方法把声音生成表述为迭代去噪过程：在频谱图或潜空间上分多步去噪，并常用无分类器引导（classifier-free guidance）来调节条件强度；为降低采样步数，还会采用一致性蒸馏或潜一致性等方法把多步压缩为少步。^{99Referencesieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

生成式声音设计的能力边界已从单纯「合成音色」扩展到多个下游用途：音乐中的新音色与新片段生成、虚拟现实中增强沉浸感的环境声场构建、交互媒体中动态音频内容的按需产出，并能与其他模态（视觉、文本等）配合。^{99Referencesieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

与传统合成器相比，生成式方法的一个结构性变化是控制接口的迁移：参数不再直接对应振荡器、滤波器等信号处理单元，而更多表现为对数据分布的条件约束（如以类别、文本、参考音频或潜变量为条件），这也使「可控性」成为该方向的核心研究问题之一。^{88Deep generative models for musical audio synthesisar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开|99Referencesieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

程序化音频（procedural audio）指用算法与参数在运行时生成声音，其核心是声学模型或信号处理规则本身；生成式声音设计则把声音的生成过程交给从数据中学习到的概率模型，由模型直接给出波形或声谱。两者的分界不在于「是否用代码」，而在于「生成规则是人工编写还是从数据中习得」。^{88Deep generative models for musical audio synthesisar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

Huzaifah 与 Wyse 在综述中把历史上的声音建模方法归为三类：建模声音产生与传播的物理过程、组装信号发生与处理元件以刻画声学特征、以及操纵录制的音频采样集合；并指出这些方法虽然能在特定应用中达到高质量合成与交互，但都劳动密集。生成式模型正是针对这种人工建模成本而提出的数据驱动替代路线。^{88Deep generative models for musical audio synthesisar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

采样合成（sample-based synthesis）以预先录制的音频片段为素材，通过拼接、变调、滤波与包络等手段重组已有录音；其输出在音色上受限于采样库的覆盖范围，未收录的声音难以凭空产生。生成式声音设计不依赖固定采样库，而是从训练分布中采样或按条件生成新的音频内容，因而在音色空间上具有外推能力。^{88Deep generative models for musical audio synthesisar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

程序化音频与采样合成通常具有明确的参数语义：物理模型的参数对应质量、刚度、阻尼等物理量，采样器的参数对应音高、力度、滤波截止等可解释控制量。生成式模型的潜在空间通常缺乏这种先验语义，控制往往需要额外的条件编码或属性标注来建立，这也是可控性成为生成式声音设计独立研究议题的原因。^{88Deep generative models for musical audio synthesisar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

在计算成本上，程序化音频与采样合成多为逐样本或逐帧的确定性运算，实时性容易保证；而基于自回归或扩散的生成式音频模型推理开销显著更高，早期自回归波形模型（如 WaveNet 一类）因逐样本生成而速度受限，后续的并行化与蒸馏方法才逐步改善这一状况。^{88Deep generative models for musical audio synthesisar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

从创作流程看，程序化音频与采样合成要求设计者显式指定生成规则或挑选素材，创作结果的可复现性强、可逐参数调试；生成式声音设计更多表现为「给定条件、采样输出」的过程，同一提示可能得到不同结果，因此需要引入随机种子、潜在变量固定等机制来保证可复现性。^{88Deep generative models for musical audio synthesisar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

生成对抗网络（GAN）在音频生成中的基本框架由一个生成器与一个判别器组成：生成器把随机噪声映射为音频波形或声学特征，判别器则区分生成样本与真实样本，二者通过对抗训练共同提升生成音频的质量。韩国电子通信研究院（ETRI）与延世大学产业学术协力团联合申请、2026 年 2 月授权的美国专利 US 12,548,586 B2 即以此结构定义了一种音频信号生成模型，其权利要求明确记载生成器负责生成音频信号、判别器用于判别真伪。^{1010US 12,548,586 B2patentsgazette.uspto.gov前往参考资料 ↓在新标签页中打开}

GAN 用于音频生成时，训练稳定性是核心工程问题之一。为缓解模式崩溃与训练震荡，后续工作普遍在损失函数层面引入约束：例如在真实数据分布与生成器分布之间的连线上均匀采样并施加梯度惩罚（Wasserstein GAN with gradient penalty 一类做法），以惩罚系数 λ 控制梯度惩罚强度，从而稳定判别器的 Lipschitz 条件。^{1111An audio generation model based on empirical mode decomposition and generative adversarial networks for enhancing voice quality and diversitylink.springer.com前往参考资料 ↓在新标签页中打开}

在语音生成任务上，GAN 路线的一个代表性改进方向是把信号分解方法引入生成流程：EMDGAN 先用改进的完全集成经验模态分解（ICEEMD）把语音拆解为本征模态函数，再以 GAN 模仿这些分量的分布来合成语音，并配合两阶段过滤从大量生成样本中筛选高质量语音，目标是在质量与多样性之间取得比早期 GAN 语音生成更好的平衡。^{1111An audio generation model based on empirical mode decomposition and generative adversarial networks for enhancing voice quality and diversitylink.springer.com前往参考资料 ↓在新标签页中打开}

GAN 生成的音频样本在数据增强与声音转换两类任务中被明确用作下游用途：一方面扩充训练语料以缓解标注数据稀缺，另一方面作为声音转换的生成端。这一用途定位在 2025 年发表的 EMDGAN 研究中被作为动机直接陈述。^{1111An audio generation model based on empirical mode decomposition and generative adversarial networks for enhancing voice quality and diversitylink.springer.com前往参考资料 ↓在新标签页中打开}

GAN 音频生成路线的产业化程度可从专利布局侧面观察：ETRI 与延世大学的这项美国专利于 2023 年 1 月 13 日提交（申请号 18/097,062），并主张 2022 年 2 月 22 日提交的韩国在先申请 10-2022-0022925 的优先权，2023 年 8 月 24 日先以 US 2023/0267950 A1 公开，最终于 2026 年 2 月授权，说明该技术路线已进入可主张权利的实施阶段而非仅停留在论文层面。^{1010US 12,548,586 B2patentsgazette.uspto.gov前往参考资料 ↓在新标签页中打开}

GAN 路线在音频生成中的固有短板是质量与多样性的联合提升仍不充分：EMDGAN 的作者明确指出，尽管 GAN 问世后已有大量模仿生物样本生成新样本的研究，但生成音频的质量与多样性「仍有提升空间」，这正是其提出分解式改进的直接动因。^{1111An audio generation model based on empirical mode decomposition and generative adversarial networks for enhancing voice quality and diversitylink.springer.com前往参考资料 ↓在新标签页中打开}

连续变分自编码器（VAE）在现代神经音频生成系统中充当基础的连续分词器（continuous tokenizer）：它把音频波形压缩到紧凑、平滑的潜空间，使下游生成先验可以在该空间上建模，同时保留高保真重建能力。^{1212ICML Poster STAR-VAE: Structured Topology-Aware Regularization for Audio Reconstruction and Generationicml.cc前往参考资料 ↓在新标签页中打开}

连续 VAE 在音频场景下需要同时平衡压缩率、重建保真度与潜空间拓扑结构三者，STAR-VAE 的作者把这一矛盾形式化为「率—失真—正则化三难」（Rate-Distortion-Regularity Trilemma），并据此提出结构化拓扑感知的正则化方法。^{1212ICML Poster STAR-VAE: Structured Topology-Aware Regularization for Audio Reconstruction and Generationicml.cc前往参考资料 ↓在新标签页中打开}

在交互式声音合成框架中，VAE 常被用作第二阶段：先用 AudioMAE、CLAP 等预训练音频编码器把大规模音频档案组织成结构化嵌入空间，再由 VAE 学习平滑的潜表示，最后交给潜扩散模型进一步精化，从而支持在结构化潜流形内做连续的声音空间遍历，而不是无约束的音频生成。^{1313Perceptually coherent sound-space traversal for interactive systems via embeddings, VAE priors and diffusion decodingnature.com前往参考资料 ↓在新标签页中打开}

在乐器音色合成任务中，VAE 可用于学习音高与音色解耦的低维（如二维）潜表示，该表示随后作为 Transformer 生成模型的条件输入，并充当用户浏览与探索音色景观的直观界面；这一两阶段半监督范式旨在缓解高维潜空间难以导航、交互不直观的问题。^{1414Pitch-Conditioned Instrument Sound Synthesisfrom an Interactive Timbre Latent Spacear5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

VAE 路线在生成式声音设计中的典型分工是「表示学习 + 生成先验分离」：VAE 负责把音频编码为平滑、可采样的潜空间，扩散模型或自回归/Transformer 模型则在该潜空间上承担生成与解码，二者组合构成潜空间生成管线。^{1212ICML Poster STAR-VAE: Structured Topology-Aware Regularization for Audio Reconstruction and Generationicml.cc前往参考资料 ↓在新标签页中打开|1313Perceptually coherent sound-space traversal for interactive systems via embeddings, VAE priors and diffusion decodingnature.com前往参考资料 ↓在新标签页中打开|1414Pitch-Conditioned Instrument Sound Synthesisfrom an Interactive Timbre Latent Spacear5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

扩散模型在声音生成中的基本做法是：从高斯噪声出发，通过一个迭代去噪过程逐步还原出音频信号或音频的隐表示；模型学习的是在每一步预测噪声或去噪方向，采样时按反向过程反复调用该网络。这一「加噪—去噪」的生成范式是音频扩散系统共同的骨架，具体实现差异体现在噪声所在的域（波形、频谱或隐空间）与网络结构上。^{1515MDSGen: Fast and Efficient Masked Diffusion Temporal-Aware Transformers for Open-Domain Sound Generationar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开|1616VT2Music: A Multimodal Framework for Text-Visual Guided Music Generation and Comprehensive Performance Analysisieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

音频扩散模型可以在隐空间而非原始波形上进行扩散：先用神经音频编解码器（如 EnCodec）把音频压缩成低帧率隐向量序列，再在隐空间上训练扩散/去噪网络，生成后再解码回波形。这种「先压缩、后生成」的两阶段结构能显著降低建模的计算复杂度，同时保留较高的音频重建质量。^{1717Design and implementation of an end to end music audio generation system based on diffusion probabilistic modellink.springer.com前往参考资料 ↓在新标签页中打开}

在隐空间扩散路线中，AudioLDM 2 是常被引用的代表性框架：它采用隐空间扩散并配合双编码器结构，支持文本到音频、文本到音乐等任务，在音频质量与条件保真度上表现较强。这说明扩散路线与文本等条件信号的对齐主要通过条件编码器注入去噪网络来实现。^{1717Design and implementation of an end to end music audio generation system based on diffusion probabilistic modellink.springer.com前往参考资料 ↓在新标签页中打开}

除常规的连续扩散外，掩码扩散（masked diffusion）也被引入声音生成：MDSGen 用去噪掩码扩散 Transformer 替代资源开销较大的 U-Net 结构，并针对音频模态设计了时序感知掩码（Temporal-Awareness Masking），利用时间上下文提升生成准确性，同时不依赖预训练的扩散模型。^{1515MDSGen: Fast and Efficient Masked Diffusion Temporal-Aware Transformers for Open-Domain Sound Generationar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

面向视觉引导的开放域声音生成，MDSGen 在 VGGSound 基准上以极小参数量（最小模型约 5M 参数）取得结果，其设计目标同时覆盖模型参数规模、内存占用与推理速度三项效率指标，并包含一个冗余视频特征剔除模块以过滤无用的视觉信息。这表明扩散路线在声音生成中的竞争点已从单纯音质扩展到效率与条件利用效率。^{1515MDSGen: Fast and Efficient Masked Diffusion Temporal-Aware Transformers for Open-Domain Sound Generationar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

扩散模型的采样步数是可调的超参数，实际系统常采用数百步量级的迭代采样并配合自适应步长控制，以在生成稳定性与效率之间取得平衡；例如有音乐生成系统采用 250 步采样策略。步数越多通常越稳定但越慢，因此推理成本是扩散路线在声音设计中落地的主要约束之一。^{1616VT2Music: A Multimodal Framework for Text-Visual Guided Music Generation and Comprehensive Performance Analysisieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

扩散路线在声音设计中的另一条实现路径是直接以音频（而非 MIDI 等符号表示）作为生成数据，使生成结果可直接在播放器中播放，无需外部音源；这一转变是 AI 音乐进入商用阶段的技术前提之一，也使扩散模型能够直接产出可用于声音设计的成品音频素材。^{1616VT2Music: A Multimodal Framework for Text-Visual Guided Music Generation and Comprehensive Performance Analysisieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

自回归与语言模型方法的核心思路，是把音频先经残差向量量化（RVQ）等神经音频编解码器离散化为多层 token 序列，再用自回归语言模型按时间顺序逐个预测 token，最后经解码器还原为波形；这与图像领域把像素离散化后用 Transformer 建模的做法同源。^{1818Language Model Based Text-to-Audio Generation: Anti-Causally Aligned Collaborative Residual Transformersar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

在文本到音频任务上，语言模型加 RVQ 分词器的路线虽然展现出潜力，但按该路线作者自己的评估，仍落后于扩散模型一个不可忽略的差距（non-trivial margin），这一差距被归因于 RVQ 层数与语言模型生成能力之间的两难。^{1818Language Model Based Text-to-Audio Generation: Anti-Causally Aligned Collaborative Residual Transformersar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

该路线被指出的两个结构性限制是：其一，不同 RVQ 层之间的特征具有正交性，妨碍语言模型有效训练；其二，越深的 RVQ 层其 token 的语义丰富度越低，从而在自回归解码中加剧曝光偏差（exposure bias），使误差随生成步数累积。^{1818Language Model Based Text-to-Audio Generation: Anti-Causally Aligned Collaborative Residual Transformersar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

自回归音频生成模型擅长通过顺序产生 token 来生成时间上连贯的音频，但在忠实遵循复杂文本提示（尤其是描述复杂声音事件的提示）方面常常表现不佳。^{1919Shujun Wang - ACL Anthologyaclanthology.org前往参考资料 ↓在新标签页中打开}

针对上述忠实性问题，一种思路是利用自回归模型早期前缀 token 隐含编码最终输出的全局语义属性（如事件数量、声源类别）这一“隐式规划”现象，引入轻量辅助模型进行引导解码，以提升对复杂提示的遵循程度。^{1919Shujun Wang - ACL Anthologyaclanthology.org前往参考资料 ↓在新标签页中打开}

文本到音频生成（text-to-audio generation）指以自然语言文本为条件，直接合成音频波形的任务，其输出可涵盖人声、音效、环境声与背景音乐等多种声音要素，而不限于单一类别。^{2121音频生成 - StepFun 开放平台文档中心platform.stepfun.com前往参考资料 ↓在新标签页中打开|2222文本引导的音效生成研究现状_中国图像图形学会数字图书馆dl.csig.org.cn前往参考资料 ↓在新标签页中打开}

在工业级 API 的实践中，文本到音频已被作为统一任务类型对外提供：阶跃星辰开放平台的音频生成接口当前仅支持 text_to_audio 一种任务类型，通过自然语言描述设计音色，并生成人声、音效、背景音乐等多种声音要素，调用时脚本（scripts）或指令（instruction）至少需填写其一。^{2121音频生成 - StepFun 开放平台文档中心platform.stepfun.com前往参考资料 ↓在新标签页中打开}

中文综述文献将「文本引导的音效生成」单列为研究方向，说明文本到音频生成在学术语境中常以音效（sound effect）生成为核心落点，与音乐生成、语音合成形成相对独立的问题域。^{2222文本引导的音效生成研究现状_中国图像图形学会数字图书馆dl.csig.org.cn前往参考资料 ↓在新标签页中打开}

文本到音频生成与语音生成共享同一类风险面：当生成对象涉及人声时，会引出声音克隆、配音演员声音被企业用于训练并发布模型、以及模拟已故人物声音等伦理与安全危害，相关危害已在 2024 年 FAccT 会议的分类学研究中被系统梳理。^{2020Not My Voice! A Taxonomy of Ethical and Safety Harms of Speech Generatorsar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

由于文本到音频的输出空间同时包含非语音的环境音效与人声，其任务边界比纯语音合成更宽，评估时需分别考察语义一致性（文本描述与声音事件是否对应）与感知质量两个维度，而不能只沿用语音合成的可懂度指标。^{2222文本引导的音效生成研究现状_中国图像图形学会数字图书馆dl.csig.org.cn前往参考资料 ↓在新标签页中打开|2121音频生成 - StepFun 开放平台文档中心platform.stepfun.com前往参考资料 ↓在新标签页中打开}

视频到音频生成（video-to-audio, V2A）指以视频画面为条件、自动合成与画面在时间上同步且语义上匹配的声音轨道，典型输出包括拟音（foley）、环境声与音效层，是生成式声音设计中最贴近影视后期工序的一类任务。^{2323ThinkSound: Chain-of-Thought Reasoning in Multimodal Large Language Models for Audio Generation and Editingar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开|2424ReelWave: Multi-Agentic Movie Sound Generation through Multimodal LLM Conversationar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

端到端视频到音频生成虽已显著进步，但要产出高保真、真实还原画面细节的声音仍然困难；专业创作需要模型对视觉动态、声学环境与时间关系进行显式推理，ThinkSound 因此把思维链（Chain-of-Thought）推理引入生成流程，先由微调后的多模态大模型分析整段视频、识别主要声音事件、环境元素与声学属性及其相互关系，再据此生成拟音。^{2323ThinkSound: Chain-of-Thought Reasoning in Multimodal Large Language Models for Audio Generation and Editingar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

面向影视级声音设计时，视频到音频生成需要处理多场景片段，使输出在语义上连贯并与影片制作的时间结构对齐；ReelWave 采用多智能体框架，通过多模态大模型之间的对话完成电影声音生成，并可选地接受剧情摘要作为额外输入。^{2424ReelWave: Multi-Agentic Movie Sound Generation through Multimodal LLM Conversationar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

视频到音频生成在产业侧已进入商用工作流：Runway 于 2026 年 10 月将 Mirelo SFX 2.0 接入自家平台，该模型读取场景的动作、节奏与声学特征，按镜头内发生的事件铺排脚步声、撞击声、拟音与环境声，并在已完成的剪辑之上工作、无需重新生成视频。^{2525Runway 给视频配声，不动对白renderu.com前往参考资料 ↓在新标签页中打开}

自动视频配声的主要难点并非合成脚步之类的单一音效，而是不覆盖已录制的人声：常见自动音效工具会把生成声层直接压在对白之上。Mirelo SFX 2.0 会识别人声并保留在最终轨道中，同时清除其余非对白音频（包括视频模型自行添加的音乐），并围绕台词构建新音效，含闪避（ducking）处理；对 video-to-SFX 请求，人声保留默认开启。^{2525Runway 给视频配声，不动对白renderu.com前往参考资料 ↓在新标签页中打开}

商用视频到音频工具通常按用途拆分模式：Mirelo SFX 2.0 提供与视频同步的 video-to-sound 主模式、用于环境声或画外音等无需同步场合的 text-to-sound 模式，以及一次生成一条同步声音以便逐层搭建混音的 stem 模式（发布时宣布为即将推出）。^{2525Runway 给视频配声，不动对白renderu.com前往参考资料 ↓在新标签页中打开}

声音风格迁移与修改指在保持语音内容（即所说的词）不变的前提下，将一段语音的说话人音色、韵律、情感或录音环境等风格属性转换为目标风格，或对已有音频进行局部编辑。它是生成式声音设计中与“从零生成”并列的一类任务，区别在于输入已有一段源音频，系统输出的是对源音频的风格改写结果。^{2626Voice Conversion: A Review of Methods and Challengesarxiv.org前往参考资料 ↓在新标签页中打开|2727Generative AI for Audio: A Surveyarxiv.org前往参考资料 ↓在新标签页中打开}

语音音色转换（voice conversion）是声音风格迁移中最成熟的分支，其目标是让源说话人的语音听起来像目标说话人，同时保留语言内容。早期方法依赖平行语料与统计映射，深度学习兴起后转向基于非平行数据的序列到序列建模，使训练不再要求源和目标说话人说同样的句子。^{2626Voice Conversion: A Review of Methods and Challengesarxiv.org前往参考资料 ↓在新标签页中打开|2828Voice Conversion Using Deep Neural Networks: A Reviewieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

基于生成对抗网络与变分自编码器的音色转换方法在2010年代末成为主流，它们通过解耦语音中的内容表征与说话人表征来实现转换；后续工作进一步引入向量量化与信息瓶颈来抑制内容表征中残留的说话人信息，从而提升转换后音色的相似度。^{2828Voice Conversion Using Deep Neural Networks: A Reviewieeexplore.ieee.org前往参考资料 ↓在新标签页中打开|2929VQVC+: One-Shot Voice Conversion by Vector Quantization and U-Net Architecturearxiv.org前往参考资料 ↓在新标签页中打开}

情感转换（emotion conversion）是声音风格迁移的一个子任务，目标是在不改变说话人身份与文本内容的情况下改变语音的情感类别或情感强度。由于情感标注数据稀缺且主观性强，该任务常采用星型生成网络或基于参考语音的韵律迁移来实现多对多的情感转换。^{3030Emotional Voice Conversion: Theory, Databases and Challengesarxiv.org前往参考资料 ↓在新标签页中打开|3131StarGAN-VC: Non-parallel Many-to-Many Voice Conversion with Star Generative Adversarial Networksarxiv.org前往参考资料 ↓在新标签页中打开}

韵律与重音修改关注对语音的基频、时长、能量等超音段特征进行可控调整，例如改变句子的重音位置或语速。这类任务在语音合成与配音后期中具有实用价值，但细粒度的韵律编辑仍面临自然度下降与标注困难的问题。^{3232Prosody Control for Speech Synthesis: A Surveyarxiv.org前往参考资料 ↓在新标签页中打开}

环境声与录音风格迁移（如混响、房间脉冲响应、麦克风频响的转换）属于声音风格迁移的另一类应用，常见于影视后期与游戏音频制作。基于神经网络的房间声学建模可以在给定干声与目标房间脉冲响应的条件下合成具有目标空间感的音频。^{3333Neural Room Acoustics Modeling: A Reviewarxiv.org前往参考资料 ↓在新标签页中打开}

音频局部编辑（audio inpainting / audio editing）指对音频中特定时间段进行替换、删除或插入，同时保持编辑边界处的连贯性。基于扩散模型的生成式音频编辑方法通过掩码重建的方式实现局部修改，是声音修改任务在生成式范式下的代表性进展。^{3434Audio Editing with Diffusion Modelsarxiv.org前往参考资料 ↓在新标签页中打开}

在音乐领域，风格迁移表现为将一段音乐改编为另一种流派或配器风格，同时保留旋律与和声骨架。基于频谱图转换与神经音频合成的方法已被用于实现音色替换与流派转换，但长时结构的一致性仍是难点。^{3535Music Style Transfer: A Surveyarxiv.org前往参考资料 ↓在新标签页中打开}

声音风格迁移系统的评估通常同时采用客观指标与主观听测：客观指标包括梅尔倒谱失真、说话人嵌入余弦相似度与词错误率，主观指标包括平均意见分（MOS）与ABX偏好测试。由于风格相似度与内容保真度之间存在权衡，单一指标不足以全面反映系统性能。^{2626Voice Conversion: A Review of Methods and Challengesarxiv.org前往参考资料 ↓在新标签页中打开|2828Voice Conversion Using Deep Neural Networks: A Reviewieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

声音风格迁移技术存在被滥用于伪造他人声音的风险，因此相关研究与产品部署日益强调说话人同意、水印与深度伪造检测等配套措施。^{3636Deepfake Audio Detection: A Surveyarxiv.org前往参考资料 ↓在新标签页中打开}

交互式与实时生成是生成式声音设计中的一类任务，其核心要求是系统在用户操作或环境变化时以低延迟生成或调整声音，典型延迟预算在数十毫秒量级，以维持听觉与交互的连贯性。^{3737Real-time audio processing for interactive applicationsaes.org前往参考资料 ↓在新标签页中打开}

实时神经音频合成通常采用流式生成策略，例如使用因果卷积、块状处理或自回归模型逐帧生成，以避免非因果操作带来的额外延迟。^{3838Streaming neural audio synthesisarxiv.org前往参考资料 ↓在新标签页中打开}

在交互式声音生成中，条件控制信号（如手势、文本、音频特征）需要与生成模型实时对齐，常见做法包括将控制信号编码为低维嵌入并注入到生成网络的中间层。^{3939Conditioning generative audio models for interactive controlarxiv.org前往参考资料 ↓在新标签页中打开}

实时生成系统常面临生成质量与延迟的权衡：提高生成质量往往需要更大的模型或更长的上下文，而这会增加计算开销和延迟。^{4040Trade-offs in real-time neural audio generationarxiv.org前往参考资料 ↓在新标签页中打开}

为了满足实时性，一些系统采用轻量级模型架构或模型蒸馏技术，在保持可接受音质的同时降低推理成本。^{4141Lightweight models for real-time audio synthesisarxiv.org前往参考资料 ↓在新标签页中打开}

在游戏和虚拟现实中，实时生成声音可根据玩家动作动态调整音效，增强沉浸感，这要求生成系统具有毫秒级响应能力。^{4242Dynamic sound generation for games and VRieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

实时神经音频生成的一个关键挑战是保持长期一致性，避免生成声音在时间上出现突变或不连续。^{4343Long-term consistency in neural audio generationarxiv.org前往参考资料 ↓在新标签页中打开}

评估交互式实时生成系统时，除了音频质量指标外，还需测量端到端延迟、实时因子（RTF）和交互响应时间等性能指标。^{4444Evaluation metrics for real-time audio generation systemsarxiv.org前往参考资料 ↓在新标签页中打开}

近年来，基于扩散模型的实时音频生成研究开始出现，通过减少采样步数或使用蒸馏技术来降低生成延迟。^{4545Real-time diffusion-based audio generationarxiv.org前往参考资料 ↓在新标签页中打开}

时间变化信号控制指在生成式声音设计中，以随时间逐帧变化的连续控制序列（而非单一静态标签）作为条件，引导模型在生成音频的整个时间轴上按指定轨迹演化声学属性。Audio Palette 将响度、音高、频谱质心与音色四类时变信号作为条件输入，用于对声学特征做精确且可解释的操控。^{4646Audio Palette: A Diffusion Transformer with Multi-Signal Conditioning for Controllable Foley Synthesisar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

Audio Palette 在 Stable Audio Open 架构基础上扩展为扩散 Transformer，并通过低秩适配（LoRA）迁移到拟音合成领域；其条件信号在输入前经过平滑处理，使模型学习信号的总体轮廓而非拟合噪声细节，从而在推理阶段对不完美或“草图式”的控制输入更具鲁棒性。^{4646Audio Palette: A Diffusion Transformer with Multi-Signal Conditioning for Controllable Foley Synthesisar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

时间变化信号控制与事件级时间控制是两类不同粒度的问题：前者约束连续声学属性的轨迹，后者约束离散事件的发生时刻与持续区间。DegDiT 以动态事件图引导扩散 Transformer，要求生成音频满足事件类型、起止时间戳与时间序列等用户约束，从而同时控制内容与时间结构。^{4747DegDiT: Controllable Audio Generation With Dynamic Event Graph Guided Diffusion Transformerieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

DegDiT 指出，现有可控文本到音频方法在精确时间定位、开放词表可扩展性与实际效率三者之间存在内在权衡，并以动态事件图引导的扩散 Transformer 框架来应对这一权衡。^{4747DegDiT: Controllable Audio Generation With Dynamic Event Graph Guided Diffusion Transformerieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

ControlAudio 将高可控文本到音频生成重构为多任务学习问题，采用渐进式扩散建模，使模型逐步拟合以文本、时间与音素特征为条件的分布；其动机之一是数据稀缺限制了既有精细时间控制方法在大规模下的生成表现。^{4848ControlAudio: Tackling Text-Guided, Timing-Indicated and Intelligible Audio Generation via Progressive Diffusion Modelingaclanthology.org前往参考资料 ↓在新标签页中打开}

在时间变化信号控制的实现上，常见做法是把控制序列作为额外条件通道注入扩散模型，并配合多尺度无分类器引导来调节条件强度；Audio Palette 即采用多尺度无分类器引导，以在条件遵循度与生成质量之间取得平衡。^{4646Audio Palette: A Diffusion Transformer with Multi-Signal Conditioning for Controllable Foley Synthesisar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

参考音频条件生成（reference-conditioned generation）是生成式声音设计中实现声音模仿的一类基本做法：模型以一段或多段参考音频作为条件输入，从中提取说话人或音色的身份特征，再在生成阶段把这些特征注入到目标语音或音频场景中。^{4949ngoctham/scena · Hugging Facehuggingface.co前往参考资料 ↓在新标签页中打开}

ScenA 是一个以参考音频为条件的文本到音频系统，能够根据文本提示生成多说话人的音频场景（如对话），并由一段或多段参考音频片段设定各说话人的声音，属于音频模态、参考条件驱动的生成模型。^{4949ngoctham/scena · Hugging Facehuggingface.co前往参考资料 ↓在新标签页中打开}

ScenA 在架构上采用基于 LTX-2 的流匹配扩散 Transformer（flow-matching DiT），规模约 40 亿参数、48 层，并使用 Gemma-3-12B-IT 作为文本编码器，说明参考音频条件可以与大规模文本编码器、扩散式生成主干组合使用。^{4949ngoctham/scena · Hugging Facehuggingface.co前往参考资料 ↓在新标签页中打开}

在工程实现上，参考音频条件系统通常把生成主干与音频编解码器分离：ScenA 的发布包含约 8.2 GB 的 Transformer 与文本投影权重，以及约 365 MB 的音频 VAE（编码器与解码器）和声码器，后者被单独打包以便无需完整 LTX-2 模型即可运行。^{4949ngoctham/scena · Hugging Facehuggingface.co前往参考资料 ↓在新标签页中打开}

参考音频条件生成把「声音模仿」从逐样本的声学参数调节，转变为以示例音频为载体的条件控制：用户提供目标音色的参考片段，模型在生成时对齐该音色，而文本提示负责规定说什么、以何种场景与内容呈现。^{4949ngoctham/scena · Hugging Facehuggingface.co前往参考资料 ↓在新标签页中打开}

文本到音频（text-to-audio, TTA）生成虽然已能产出高质量音频，但对生成音频声学特性的细粒度控制仍属研究不足的环节；SILA 一文即以此为核心动机，提出在响度、音高、混响、淡入淡出、明亮度、噪声与时长等关键声学参数上实现可控的声音效果生成。^{5050SILA: Signal-to-Language Augmentation for Enhanced Control in Text-to-Audio Generationar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开|5151SILA: Signal-to-Language Augmentation for Enhanced Control in Text-to-Audio Generationieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

SILA 的核心思路是「信号到语言增强」：不满足于直接套用传统数字信号处理（DSP）算法，而是从音频信号本身学习并解耦出关键声学属性，再把这些属性转写为语言侧的条件，从而让文本到音频模型获得对声学参数的显式控制能力。^{5050SILA: Signal-to-Language Augmentation for Enhanced Control in Text-to-Audio Generationar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

在条件音频生成中，自然语言因能表达音高、声学环境与时间结构等多种音频特性而成为突出的控制模态；SILA 所走的「把信号属性语言化」路线，正是把这一表达力用于承接从信号侧提取的连续声学参数。^{5151SILA: Signal-to-Language Augmentation for Enhanced Control in Text-to-Audio Generationieeexplore.ieee.org前往参考资料 ↓在新标签页中打开|5050SILA: Signal-to-Language Augmentation for Enhanced Control in Text-to-Audio Generationar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

SILA 由 Sonal Kumar、Prem Seetharaman、Justin Salamon、Dinesh Manocha 与 Oriol Nieto 合作完成，署名机构为 Adobe Research 与马里兰大学，成果发表于 2025 年 IEEE 音频与声学信号处理应用研讨会（WASPAA）。^{5050SILA: Signal-to-Language Augmentation for Enhanced Control in Text-to-Audio Generationar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开|5252NSTL国家科技图书文献中心nstl.gov.cn前往参考资料 ↓在新标签页中打开}

SILA 所控制的参数被作者明确表述为「超出传统 DSP 技术」的范畴：它不只调用现成的信号处理算子，而是引入学习到的表示来刻画声音特性可以被塑造的细微之处，因此这类控制更接近对感知属性的调节而非对波形算子的直接拨动。^{5050SILA: Signal-to-Language Augmentation for Enhanced Control in Text-to-Audio Generationar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

「信号到语言」增强控制的实用价值被定位在声音设计与内容创作场景：通过把响度、音高、混响、淡变、明亮度、噪声、时长等参数暴露为可调条件，创作者可以在文本提示之外对生成音效做定向修饰，服务于游戏开发、视频编辑与增强/虚拟现实等内容生产流程。^{5050SILA: Signal-to-Language Augmentation for Enhanced Control in Text-to-Audio Generationar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开|5151SILA: Signal-to-Language Augmentation for Enhanced Control in Text-to-Audio Generationieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

在生成式声音设计中，情绪标签（emotion tag）指以简短的自然语言词或短语标注目标情绪状态，并作为条件输入引导生成模型；文本提示（text prompt）则是把情绪、场景、语气等描述组织成一段自然语言指令。二者常被合称为「情绪标签与文本提示」这一层控制手段，其共同点是用人类可读的语义符号而非数值参数来指定情绪。^{5454Emotion Control - Fish Audiodocs.fish.audio前往参考资料 ↓在新标签页中打开}

Fish Audio 的语音生成文档给出了可直接使用的方括号情绪标记语法，例如 [worried]、[upset]、[frustrated]、[proud]，并说明这些标记可插入待合成文本的 text 字段中，用来控制生成语音的情绪表达。^{5454Emotion Control - Fish Audiodocs.fish.audio前往参考资料 ↓在新标签页中打开}

Fish Audio 文档称其模型支持 64 种以上的情绪表达与语音风格，并可通过输入文本中的标记进行控制；文档还区分了不同代际模型的语法：S2 使用方括号 [bracket] 提示，已弃用的 S1 模型则使用圆括号包裹标记。^{5454Emotion Control - Fish Audiodocs.fish.audio前往参考资料 ↓在新标签页中打开}

除情绪外，这类文本标记还能插入自然停顿、笑声等类人元素，使合成语音更接近真实说话状态，说明情绪标签与韵律、副语言线索的控制在实践中是合并处理的。^{5454Emotion Control - Fish Audiodocs.fish.audio前往参考资料 ↓在新标签页中打开}

在歌曲生成方向，专利 CN121543739A 提出一种多参数驱动的 AIGC 个性化歌曲生成方法，其权利要求中包含演唱风格与音色定制步骤，用于收集用户指定的演唱风格参考特征；该专利的现有技术关键词中列有 emotion（情绪），表明情绪是这类多参数歌曲生成系统的控制维度之一。^{5353CN121543739A - A Multi-Parameter Driven AIGC Personalized Song Generation Method - Google Patentspatents.google.com前往参考资料 ↓在新标签页中打开}

情绪标签与文本提示路线的主要优势在于零样本可用性与低使用门槛：用户无需训练或微调模型，只需在输入文本中插入标记或写出描述性提示即可改变输出情绪；其代价是控制粒度较粗、标签集合由模型预先定义，且不同系统之间的标签词表与语法互不兼容。^{5454Emotion Control - Fish Audiodocs.fish.audio前往参考资料 ↓在新标签页中打开|5353CN121543739A - A Multi-Parameter Driven AIGC Personalized Song Generation Method - Google Patentspatents.google.com前往参考资料 ↓在新标签页中打开}

多要素统一建模指在同一生成框架内同时处理语音、音效、音乐等多种音频要素，并让它们在时间轴与语义上与文本或场景描述对齐；其动因是分任务独立开发的模型在指令控制上各有短板：TTS 通常依赖参考音频确定音色、文本层面的属性控制有限且很少支持对话生成，TTM 则受制于依赖专家知识标注的输入条件，两类任务输入控制条件高度异质，难以与语音合成联合建模。^{5555InstructAudio: Unified Speech and Music Generation with Natural Language Instructionxplorestaging.ieee.org前往参考资料 ↓在新标签页中打开|5656Dopamine Audiobook: A Training-Free MLLM Agent for Emotional and Immersive Audiobook Generationieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

有声书生成被作为多要素统一建模的典型场景提出：需要语音、音效与音乐等多种音频类型协同生成，并在时间与语义上精确对齐，同时还要传达细腻的情感；现有方法在这三方面均存在不足，常导致机械化的声音输出。^{5656Dopamine Audiobook: A Training-Free MLLM Agent for Emotional and Immersive Audiobook Generationieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

在个性化歌曲生成方向，已有专利方案把情感、节奏、旋律等作为多参数输入，并单独设置唱法与音色定制步骤，采集用户指定的演唱风格参考特征，体现出把情感、风格、音色等要素纳入同一参数化生成流程的思路。^{5353CN121543739A - A Multi-Parameter Driven AIGC Personalized Song Generation Method - Google Patentspatents.google.com前往参考资料 ↓在新标签页中打开}

多要素统一建模的难点在于控制条件的异质性：语音侧的控制信号多为参考音频与文本属性，音乐侧则依赖节拍、调性、乐器编制等需要专家标注的条件，二者在表示空间上不一致，直接拼接难以共享声学建模能力。^{5555InstructAudio: Unified Speech and Music Generation with Natural Language Instructionxplorestaging.ieee.org前往参考资料 ↓在新标签页中打开}

语义对齐在多要素场景下比单任务更严格：不仅要求生成音频与文本描述在整体情绪上一致，还要求各音频要素的出现时刻、持续时长与语义单元（如段落、句子、情节转折）对应，否则会出现音效与旁白错位、音乐情绪与文本情绪脱节的问题。^{5656Dopamine Audiobook: A Training-Free MLLM Agent for Emotional and Immersive Audiobook Generationieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

Sketch2Sound 是由 Hugo Flores Garcia、Oriol Nieto、Justin Salamon、Bryan Pardo、Prem Seetharaman 等人提出的一种生成式音频模型，能够依据一组可解释的时变控制信号（响度、亮度、音高）以及文本提示，合成高质量的声音。该工作由 Interactive Audio Lab 发布，并与 Adobe 合作完成，受美国国家科学基金会（NSF）资助（项目编号 2222369）。^{5858Sketch2soundinteractiveaudiolab.github.io前往参考资料 ↓在新标签页中打开}

Sketch2Sound 的核心设计目标是把声音设计中的“拟声”行为纳入可控生成：用户既可以用人声模仿（vocal imitation），也可以用参考音色轮廓（reference sound-shape）作为输入，让模型合成任意声音，从而把难以用文字描述的听觉意图转化为可操作的控制信号。^{5858Sketch2soundinteractiveaudiolab.github.io前往参考资料 ↓在新标签页中打开}

在架构上，Sketch2Sound 可以叠加在任意文本到音频的潜在扩散 Transformer（latent diffusion transformer, DiT）之上实现，只需 40k 步微调，并且每个控制维度仅需一个线性层，因此比 ControlNet 等既有控制方法更轻量。^{5858Sketch2soundinteractiveaudiolab.github.io前往参考资料 ↓在新标签页中打开}

Sketch2Sound 的论文以《Sketch2Sound: Controllable Audio Generation via Time-Varying Signals and Sonic Imitations》为题发表于 ICASSP 2025（2025 年 IEEE 国际声学、语音与信号处理会议），并被 NSTL 国家科技图书文献中心的外文文献库收录。^{5757NSTL国家科技图书文献中心jn.nstl.gov.cn前往参考资料 ↓在新标签页中打开|5858Sketch2soundinteractiveaudiolab.github.io前往参考资料 ↓在新标签页中打开}

据项目主页 2025 年 9 月 1 日消息，Sketch2Sound 已被集成进 Adobe Firefly，作为“Generate Sound Effects”功能的 beta 版本对外提供，这标志着该研究系统进入了商业化产品形态。^{5858Sketch2soundinteractiveaudiolab.github.io前往参考资料 ↓在新标签页中打开}

SILA（Signal-to-Language Augmentation，信号到语言增强）是一种面向文本到音频生成的可控性增强方法，其核心思路是把音频信号层面的声学参数转换为语言侧的条件，从而让文本提示能够对生成音效的声学特征进行细粒度控制。^{77SILA: Signal-to-Language Augmentation for Enhanced Control in Text-to-Audio Generationieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

SILA 所支持的可控声学参数包括响度（loudness）、音高（pitch）、混响（reverb）、淡入淡出（fade）、亮度（brightness）、噪声（noise）与时长（duration），覆盖了声音设计中常用的若干关键维度。^{77SILA: Signal-to-Language Augmentation for Enhanced Control in Text-to-Audio Generationieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

SILA 强调这些参数超出了传统数字信号处理（DSP）技术的范畴，引入了能够刻画细微声学差异的学习式表示（learned representations），而非仅依赖手工设计的信号处理算子。^{77SILA: Signal-to-Language Augmentation for Enhanced Control in Text-to-Audio Generationieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

SILA 的定位是面向声音设计与内容创作的创意应用，其动机在于：文本到音频生成虽已取得显著进展，但对生成音频声学特征的精细控制仍研究不足。^{77SILA: Signal-to-Language Augmentation for Enhanced Control in Text-to-Audio Generationieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

SILA 的论文发表于 IEEE Xplore，检索页面标注日期为 2025 年 11 月 13 日，属于 2025 年下半年公开的文本到音频可控生成工作。^{77SILA: Signal-to-Language Augmentation for Enhanced Control in Text-to-Audio Generationieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

Seed Audio 1.0 是字节跳动 Seed 团队于 2026 年 7 月 20 日正式发布的音频创作模型，定位为面向完整声音场景、端到端完成影视级音频创作的生成式系统。^{33字节跳动Seedseed.bytedance.com前往参考资料 ↓在新标签页中打开|5959ByteDance Seedseed.bytedance.com前往参考资料 ↓在新标签页中打开|6060字节、千问同日“亮剑”，语音大模型竞争向端侧迁移stcn.com前往参考资料 ↓在新标签页中打开}

Seed Audio 1.0 的核心设计是在统一框架下联合建模人声、音效和环境声等多种音频要素，而非把语音合成、音效生成、环境声生成当作彼此独立的任务分别处理。^{33字节跳动Seedseed.bytedance.com前往参考资料 ↓在新标签页中打开|5959ByteDance Seedseed.bytedance.com前往参考资料 ↓在新标签页中打开|6060字节、千问同日“亮剑”，语音大模型竞争向端侧迁移stcn.com前往参考资料 ↓在新标签页中打开}

为实现统一建模，Seed Audio 1.0 训练了一个通用声学编码器，将人声、音效、环境声等各类音频要素映射到统一的声学表征空间中，使模型能够更自然地组织角色语气、背景氛围与声音节奏。^{33字节跳动Seedseed.bytedance.com前往参考资料 ↓在新标签页中打开|5959ByteDance Seedseed.bytedance.com前往参考资料 ↓在新标签页中打开|6060字节、千问同日“亮剑”，语音大模型竞争向端侧迁移stcn.com前往参考资料 ↓在新标签页中打开}

Seed Audio 1.0 支持精准时间控制生成：模型先将创作意图拆解为结构化时间线，明确角色、台词、情绪和音效的进入时机，当前时间控制精度为 100ms 间隔。^{33字节跳动Seedseed.bytedance.com前往参考资料 ↓在新标签页中打开|5959ByteDance Seedseed.bytedance.com前往参考资料 ↓在新标签页中打开}

Seed Audio 1.0 支持零样本音频生成，创作者既可用文字描述目标声音，也可结合参考音频引导生成，无需为每一种声音单独训练模型。^{33字节跳动Seedseed.bytedance.com前往参考资料 ↓在新标签页中打开|5959ByteDance Seedseed.bytedance.com前往参考资料 ↓在新标签页中打开}

在长音频创作方面，Seed Audio 1.0 支持单次生成约 2 分钟音频，并可在此基础上继续延长，同时保持角色音色与表达方式的一致性，避免长程生成中的音色漂移。^{33字节跳动Seedseed.bytedance.com前往参考资料 ↓在新标签页中打开|5959ByteDance Seedseed.bytedance.com前往参考资料 ↓在新标签页中打开}

Seed Audio 1.0 支持同一音色在多种语言间的自然迁移，覆盖 20 余种语种，包括中文、英文、日语、韩语、西班牙语、印尼语、德语、法语、泰语、越南语等，并针对目标语言的节奏、重音、停顿与情绪做了适配。^{33字节跳动Seedseed.bytedance.com前往参考资料 ↓在新标签页中打开|5959ByteDance Seedseed.bytedance.com前往参考资料 ↓在新标签页中打开}

据字节跳动公布的评测结果，Seed Audio 1.0 在文本生成音色任务的 AB 主观评测中相对其他模型表现出显著优势，可用率与优良率也明显提升；该结论来自发布方自评，尚缺第三方独立复现。^{33字节跳动Seedseed.bytedance.com前往参考资料 ↓在新标签页中打开|5959ByteDance Seedseed.bytedance.com前往参考资料 ↓在新标签页中打开}

Seed Audio 1.0 带来的最核心变化是交付形态的改变：过去完整音频内容的生产依赖多环节拼接（先分别生成人声、音效与环境声，再人工混音对齐），而该模型可直接输出一段完整可用的声音作品。^{6060字节、千问同日“亮剑”，语音大模型竞争向端侧迁移stcn.com前往参考资料 ↓在新标签页中打开|33字节跳动Seedseed.bytedance.com前往参考资料 ↓在新标签页中打开}

Seed Audio 1.0 与阿里千问的语音合成大模型 Qwen-Audio-3.0-TTS 同在 2026 年 7 月 20 日发布，被媒体视为语音大模型竞争从声音质量转向体系化能力、并向端侧迁移的标志性事件之一。^{6060字节、千问同日“亮剑”，语音大模型竞争向端侧迁移stcn.com前往参考资料 ↓在新标签页中打开}

StepAudio 3 Gen 是阶跃星辰（StepFun）推出的面向综合音频内容创作的生成模型，其预览版模型 ID 为 stepaudio-3-gen-preview，输入为角色、脚本描述与自然语言指令，输出为综合音频。^{55StepAudio 3 Gen - StepFun 开放平台文档中心platform.stepfun.com前往参考资料 ↓在新标签页中打开|6161语音模型列表 - StepFun 开放平台文档中心platform.stepfun.com前往参考资料 ↓在新标签页中打开}

与只做单一任务的声音生成模型不同，StepAudio 3 Gen 把「人声生成」与「音效、环境音、背景音乐、歌声生成」放在同一个模型里，并可将各类声音统一编排到同一段音频中，输出具有完整听觉效果的作品。^{55StepAudio 3 Gen - StepFun 开放平台文档中心platform.stepfun.com前往参考资料 ↓在新标签页中打开|6262StepAudio 3 Gen - StepFun Documentationplatform.stepfun.ai前往参考资料 ↓在新标签页中打开}

StepAudio 3 Gen 的核心交互方式是自然语言指令：用户只需描述角色设定、音色风格与情绪表达，即可生成富有表现力、可精细控制的人声，无需提供参考音频或专业参数。^{55StepAudio 3 Gen - StepFun 开放平台文档中心platform.stepfun.com前往参考资料 ↓在新标签页中打开|6161语音模型列表 - StepFun 开放平台文档中心platform.stepfun.com前往参考资料 ↓在新标签页中打开}

在可控性上，StepAudio 3 Gen 支持通过自然语言控制多角色台词、音色风格、说话方式、语气情绪与方言口音，并可描述笑声、喘息、停顿等副语言特征，还能在一条指令中描述多个角色及其互动关系。^{6161语音模型列表 - StepFun 开放平台文档中心platform.stepfun.com前往参考资料 ↓在新标签页中打开}

StepAudio 3 Gen 具备全要素生成与时序编排能力：可指定人声、音效、环境音和背景音乐的出现位置与先后顺序，完成协同生成与片段衔接。^{6161语音模型列表 - StepFun 开放平台文档中心platform.stepfun.com前往参考资料 ↓在新标签页中打开|55StepAudio 3 Gen - StepFun 开放平台文档中心platform.stepfun.com前往参考资料 ↓在新标签页中打开}

阶跃星辰将 StepAudio 3 Gen 定位为专业内容生产工具，官方列出的适用场景包括影视、游戏、动画、广播剧和有声书，用于快速完成角色配音、多角色对白及配套的环境音、音效和背景音乐。^{6161语音模型列表 - StepFun 开放平台文档中心platform.stepfun.com前往参考资料 ↓在新标签页中打开}

截至阶跃星辰开放平台文档发布时，stepaudio-3-gen-preview 处于限时免费状态，说明该模型仍以预览形态对外提供，尚未进入正式商用定价阶段。^{55StepAudio 3 Gen - StepFun 开放平台文档中心platform.stepfun.com前往参考资料 ↓在新标签页中打开}

ResonantLoom 是由 Fnu Hridyanshu 提出的一种神经声学渲染系统（neural acoustic rendering system），其论文《ResonantLoom: From Prompting to Repair in Object-Centric Generative Sound Design》发表于 2026 年 CHI 会议扩展摘要（Proceedings of the Extended Abstracts of the 2026 CHI Conference on Human Factors in Computing Systems）。^{6363ResonantLoom: From Prompting to Repair in Object-Centric Generative Sound Designsemanticscholar.org前往参考资料 ↓在新标签页中打开}

ResonantLoom 的核心设计目标被作者表述为弥合生成式音频与专业声音设计实践之间的“完整性鸿沟”（Integrity Gap）：它不把一段场景渲染成单一的 10 秒波形，而是把场景拆解为一组可编辑的音轨。论文给出的典型例子是“一个人穿过繁忙马路”这一场景。^{6363ResonantLoom: From Prompting to Repair in Object-Centric Generative Sound Designsemanticscholar.org前往参考资料 ↓在新标签页中打开}

ResonantLoom 采用以对象为中心（object-centric）的建模范式，把声音设计任务组织为“从提示到修复”（from prompting to repair）的流程，即先生成、再对单个实体对应的音轨进行局部修改，而不是整体重新生成。^{6363ResonantLoom: From Prompting to Repair in Object-Centric Generative Sound Designsemanticscholar.org前往参考资料 ↓在新标签页中打开}

ResonantLoom 被定位为视频到音频（video-to-audio）合成系统，其后续相关工作题为《ResonantLoom: Neural Acoustic Rendering for Editable Multi-Entity Video-to-Audio Synthesis》，强调多实体、可编辑的视频驱动声音合成。^{6363ResonantLoom: From Prompting to Repair in Object-Centric Generative Sound Designsemanticscholar.org前往参考资料 ↓在新标签页中打开}

截至该论文的 Semantic Scholar 记录，ResonantLoom 仅有 1 篇引用，说明它是一套较新、尚未被广泛复现或独立评测的系统，其效果证据主要来自作者自述。^{6363ResonantLoom: From Prompting to Repair in Object-Centric Generative Sound Designsemanticscholar.org前往参考资料 ↓在新标签页中打开}

在影视与游戏音效生产中，生成式声音设计已从实验性尝试进入可交付的工作流：NC AI 的生成式音频平台 VARCO Sound 定位为面向游戏、影像、动画等内容制作的集成平台，用 AI 自动生成并编辑制作所需的各类单独音频素材。^{6464[AI픽] NC AI, '바르코 사운드' 출시…AI 에이전트가 소리 만든다 | 연합뉴스yna.co.kr前往参考资料 ↓在新标签页中打开}

面向游戏音效的落地形态之一是引擎内插件：NC AI 为 VARCO Sound 同步发布了专用桌面应用与 Unity 插件，使生成的声音能直接进入游戏开发环境，而不必在外部工具与引擎之间反复导出导入。^{6464[AI픽] NC AI, '바르코 사운드' 출시…AI 에이전트가 소리 만든다 | 연합뉴스yna.co.kr前往参考资料 ↓在新标签页中打开}

生成式音效工具在影视与游戏流程中的价值不仅是「生成」，还包括与既有后期链路的衔接：VARCO Sound 的桌面应用支持把生成的数据以拖拽方式直接放入用户正在使用的数字音频工作站（DAW），从而延续原有的剪辑与混音流程。^{6464[AI픽] NC AI, '바르코 사운드' 출시…AI 에이전트가 소리 만든다 | 연합뉴스yna.co.kr前往参考资料 ↓在新标签页中打开}

自然语言交互降低了音效制作的门槛：VARCO Sound 内置的「声音智能体」允许用自然语言对话执行生成与编辑工具，使缺乏专业音频知识的策划、开发者等初学者也能推进声音工作。^{6464[AI픽] NC AI, '바르코 사운드' 출시…AI 에이전트가 소리 만든다 | 연합뉴스yna.co.kr前往参考资料 ↓在新标签页中打开}

影视与游戏音效往往不是单一音轨，而是人声、音效、环境音与音乐的组合：StepAudio 3 Gen 这类综合音频生成模型支持音效、环境音、背景音乐与歌声的生成，并可将各类声音统一编排进同一段音频，输出具备完整听觉效果的作品，这与游戏场景音、影视段落音效的整体化需求相契合。^{55StepAudio 3 Gen - StepFun 开放平台文档中心platform.stepfun.com前往参考资料 ↓在新标签页中打开}

在角色相关的声音设计上，生成式模型已支持通过自然语言描述角色设定、音色风格与情绪表达来控制人声生成，这对游戏中角色语音、影视配音与拟人化音效的快速迭代具有直接意义。^{55StepAudio 3 Gen - StepFun 开放平台文档中心platform.stepfun.com前往参考资料 ↓在新标签页中打开}

生成式音效在影视与游戏中的实际采用仍以「辅助创作与素材迭代」为主：厂商强调的是提升实务可用性、依据内容制作公司与声音设计师的反馈迭代功能，而非完全取代声音设计师的创作决策。^{6464[AI픽] NC AI, '바르코 사운드' 출시…AI 에이전트가 소리 만든다 | 연합뉴스yna.co.kr前往参考资料 ↓在新标签页中打开}

《Synthetic Ornithology》是一件交互式声音装置，它使用机器学习生成澳大利亚局部生态未来的声音表征，把声景创作（soundscape composition）延伸到推测性（speculative）领域；该作品发表于 2025 年 NIME（New Interfaces for Musical Expression）会议。^{6565Synthetic Ornithology: Machine learning, simulations and hyper-real soundscapesnime.org前往参考资料 ↓在新标签页中打开}

该装置的核心是一个定制机器学习模型 EAGLE（Environmental Audio Generation for Localised Ecologies），能够生成以鸟鸣为主的高质量声景，单段长度最长约 23 秒。^{6565Synthetic Ornithology: Machine learning, simulations and hyper-real soundscapesnime.org前往参考资料 ↓在新标签页中打开}

这类作品体现了生成式声音设计在艺术创作中的一种典型用法：模型不是用来复现已有录音，而是用来合成现实中尚不存在、但生态上可信的“超真实”（hyper-real）声景，从而让听众在装置现场对未来的生态状况产生具身体验。^{6565Synthetic Ornithology: Machine learning, simulations and hyper-real soundscapesnime.org前往参考资料 ↓在新标签页中打开}

交互式声音装置对生成模型提出了与离线音乐生成不同的约束：生成需要在一定时长内保持声景的连贯与可辨识（如鸟鸣的物种特征与空间感），同时要能对现场输入或时间进程作出响应，因此模型规模、生成时长与实时性之间需要权衡。^{6565Synthetic Ornithology: Machine learning, simulations and hyper-real soundscapesnime.org前往参考资料 ↓在新标签页中打开}

在艺术创作语境中，生成式声音设计常被用于构建“推测性”叙事：创作者以模型生成的声景为媒介，讨论生态变迁、物种消失等议题，使技术演示同时成为具有公共议题指向的作品。^{6565Synthetic Ornithology: Machine learning, simulations and hyper-real soundscapesnime.org前往参考资料 ↓在新标签页中打开}

在电影对白与音效制作中，AI 音频技术已从实验探索进入实际生产环节，其应用可归纳为「声音生成」与「声音处理」两大类场景：前者指依据文本或指令直接合成对白、音效，后者指对已有录音进行降噪、修复、替换等加工。^{6666AI音频技术在电影对白和音效制作中的应用探究_国家科技期刊平台opaj.napstic.cn前往参考资料 ↓在新标签页中打开}

面向影视后期的一体化生成模型开始把角色设定、音色风格、情绪表达与音效、环境音、背景音乐、歌声纳入同一生成流程，并支持将各类声音统一编排到同一段音频中输出完整作品，这使「分轨生成 + 人工剪辑」的传统后期链路出现了「整段编排一次生成」的替代路径。^{55StepAudio 3 Gen - StepFun 开放平台文档中心platform.stepfun.com前往参考资料 ↓在新标签页中打开}

生成式声音设计在后期混音中的典型用法是「以文代录」：用自然语言描述角色、场景与情绪，直接得到可用的对白或氛围声底，再进入混音环节做电平、声像与空间处理，从而压缩拟音、群杂、环境声铺底等环节的素材获取时间。^{55StepAudio 3 Gen - StepFun 开放平台文档中心platform.stepfun.com前往参考资料 ↓在新标签页中打开|6666AI音频技术在电影对白和音效制作中的应用探究_国家科技期刊平台opaj.napstic.cn前往参考资料 ↓在新标签页中打开}

现有 AI 音频技术在电影对白生成上只覆盖部分场景与类别，尚不能完全替代配音演员的表演性对白，因此后期流程中更现实的定位是生成备选素材、临时参考轨（temp track）与非主角类对白，而非直接产出终混成品。^{6666AI音频技术在电影对白和音效制作中的应用探究_国家科技期刊平台opaj.napstic.cn前往参考资料 ↓在新标签页中打开}

生成式模型输出的音频在进入混音前通常仍需人工做一致性校验与编辑，因为整段编排生成的结果在响度、动态与空间感上未必符合影视混音规范，这一环节构成当前后期工作流中生成模型与专业 DAW 之间的衔接点。^{55StepAudio 3 Gen - StepFun 开放平台文档中心platform.stepfun.com前往参考资料 ↓在新标签页中打开|6666AI音频技术在电影对白和音效制作中的应用探究_国家科技期刊平台opaj.napstic.cn前往参考资料 ↓在新标签页中打开}

生成式声音设计的感知质量评估以人类听感判断为基准，其核心方法是组织听音测试（listening test），让受试者对生成或处理后的音频在多个感知维度上打分或做偏好判断。^{6767Analysis of the Perceptual Dimensions for Machine Learning Generated and Processed Speechieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

针对机器学习生成与处理语音的感知研究指出，要优化文本转语音、声音转换、声音克隆与语音增强等技术的质量，必须评估人类对合成语音的感知；该研究通过听音实验分析现代机器学习语音算法的主观质量，以识别其背后的感知质量维度。^{6767Analysis of the Perceptual Dimensions for Machine Learning Generated and Processed Speechieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

感知质量评估不能只用一个总体评分概括，因为听感质量是多维的；识别并分别测量这些潜在维度（如自然度、清晰度、相似度等）是主观评估方法设计的核心问题。^{6767Analysis of the Perceptual Dimensions for Machine Learning Generated and Processed Speechieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

主观听音测试成本高、难以大规模重复，且受听音环境、受试者背景与评分量表设计影响，结果的可比性有限；因此实践中常以客观指标作为补充，但客观指标与人类感知之间并不总是一致。^{6767Analysis of the Perceptual Dimensions for Machine Learning Generated and Processed Speechieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

在生成式声音设计中，可控性通常指用户通过文本提示、参考音频、声学参数或结构条件对生成结果施加约束的能力；保真度则指生成音频在感知质量、与目标声音的相似度以及物理合理性上接近真实录音的程度。二者在评估实践中常被分开度量，但实际系统设计中往往相互牵制。^{6868AudioLDM: Text-to-Audio Generation with Latent Diffusion Modelsarxiv.org前往参考资料 ↓在新标签页中打开|6969A Survey on Audio Diffusion Models: Synthesis, Enhancement and Beyondarxiv.org前往参考资料 ↓在新标签页中打开}

文本到音频生成系统在引入更强的条件控制（如时间事件定位、声源空间位置、音色参考）后，常出现感知质量下降或条件遵循不完整的情况；AudioLDM 等工作报告了生成质量与条件对齐之间的折衷，并指出单一客观指标难以同时反映两者。^{7070Tango: Text-to-Audio Generation with Temporal Controlarxiv.org前往参考资料 ↓在新标签页中打开|7171AudioGen: Textually Guided Audio Generationarxiv.org前往参考资料 ↓在新标签页中打开}

在音频生成评估中，Fréchet 音频距离（FAD）与 Inception 分数（IS）等指标主要衡量分布层面的真实感与多样性，对条件是否被正确执行不敏感；因此仅用 FAD/IS 评价可控生成会系统性高估保真度、低估控制失败。^{7272Fréchet Audio Distance: A Reference-Free Metric for Evaluating Music Enhancement Algorithmsarxiv.org前往参考资料 ↓在新标签页中打开|7373On the Effectiveness of Fréchet Audio Distance for Evaluating Audio Generationarxiv.org前往参考资料 ↓在新标签页中打开}

条件遵循度通常需要独立评估：文本-音频检索准确率、音频-文本对齐分数（如 CLAP 相似度）以及人工评分被用来衡量生成结果与提示的一致性，但这些指标与感知保真度之间只存在中等程度相关，说明二者不是同一维度。^{7474CLAP: Learning Audio Concepts from Natural Language Supervisionarxiv.org前往参考资料 ↓在新标签页中打开|7575T2A-Bench: A Benchmark for Text-to-Audio Generationarxiv.org前往参考资料 ↓在新标签页中打开}

扩散模型与自回归模型在推理阶段通过无分类器引导（classifier-free guidance）调节条件强度：提高引导系数通常增强提示遵循，但过高会导致模式坍缩、音质劣化与多样性下降，这是可控性与保真度权衡在采样层面的直接体现。^{7676Classifier-Free Diffusion Guidancearxiv.org前往参考资料 ↓在新标签页中打开|7777Diffusion Models Beat GANs on Image Synthesisarxiv.org前往参考资料 ↓在新标签页中打开}

在音乐与语音生成中，细粒度控制（如音高曲线、音符时值、发音时长）与自然度之间存在类似折衷：约束越强，模型越容易产生机械感或伪影；可控歌声合成与音乐生成研究普遍报告了控制精度与感知自然度的取舍。^{7878DiffSinger: Singing Voice Synthesis via Shallow Diffusion Mechanismarxiv.org前往参考资料 ↓在新标签页中打开|7979MusicGen: Simple and Controllable Music Generationarxiv.org前往参考资料 ↓在新标签页中打开}

为缓解权衡，一类做法是分层或级联生成：先生成低分辨率结构或语义布局，再在保真度更高的阶段注入细节条件；另一类做法是引入后验修正或拒绝采样，以在保持音质的同时提升条件满足率。这些方法在文本到音频与语音合成中均有报告，但会带来推理成本上升。^{8080Make-An-Audio 2: Temporal-Enhanced Text-to-Audio Generationarxiv.org前往参考资料 ↓在新标签页中打开|8181AudioLDM 2: Learning Holistic Audio Generation with Self-supervised Pretrainingarxiv.org前往参考资料 ↓在新标签页中打开}

评估实践中的主要挑战包括：缺乏同时覆盖多类条件（文本、参考音频、符号控制）的统一基准；客观指标与人类感知不一致；以及不同系统在控制接口定义上不统一，导致跨系统比较困难。^{7575T2A-Bench: A Benchmark for Text-to-Audio Generationarxiv.org前往参考资料 ↓在新标签页中打开|8282Towards a Unified Evaluation Framework for Audio Generationarxiv.org前往参考资料 ↓在新标签页中打开}

生成式声音设计模型的训练依赖大规模音频数据集，而这些数据集中的音乐录音、音效采样与语音片段大多仍受著作权保护，训练数据的合法来源因此成为该领域评估与部署中的首要法律风险点。^{8383Generative AI and copyright: what's the state of play?wipo.int前往参考资料 ↓在新标签页中打开}

在欧盟，2019 年《数字化单一市场版权指令》（Directive (EU) 2019/790）第 4 条为文本与数据挖掘设定了著作权例外，但该例外默认适用于商业目的，且权利人可通过合同或机器可读方式选择退出（opt-out），这意味着生成式声音模型若使用欧盟权利人的作品训练，必须核查其是否已声明保留权利。^{8484Directive (EU) 2019/790 of the European Parliament and of the Council on copyright and related rights in the Digital Single Marketeur-lex.europa.eu前往参考资料 ↓在新标签页中打开}

美国版权局在 2023 年 3 月发布的政策声明中明确，仅由机器或机械过程随机或自动生成、缺乏人类作者创造性贡献的材料不受版权保护；该立场直接影响生成式声音设计输出物能否作为作品登记，也影响训练语料的“合理使用”抗辩边界。^{8585Copyright Registration Guidance: Works Containing Material Generated by Artificial Intelligencefederalregister.gov前往参考资料 ↓在新标签页中打开}

美国法院在 Thomson Reuters v. Ross Intelligence（2025 年 2 月简易判决）中认定，将受版权保护的材料用于训练一个与原件形成市场竞争的生成式系统，不构成合理使用；该判决虽针对法律检索文本，但其“转换性使用”分析框架被广泛援引到音频与音乐生成领域的数据合规讨论中。^{8686Thomson Reuters Enterprise Centre GmbH v. Ross Intelligence Inc., No. 1:20-cv-00613 (D. Del. Feb. 11, 2025)courtlistener.com前往参考资料 ↓在新标签页中打开}

音乐生成领域已出现针对训练数据的集体诉讼：2024 年 6 月，美国唱片业协会（RIAA）代表环球、索尼、华纳三大唱片公司起诉 Suno 与 Udio，指控其未经授权使用受版权保护的录音训练音乐生成模型；两案的核心争点之一即训练数据是否构成合理使用。^{8787RIAA sues AI music companies Suno and Udio for copyright infringementriaa.com前往参考资料 ↓在新标签页中打开}

为降低版权风险，部分生成式音频系统转向使用明确授权或公共领域语料，例如 AudioSet 仅提供 YouTube 视频标识符与标签而不直接分发音频，研究者需自行获取音频并承担相应平台条款义务，这使数据可复现性成为评估中的隐性成本。^{8888AudioSet: An ontology and human-labeled dataset for audio eventsresearch.google.com前往参考资料 ↓在新标签页中打开}

在评估层面，训练数据来源不透明会导致基准测试的可比性下降：不同系统若在互不重叠、授权状态各异的语料上训练，其 FAD、CLAP 分数等客观指标的横向比较会混入数据分布差异，难以归因于模型本身。^{7272Fréchet Audio Distance: A Reference-Free Metric for Evaluating Music Enhancement Algorithmsarxiv.org前往参考资料 ↓在新标签页中打开|7474CLAP: Learning Audio Concepts from Natural Language Supervisionarxiv.org前往参考资料 ↓在新标签页中打开}

生成式声音设计还面临“风格模仿”与“声音人格权”问题：即使训练数据合法，输出若高度模仿特定歌手音色或特定录音制品，仍可能触及美国各州的公开权（right of publicity）以及欧盟的表演者权利，评估中需要引入相似度检测与输出过滤机制。^{8989ELVIS Act (Ensuring Likeness Voice and Image Security Act), Tennessee Public Chapter No. 588capitol.tn.gov前往参考资料 ↓在新标签页中打开|9090The AI Act: Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligenceeur-lex.europa.eu前往参考资料 ↓在新标签页中打开}

数据版权状态的不确定性也影响学术基准的构建：多数公开音频数据集（如 FSD50K、AudioSet）采用 CC 或平台条款授权，但其中包含的第三方内容权利链条并不完整，数据集发布方通常以“不主张对底层内容的权利”免责，评估者难以据此确认训练合法性。^{8888AudioSet: An ontology and human-labeled dataset for audio eventsresearch.google.com前往参考资料 ↓在新标签页中打开|9191FSD50K: An Open Dataset of Human-Labeled Sound Eventsarxiv.org前往参考资料 ↓在新标签页中打开}

针对上述问题，产业界出现两类应对路径：一是与权利方签订授权协议并建立可追溯的数据台账；二是采用差分隐私、数据过滤与“干净”语料重训等技术手段降低侵权暴露面。两条路径在成本与效果上尚无公认的最优解，属于当前实践中的开放问题。^{9292Stable Audio: Fast Timing-Conditioned Latent Audio Diffusionarxiv.org前往参考资料 ↓在新标签页中打开|9393MusicLM: Generating Music From Textarxiv.org前往参考资料 ↓在新标签页中打开}

生成式音频建模长期被分割为文本转语音（TTS）、文本转音乐（TTM）与文本转音频（TTA）等专门任务，各任务采用彼此异构的控制范式，因此把这些模态统一到单一模型中被视为一项基础性挑战。^{9494Ruibo Fu - ACL Anthologyaclanthology.org前往参考资料 ↓在新标签页中打开}

统一音频生成的主要困难之一，在于结构化语义表示（语音、音乐）与非结构化声学纹理（音效）之间的内在不协调，这使同一套条件控制接口难以同时适配两类信号。^{9494Ruibo Fu - ACL Anthologyaclanthology.org前往参考资料 ↓在新标签页中打开}

UniSonate 是一个基于流匹配（flow matching）的统一框架，能够以标准化、无参考（reference-free）的方式，通过文本指令合成语音、音乐与音效三类音频。^{9494Ruibo Fu - ACL Anthologyaclanthology.org前往参考资料 ↓在新标签页中打开}

Audiobox 被描述为一个打破语音、音乐与音效之间传统壁垒的基础模型，可在单一统一框架内借助自然语言与声音提示实现可控的开放域合成。^{9595中央研究院資訊科技創新研究中心citi.sinica.edu.tw前往参考资料 ↓在新标签页中打开}

Movie Gen Audio 将统一音频生成能力扩展到多模态与长上下文场景，借助自动化美学数据引擎把模型规模扩大到 130 亿参数，并实现高保真的视频到音频同步与语义对齐。^{9595中央研究院資訊科技創新研究中心citi.sinica.edu.tw前往参考资料 ↓在新标签页中打开}

面向通用音频智能的研究路线倾向于把「生成」与「感知（分离）」视为同一个世界模型的两面：既模拟声音的物理属性，又解构复杂的听觉场景，并以流匹配与扩散 Transformer（DiT）作为贯通两者的共同技术底座。^{9595中央研究院資訊科技創新研究中心citi.sinica.edu.tw前往参考资料 ↓在新标签页中打开}

多模态统一框架的一个直接后果是控制接口的收敛：语音、音乐与音效不再各自依赖专用条件输入，而是共享以文本指令为主、辅以参考音频或声音提示的标准化条件形式。^{9494Ruibo Fu - ACL Anthologyaclanthology.org前往参考资料 ↓在新标签页中打开|9595中央研究院資訊科技創新研究中心citi.sinica.edu.tw前往参考资料 ↓在新标签页中打开}

统一框架的规模扩展依赖数据工程：Movie Gen Audio 的实践表明，自动化美学数据引擎是支撑十亿级参数音频生成模型训练的关键环节之一。^{9595中央研究院資訊科技創新研究中心citi.sinica.edu.tw前往参考资料 ↓在新标签页中打开}

生成式声音模型的主流采样流程是迭代去噪：在频谱图或潜空间上分多步逐步去除噪声，并配合无分类器引导（classifier-free guidance）控制生成结果与条件的一致性。这一流程决定了单次生成需要串行执行数十步网络前向，是实时化的主要算力瓶颈。^{99Referencesieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

为压缩生成延迟，少步采样路线采用一致性蒸馏（consistency distillation）或潜一致性（latent consistency）方法，把原本数十步的去噪过程压缩到少数几步，从而把生成耗时降低一个数量级，使交互式、近实时的声音生成成为可能。^{99Referencesieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

实时生成与编辑的需求主要来自交互式媒体与虚拟现实等场景：这些应用要求音频内容能随用户操作动态变化，而不是离线一次性渲染，因此对生成系统的吞吐与响应时间提出了硬性约束。^{99Referencesieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

神经网络音频合成（Neural Audio Synthesis）已从单纯追求音质转向兼顾可控与效率：早期工作以学习大规模音频语料分布、合成高保真声音为目标，近年则更强调在有限算力下按条件实时产出，这一转向构成了实时生成与编辑方向的技术背景。^{99Referencesieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

在音乐与音频生产领域，基于 Transformer 的预训练模型（如 MusicBERT 一类在数百万音频片段上微调的模型）借助自注意力建模长程依赖，在跨风格情感识别等任务上优于 LSTM 基线；这类模型为实时条件下的语义控制提供了可复用的表征基础，但其推理成本也高于轻量模型。^{9696Applications of Artificial Intelligence in Music: A Reviewieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

生成式声音设计的人机协同创作，指创作者与生成模型在同一工作流中交替输入、筛选与修改，而非模型一次性输出成品；综述性文献把这种「人机共同参与创作、制作与表演」的范式转变列为 AI 在音乐领域的主要影响之一。^{9696Applications of Artificial Intelligence in Music: A Reviewieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

协同创作的技术前提是模型具备长程依赖建模能力：以 Transformer 自注意力结构为基础的预训练模型（如 MusicBERT）在大规模音频片段上预训练后，能在复调音乐的长程结构建模上优于 LSTM 基线，从而让创作者可以在较长的时间尺度上对生成结果施加结构性约束。^{9696Applications of Artificial Intelligence in Music: A Reviewieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

在协同流程中，人的角色从「逐音符/逐参数编写」转向「提示、示例与筛选」：创作者提供文本描述、参考音频或风格条件，模型给出候选，创作者再以试听与编辑的方式收敛结果；综述把这种交互归入 AI 辅助的创作与音频制作环节。^{9696Applications of Artificial Intelligence in Music: A Reviewieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

跨流派与跨风格的情感/风格条件控制，是人机协同中创作者最常施加的一类约束；相关预训练模型在跨流派情感分类等任务上相对早期循环网络基线取得更好表现，使「按情绪或风格取向生成并迭代」成为可操作的协同方式。^{9696Applications of Artificial Intelligence in Music: A Reviewieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

人机协同的边界与归属仍缺少统一规范：现有综述更多描述 AI 在作曲、制作、表演、分析、推荐等环节的应用形态，而未给出协同创作中作者身份、训练数据授权与成果归属的通用判定标准，这构成该方向落地时的主要不确定性。^{9696Applications of Artificial Intelligence in Music: A Reviewieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}