情感化语音

普通文本转语音（TTS）系统的首要优化目标是可懂度与自然度，即让合成语音被听清、听上去不像机器拼接；情感化语音则在此基础上把「情感/态度」作为显式控制与评价维度，要求系统能按指定情感类别或强度生成语音，并能被听者稳定识别。^{66Emotional Speech Synthesis: A Reviewieeexplore.ieee.org前往参考资料 ↓在新标签页中打开|77Emotional End-to-End Neural Speech Synthesisarxiv.org前往参考资料 ↓在新标签页中打开}

从声学表现看，普通TTS通常以中性、平稳的朗读风格为默认输出，韵律变化主要服务于句法切分与清晰度；情感化语音则要求对音高范围、语速、能量、音质（如气声、紧喉）等副语言参数做系统性偏移，例如愤怒常表现为基频升高与能量增大，悲伤常表现为基频降低与语速放慢。^{88Acoustic profiles in vocal emotion expressiondoi.org前往参考资料 ↓在新标签页中打开|99Vocal communication of emotion: A review of research paradigmsdoi.org前往参考资料 ↓在新标签页中打开}

在控制接口上，普通TTS的输入基本是「文本」，至多附加说话人标识或语速参数；情感化语音的输入需要扩展出情感标签、情感强度、维度坐标（如唤醒度—效价）或参考音频等条件，模型据此做条件生成，这使情感化语音在系统架构上更接近可控/条件生成问题而非单纯的文本到波形映射。^{77Emotional End-to-End Neural Speech Synthesisarxiv.org前往参考资料 ↓在新标签页中打开|1010Towards End-to-End Prosody Transfer for Expressive Speech Synthesis with Tacotronarxiv.org前往参考资料 ↓在新标签页中打开}

评价方式上，普通TTS主要用可懂度（如字错率）与自然度主观评分（MOS）衡量；情感化语音还必须评估情感识别的准确率、情感表达的强度与适配性，以及情感与文本语义是否一致，因此单一MOS不足以刻画其质量。^{66Emotional Speech Synthesis: A Reviewieeexplore.ieee.org前往参考资料 ↓在新标签页中打开|1111Emotional Speech Synthesis: A Review of the State of the Artieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

情感化语音与「表现力语音合成」（expressive TTS）常被混用，但表现力涵盖更广，包括重音、焦点、风格、角色扮演等；情感只是表现力的一个子集，因此情感化语音是表现力合成的特例而非同义词。^{1212Expressive Speech Synthesis: A Reviewdoi.org前往参考资料 ↓在新标签页中打开|1313A Survey on Expressive Speech Synthesisarxiv.org前往参考资料 ↓在新标签页中打开}

情感化语音合成中的「情感维度」指用连续或离散的坐标刻画语音所承载的情绪状态，常见做法是把情绪分解为效价（愉悦—不悦）、唤醒度（激活—平静）等少数几个正交轴，再在这些轴上定位一段语音的情感位置；「情感标签」则是把同一情绪状态用离散类别（如喜悦、愤怒、悲伤、中性）或更细的副语言标记直接命名，供标注、训练与评测使用。两者是同一对象的不同表示：维度便于连续调控与插值，标签便于人工标注与分类建模。^{11从机械到共情：AI语音合成的情感化突破与四大技术路径xfyun.cn前往参考资料 ↓在新标签页中打开|1414汉语双模情感语音数据库标注及一致性检测bhxb.buaa.edu.cn前往参考资料 ↓在新标签页中打开}

在工程实践中，情感标签通常与声学特征建立映射后再驱动合成：例如「开心」对应语速加快、音调上扬，「悲伤」对应语速放慢、音调下压，模型学习的是文本情感标签与音高、语速、能量等声学参数之间的对应关系。^{11从机械到共情：AI语音合成的情感化突破与四大技术路径xfyun.cn前往参考资料 ↓在新标签页中打开}

情感标签并不只限于「喜悦/愤怒/悲伤」这类基本情绪类别，还包含副语言层面的标记。副语言信息指语言中非音段特征的信息，如拉长音、喘气声、语气词和咳嗽声等；这类以情感为导向的副语言标签描述听话人对语音中情感的理解，在情感语音合成与情感语音交互研究中被视为关键要素，并可为语音情感识别提供丰富特征。^{1414汉语双模情感语音数据库标注及一致性检测bhxb.buaa.edu.cn前往参考资料 ↓在新标签页中打开}

情感标签体系在具体语料库中会落到可操作的分层标注方案上。汉语双模情感语音数据库的标注工作即在情感层之外单列副语言现象层，为每类副语言现象规定起止位置的标注符号，说明「情感标签」在实践中是一套带层级与符号约定的标注规范，而非单一类别名。^{1414汉语双模情感语音数据库标注及一致性检测bhxb.buaa.edu.cn前往参考资料 ↓在新标签页中打开}

情感标签的可靠性依赖标注一致性：同一段语音由多名标注者给出的情感类别若一致性低，标签本身就不足以作为训练监督信号，因此情感语料库建设通常要配套一致性检测流程。^{1414汉语双模情感语音数据库标注及一致性检测bhxb.buaa.edu.cn前往参考资料 ↓在新标签页中打开}

「人类交流中语气、语调、节奏等情感信号占比超过60%」这一常被引用的比例，出自产业方技术文章的表述，未见其给出原始实验出处与统计口径，作为量化结论应谨慎对待。^{11从机械到共情：AI语音合成的情感化突破与四大技术路径xfyun.cn前往参考资料 ↓在新标签页中打开}

语音交互中承载信息的不仅是字面文本，还包括韵律、音高、语速、音色等非语言声学线索；这些线索在人际沟通中承担情绪、态度与语用意图的传递功能，而传统语音交互系统通常只处理转写文本，把这一层信息丢弃。^{1515Speech Command + Speech Emotion: Exploring Emotional Speech Commands as a Compound and Playful Modalityar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

把情感识别引入语音交互属于情感计算（affective computing）的设计范畴：系统需要从人的语音中抽取情绪并加以利用，这使交互空间被扩展的同时也引入了新的可及性与伦理风险，不同用户的能力与人格差异会带来新的无障碍问题。^{1515Speech Command + Speech Emotion: Exploring Emotional Speech Commands as a Compound and Playful Modalityar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

有研究提出把「语音命令」与「语音情感」组合成一种复合的、游戏化的交互模态，即让用户以带情绪的方式下达命令，从而在命令之外额外传递一层表达性信息；这类探索说明非语言信息可以被当作交互设计的显式资源，而不只是被系统被动推断的副产物。^{1515Speech Command + Speech Emotion: Exploring Emotional Speech Commands as a Compound and Playful Modalityar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

机械音（即缺乏情感韵律变化的合成语音）在主观听感评价中通常被描述为单调、生硬、不自然，听者容易将其与“机器”而非“人”关联起来。这一现象在早期的单元拼接与参数合成系统中尤为突出，是推动情感化语音研究的直接动因之一。^{1616Emotional Speech Synthesis: A Reviewsciencedirect.com前往参考资料 ↓在新标签页中打开}

在语音合成质量的主观评测中，自然度（naturalness）与可懂度（intelligibility）是两个被分开评价的维度；机械音往往可懂度尚可，但自然度评分显著偏低，说明“听得清”并不等于“听着像人”。^{1717Evaluation of Synthetic Speech: Naturalness and Intelligibilitysciencedirect.com前往参考资料 ↓在新标签页中打开}

从声学层面看，机械音的核心缺陷在于韵律参数（基频F0、时长、能量）变化幅度小且模式单一，缺少人类语音中随情绪起伏的F0轮廓与节奏变化。^{1616Emotional Speech Synthesis: A Reviewsciencedirect.com前往参考资料 ↓在新标签页中打开|1717Evaluation of Synthetic Speech: Naturalness and Intelligibilitysciencedirect.com前往参考资料 ↓在新标签页中打开}

在盲测对比中，情感表达自然的合成语音在偏好度（preference）测试中通常优于中性合成语音，表明听者确实能感知并偏好情感韵律的存在。^{1717Evaluation of Synthetic Speech: Naturalness and Intelligibilitysciencedirect.com前往参考资料 ↓在新标签页中打开}

机械音的体验缺陷不仅体现在单句层面，还体现在篇章层面：缺少重音、停顿与语调起伏的语音在长段落播报中更易让听者疲劳、注意力下降。^{1818Prosody and Emotion in Speechglobal.oup.com前往参考资料 ↓在新标签页中打开}

在情感语音合成与声学分析中，基频（fundamental frequency，F0）及其随时间变化的轮廓（F0 contour）被视为表达情感的核心韵律维度之一；它通常与音高感知直接对应，音高高低和起伏模式构成听者判断说话人情绪状态的主要线索。^{2020ISCA Archive - Voice quality and f0 cues for affect expression: implications for synthesisisca-archive.org前往参考资料 ↓在新标签页中打开}

Yanushevskaya、Gobl 与 Ní Chasaide 在 2005 年的合成刺激实验中，把音质（voice quality）与基频轮廓作为两个理论上可分离的维度加以操纵，让听者对 15 个刺激的 12 种情感属性评分；结果显示，仅靠 F0 轮廓区分刺激时，情感信号的强度相对较弱，而包含音质差异的刺激系列获得最高的情感评分。^{2020ISCA Archive - Voice quality and f0 cues for affect expression: implications for synthesisisca-archive.org前往参考资料 ↓在新标签页中打开}

上述实验提示，在语音合成中若只调控 F0 轮廓而忽略音质，情感表达力可能受限；作者据此讨论了音质与 F0 线索对合成系统设计的启示。^{2020ISCA Archive - Voice quality and f0 cues for affect expression: implications for synthesisisca-archive.org前往参考资料 ↓在新标签页中打开}

系统功能语言学视角下的研究把音高、音质、节奏等非切分性语音特征视为可组合的「对比性特征束」，在语调单位（tone unit）层面共同实现情感意义；这意味着音高并非孤立起作用，而是与音质、 tempo 等维度协同构成情感表达。^{2121How do we communicate emotions in spoken language? Modelling affectual vocal qualities in storytellingdegruyterbrill.com前往参考资料 ↓在新标签页中打开}

语速（tempo）是情感化语音的声学调控维度之一，指说话人单位时间内发出的音节数量或话语推进的快慢；在系统功能语言学对韵律的描写中，语速与音高、响度、音质等非切分性语音特征并列，被看作可以独立选择、并与其他特征组合成「对比性特征束」来表达情感意义的资源。^{2121How do we communicate emotions in spoken language? Modelling affectual vocal qualities in storytellingdegruyterbrill.com前往参考资料 ↓在新标签页中打开}

在语调单位的描写框架里，语速的调控不是整句均匀加速或减速，而是可以落在特定音节（尤其是调核音节）上：一个语调单位被判定为「扩展（expanded）」时，至少有一个显著音节承载了该特征，语速的快慢同样以这种局部显著位置为锚点来标注。^{2121How do we communicate emotions in spoken language? Modelling affectual vocal qualities in storytellingdegruyterbrill.com前往参考资料 ↓在新标签页中打开}

语速与节奏在情感表达中通常不是孤立起作用的，而是与音高范围、响度、音质等特征打包出现：讲述者通过若干韵律特征的同时选择构成对比性组合，来区分不同的情感色彩，因此单独把语速拉快或放慢未必能稳定地传达某一种情绪。^{2121How do we communicate emotions in spoken language? Modelling affectual vocal qualities in storytellingdegruyterbrill.com前往参考资料 ↓在新标签页中打开}

在情感化语音的产品与专利实现中，对用户语音的情感分析通常聚焦于音高、音色、语调、音量等特征，并将其映射到「效价—强度」的多维空间；语速与节奏在这类方案里往往不是首要被抽取的维度，而是作为辅助性的副语言线索。^{2222US20210304787A1 - Emotionally responsive virtual personal assistantpatents.google.com前往参考资料 ↓在新标签页中打开}

在系统功能语言学视角下，语调单位（tone unit）被视为描写情感语音的根入口条件：一个语调单位要被判定为「扩展」型，其中至少一个显著音节（通常是调核音节）必须体现相应特征，这说明韵律结构单位是情感声学特征得以组合与对比的载体。^{2121How do we communicate emotions in spoken language? Modelling affectual vocal qualities in storytellingdegruyterbrill.com前往参考资料 ↓在新标签页中打开}

语速（tempo）是情感韵律调控的可选维度之一：说话者可以选择以不同速率说出话语，语速的快慢变化与语调单位的延展、收缩等特征共同构成可供选择的意义潜势，而非孤立的声音参数。^{2121How do we communicate emotions in spoken language? Modelling affectual vocal qualities in storytellingdegruyterbrill.com前往参考资料 ↓在新标签页中打开}

该研究以八段《灰姑娘》讲述表演构成的语料为对象，提出了一套非切分性声音特征（non-segmental vocal qualities）的探索性系统网络，用以描写情感意义的音系实现；结果表明讲述者所选择的特征会以对比性特征束（contrastive bundles）的方式协同作用来表达情感。^{2121How do we communicate emotions in spoken language? Modelling affectual vocal qualities in storytellingdegruyterbrill.com前往参考资料 ↓在新标签页中打开}

在工程实践中，韵律控制被列为情感化语音合成的核心手段之一，与情感建模、上下文理解并列，用于让合成语音表达喜悦、沉稳、关切乃至幽默等细腻情绪，从而提升听众的沉浸感与信任度。^{22解析智能文字朗读器的情感表达技术_讯飞开放平台xfyun.cn前往参考资料 ↓在新标签页中打开}

停顿、呼吸声等副语言特征被视为合成语音自然度与情感表现力的细节层面，业界尝试用生成式对抗网络中的判别器区分真实语音与合成语音的情感差异，以优化生成器在这些细节上的表现。^{11从机械到共情：AI语音合成的情感化突破与四大技术路径xfyun.cn前往参考资料 ↓在新标签页中打开}

在面向不同听众的适配中，韵律参数会被动态调整，例如对儿童讲故事时增强夸张语气，对老年人播报新闻时放缓语速，这说明停顿与语速的选择需结合上下文语境与用户画像，而非固定模板。^{11从机械到共情：AI语音合成的情感化突破与四大技术路径xfyun.cn前往参考资料 ↓在新标签页中打开}

在情感化语音的声学调控中，音色（timbre）与能量（energy）是两个相互独立又常被联合调节的维度：音色主要承载说话人身份与音质色彩，能量则对应语音的响度与发声力度，二者共同影响听者对情绪唤醒度与效价的判断。^{2323Empathic Machines: Using Intermediate Features as Levers to Emulate Emotions in Text-To-Speech Systemsaclanthology.org前往参考资料 ↓在新标签页中打开}

Kosgi 等人在 NAACL 2022 的 Empathic Machines 工作中，把音高（pitch）、能量（energy）和时长（duration）作为音素级中间特征杠杆来调控 TTS 的情感韵律，其中能量被明确列为可独立操控的三个声学杠杆之一。^{2323Empathic Machines: Using Intermediate Features as Levers to Emulate Emotions in Text-To-Speech Systemsaclanthology.org前往参考资料 ↓在新标签页中打开}

该工作提出差分缩放（Differential Scaling, DS）方法，用于把与情感韵律相关的特征同声学条件、说话人身份所导致的特征解耦；这一解耦对音色调控尤为关键，因为音色本身高度依赖说话人身份，若不分离，情感调控会连带改变说话人相似度。^{2323Empathic Machines: Using Intermediate Features as Levers to Emulate Emotions in Text-To-Speech Systemsaclanthology.org前往参考资料 ↓在新标签页中打开}

实验表明，以音素级中间特征为杠杆的方法在更准确地模拟目标情绪的同时，能够保持语音的自然度，优于此前的方法。^{2323Empathic Machines: Using Intermediate Features as Levers to Emulate Emotions in Text-To-Speech Systemsaclanthology.org前往参考资料 ↓在新标签页中打开}

在评估层面，Kosgi 等人指出传统上以单句为单位评估 TTS 的做法不足以完整评价人机交互系统，因而提出了在离线与实时场景中用 TTS 系统替代真人演员的新型实验设置，这也意味着音色与能量调控的效果需要在交互语境而非孤立句子中衡量。^{2323Empathic Machines: Using Intermediate Features as Levers to Emulate Emotions in Text-To-Speech Systemsaclanthology.org前往参考资料 ↓在新标签页中打开}

情感标签驱动路径的基本做法是：先为训练语料标注情感类别（如愤怒、喜悦、悲伤、兴奋、安慰等），再让模型学习文本情感标签与声学特征（音高、语速、能量等）之间的映射关系，合成时由标签控制输出语音的情感色彩。^{11从机械到共情：AI语音合成的情感化突破与四大技术路径xfyun.cn前往参考资料 ↓在新标签页中打开}

在情感标签驱动中，标签与声学参数的对应关系通常被归纳为可解释的经验规则：开心时语速加快、音调上扬，悲伤时语速放慢、音调下沉，这类映射是显式情感控制最直观的实现方式。^{11从机械到共情：AI语音合成的情感化突破与四大技术路径xfyun.cn前往参考资料 ↓在新标签页中打开}

情感标签驱动路径的一个结构性局限是依赖昂贵的人工情感标注：现有方法往往依赖成本高昂的情感标注，或优化间接目标而无法刻画情感表现力与感知自然度，导致合成语音准确但情感平淡。^{2525RLAIF-SPA: Optimizing LLM-based Emotional Speech Synthesis via RLAIFar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

为缓解人工标注依赖，出现了以 AI 反馈替代人工标注的改进思路：RLAIF-SPA 框架用强化学习结合 AI 反馈，分别以自动语音识别（ASR）判定语义准确度、以大语言模型（LLM）判定韵律与情感标签的对齐程度，将二者作为情感表现力与可懂度的直接奖励信号。^{2525RLAIF-SPA: Optimizing LLM-based Emotional Speech Synthesis via RLAIFar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

情感标签驱动并不限于整句一个标签：在流式大语言模型输出的多模态驱动系统中，情感分析子模块借助 LSTM 层处理上下文语义特征序列，取最后一个位置的特征向量作为当前文本单元的情感特征向量，使情感标签携带序列中的演变信息。^{2424CN121562665A - 一种基于流式大语言模型输出的多模态驱动系统 - Google Patentspatents.google.com前往参考资料 ↓在新标签页中打开}

参考音频驱动的情感迁移（reference-speech-driven emotion transfer）是情感化语音转换（EVC）的一条主流技术路径：系统从一段参考语音中提取情感表征，再把它迁移到内容语音上，从而在保持说话人音色与文本内容不变的前提下改变情感色彩。^{2626ClapFM-EVC: High-Fidelity and Flexible Emotional Voice Conversion with Dual Control from Natural Language and Speechar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

ClapFM-EVC 是这一路径的代表性框架之一，它支持以参考语音或自然语言提示作为驱动信号，并可调节情感强度，实现任意到单一说话人（any-to-one）的情感语音转换。^{2626ClapFM-EVC: High-Fidelity and Flexible Emotional Voice Conversion with Dual Control from Natural Language and Speechar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

在参考音频路径中，情感表征的提取与对齐是关键环节。ClapFM-EVC 提出 EVC-CLAP（情感对比语言-音频预训练模型），在自然语言提示与类别标签的引导下，跨语音与文本模态提取并对齐细粒度情感要素，再经带自适应强度门的 FuEncoder 注入转换网络。^{2626ClapFM-EVC: High-Fidelity and Flexible Emotional Voice Conversion with Dual Control from Natural Language and Speechar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

参考音频路径与自然语言提示路径正在走向融合：ClapFM-EVC 的双重控制设计表明，参考语音提供细粒度、可感知的情感样例，而文本提示提供可解释、可编辑的控制语义，两者互补而非替代。^{2626ClapFM-EVC: High-Fidelity and Flexible Emotional Voice Conversion with Dual Control from Natural Language and Speechar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

与参考音频迁移并行的另一类思路是基于情感类别与强度标签的可控合成。中国专利 CN122177083A 提出一种端到端自适应可控情感语音合成方法，通过多尺度情感建模与文本-语音模态协调机制，结合基于梅尔频谱及其时间导数特征的条件对抗训练，实现情感类别与强度的联合建模与控制。^{2727CN122177083A – End-to-end adaptive controllable emotional speech synthesis method, device and product | Patsnap Eurekaeureka.patsnap.com前往参考资料 ↓在新标签页中打开}

参数与韵律建模的基本思路，是把情感表达拆解为一组可独立调节的声学与韵律参数（如基频、语速、音量、音质），再通过规则或映射函数把这些参数与目标情感状态关联起来，从而在不改变文本内容的前提下改变合成语音的情感色彩。^{2828Parametrisation of prosody and voice quality for concatenatice speech synthesis in view of emotion expressiongepris.dfg.de前往参考资料 ↓在新标签页中打开|2929基于EmotiVoice的个性化语音助手：从文本到情感化语音的全链路实现cloud.baidu.com前往参考资料 ↓在新标签页中打开}

在拼接式与单元选择式语音合成中，参数与韵律建模面临一个结构性矛盾：语料库驱动的单元选择方法听感自然，但通常只能复现录制时的一种韵律与情感风格，缺乏在合成阶段大幅调整相关参数的自由度；而参数可调的方法又往往牺牲自然度。这一「自然度与灵活性不可兼得」的张力，正是情感化语音在传统合成框架下难以落地的核心障碍。^{2828Parametrisation of prosody and voice quality for concatenatice speech synthesis in view of emotion expressiongepris.dfg.de前往参考资料 ↓在新标签页中打开}

针对上述矛盾，一条被明确提出的技术路线是对韵律（prosody）与音质（voice quality）进行参数化，并面向情感表达加以建模；相关研究项目在 2006 至 2011 年间获得资助，说明这一方向在统计参数合成与拼接合成交替的时期已形成系统性的研究议程。^{2828Parametrisation of prosody and voice quality for concatenatice speech synthesis in view of emotion expressiongepris.dfg.de前往参考资料 ↓在新标签页中打开}

在工程实现层面，参数与韵律建模常被组织为「情感分析—参数映射—合成引擎」的流水线：先由情感分析模块输出连续的情感强度值或离散情感类别，再由参数映射模块把情感值换算为语速、音高、音量等控制量，最后交由合成引擎渲染。^{2929基于EmotiVoice的个性化语音助手：从文本到情感化语音的全链路实现cloud.baidu.com前往参考资料 ↓在新标签页中打开}

情感状态到声学参数的映射常借助维度情感模型完成，例如把情感表示为愉悦度、激活度、支配度构成的三维空间，再将该空间中的坐标映射到韵律特征（语速、音高、音量）与声学特征（频谱包络、基频）上，实现连续而非离散的情感控制。^{2929基于EmotiVoice的个性化语音助手：从文本到情感化语音的全链路实现cloud.baidu.com前往参考资料 ↓在新标签页中打开}

传统深度学习语音合成通常采用两阶段流程：先把文本转换为梅尔频谱等中间表示，再由第二阶段模型把中间表示合成为波形；由于第二阶段模型是用第一阶段生成的中间表示训练的，其性能依赖第一阶段模型，两个模型难以联合优化，从而限制了合成质量的整体提升。^{3030A Study of Japanese Mixed Emotional Speech Synthesis Based on an End-to-End Emotional Speech Synthesis Modelieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

为缓解两阶段流程的上述问题，近年提出了端到端语音合成模型，其思路是绕过显式中间表示，直接从文本合成语音，使整条链路可以作为一个整体来优化。^{3030A Study of Japanese Mixed Emotional Speech Synthesis Based on an End-to-End Emotional Speech Synthesis Modelieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

在情感化语音方向，端到端建模被用作情感语音合成的研究框架：有研究以端到端情感语音合成模型为基础，探讨日语混合情感的合成问题，说明端到端路线已被用于处理单一情绪之外的情感混合现象。^{3030A Study of Japanese Mixed Emotional Speech Synthesis Based on an End-to-End Emotional Speech Synthesis Modelieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

从技术架构的演进看，情感化文本转语音正从依赖参数手工控制的阶段转向以深度学习进行情感建模的阶段，端到端深度学习建模是这一转向中的代表性路径之一。^{33情感化文本转语音的突破路径_讯飞开放平台xfyun.cn前往参考资料 ↓在新标签页中打开}

在情感化语音的工程实现中，从文本中提取情绪信号通常作为前端环节：先由文本侧判定语句的情绪类别或强度，再把这一判定作为情感标签送入声学模型，驱动韵律、音色与语速的调控。科大讯飞在其智能文字朗读器的技术说明中把「情感标签驱动：从文本中提取情绪信号」列为情感表达技术的第一环，与韵律控制、上下文理解并列。^{22解析智能文字朗读器的情感表达技术_讯飞开放平台xfyun.cn前往参考资料 ↓在新标签页中打开}

从文本提取情绪信号的直接动机在于：纯文本大模型驱动的对话系统会忽略副语言线索，而副语言线索对理解情绪与意图是必要的。因此文本情绪判定不能只停留在字面语义，还需为后续声学表达保留情绪强度等信息。^{3131Dual Information Speech Language Models for Emotional Conversationsar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

文本情绪信号在整条链路中的角色是「提示」而非「结论」：它给出的是待表达的情绪目标，最终是否被听者感知为相应情绪，取决于声学模型能否把该标签落实为可辨识的韵律与音色变化。因此文本侧分类准确率高，并不自动等于合成语音的情感表达效果好。^{22解析智能文字朗读器的情感表达技术_讯飞开放平台xfyun.cn前往参考资料 ↓在新标签页中打开|3131Dual Information Speech Language Models for Emotional Conversationsar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

仅依赖文本的情绪判定存在固有上限：同一句话在不同语境、不同说话人状态下可以承载不同情绪，文本本身并不总能把情绪唯一确定下来。语音语言模型研究指出，把语音作为输入可弥补文本模型对副语言信息的遗漏，这从反面说明单靠文本提取情绪信号是不完备的。^{3131Dual Information Speech Language Models for Emotional Conversationsar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

上下文理解被视为文本情绪提取的必要补充：脱离上下文的单句情绪判定容易误判，尤其是反讽、转折与情绪渐变的情形。把上下文纳入判定，是提升文本侧情绪信号可靠性的常见做法。^{22解析智能文字朗读器的情感表达技术_讯飞开放平台xfyun.cn前往参考资料 ↓在新标签页中打开}

对话式语音合成（CSS）的核心诉求是让合成语音依据对话上下文生成更自然的语音，而不仅是把单句文本读得准确；这一需求在近年显著上升。^{3232JELLY: Joint Emotion Recognition and Context Reasoning with LLMs for Conversational Speech Synthesisieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

JELLY 框架把情绪识别与上下文推理联合起来，通过用多个部分 LoRA 模块微调大语言模型，使合成语音在对话中选择恰当的情绪表达。^{3232JELLY: Joint Emotion Recognition and Context Reasoning with LLMs for Conversational Speech Synthesisieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

JELLY 提出 Emotion-aware Q-former 编码器，让大语言模型能够感知语音中的情绪，并通过把语音情绪与文本对齐来训练该编码器。^{3232JELLY: Joint Emotion Recognition and Context Reasoning with LLMs for Conversational Speech Synthesisieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

科大讯飞在 2025 年 6 月的语音合成升级中，为超拟人合成引入上下文感知的语音生成系统，融合历史文本及对应音频特征，通过跨模态编码器分析上下文，使合成声音能响应情绪转变与话题转换。^{3333科大讯飞语音合成技术升级，赋予AI声音以“上下文情商” — 新京报bjnews.com.cn前往参考资料 ↓在新标签页中打开}

上下文相关的情绪切换在工程上通常被拆成三步：从文本与历史对话中提取情绪信号、结合上下文判断当前轮应表达的情绪、再通过韵律与声学参数把该情绪落到合成语音上。^{22解析智能文字朗读器的情感表达技术_讯飞开放平台xfyun.cn前往参考资料 ↓在新标签页中打开|3232JELLY: Joint Emotion Recognition and Context Reasoning with LLMs for Conversational Speech Synthesisieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

多轮对话中的情绪切换难点在于情绪状态具有跨轮延续性：同一说话人在相邻轮次之间的情绪往往相关，若逐句独立预测情绪，会出现语气跳变、与话题不匹配的问题。^{3232JELLY: Joint Emotion Recognition and Context Reasoning with LLMs for Conversational Speech Synthesisieeexplore.ieee.org前往参考资料 ↓在新标签页中打开|3333科大讯飞语音合成技术升级，赋予AI声音以“上下文情商” — 新京报bjnews.com.cn前往参考资料 ↓在新标签页中打开}

把情绪识别与上下文推理交给大语言模型统一建模，是当前实现上下文相关情绪切换的主流思路之一，其代价是推理开销与延迟上升，对实时对话场景构成约束。^{3232JELLY: Joint Emotion Recognition and Context Reasoning with LLMs for Conversational Speech Synthesisieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

情感语音语料库是情感化语音系统的训练基础，其标注方案的质量直接决定情感合成与情感识别能达到的细腻程度；现有不少情感语音数据库因标注方案过于简化、无法覆盖广泛情感状态，限制了情感化 TTS 的效果。^{3434EmoSpeech: A Corpus of Emotionally Rich and Contextually Detailed Speech Annotationsxplorestaging.ieee.org前往参考资料 ↓在新标签页中打开}

EmoSpeech 语料库针对既有情感语音数据库标注过于简单的问题提出，强调「情感丰富且上下文细节充分」的标注，用于支撑可控细微情感差异的 TTS 系统研发。^{3434EmoSpeech: A Corpus of Emotionally Rich and Contextually Detailed Speech Annotationsxplorestaging.ieee.org前往参考资料 ↓在新标签页中打开}

AffectSpeech 是一个大规模情感语音数据集，为每条语音配有细粒度文本描述，面向语音情感描述生成（speech emotion captioning）与情感语音合成两类任务。^{3535AffectSpeech: A Large-Scale Emotional Speech Dataset with Fine-Grained Textual Descriptions for Speech Emotion Captioning and Synthesisarxiv-org.ezproxy.obspm.fr前往参考资料 ↓在新标签页中打开}

为规模化生产细粒度文本描述，AffectSpeech 借助多模态大语言模型，以包含语音波形、韵律特征、VAD 维度值与转写、说话人性别等元数据的结构化提示作为条件来生成描述。^{3535AffectSpeech: A Large-Scale Emotional Speech Dataset with Fine-Grained Textual Descriptions for Speech Emotion Captioning and Synthesisarxiv-org.ezproxy.obspm.fr前往参考资料 ↓在新标签页中打开}

情感化 TTS 的训练数据环节被产业界视为与架构设计、场景适配并列的三大突破维度之一，数据训练是情感化语音落地路径中的独立一环。^{33情感化文本转语音的突破路径_讯飞开放平台xfyun.cn前往参考资料 ↓在新标签页中打开}

情感语音数据长期面临的核心困难是：大规模与标注一致性难以兼得。人工标注成本高、速度慢，且不同标注者之间对情感类别的判断分歧明显，导致同一批数据内部标签噪声大。^{3636MIKU-PAL: An Automated and Standardized Multimodal Method for Speech Paralinguistic and Affect Labelingar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开|3838ISCA Archive - MIKU-PAL: An Automated and Standardized Multimodal Method for Speech Paralinguistic and Affect Labelingisca-archive.org前往参考资料 ↓在新标签页中打开}

情感标注的常见范式可分为三类：离散类别标注（把语音归入若干基本情感类别）、维度标注（在效价、唤醒度等连续轴上打分）以及副语言属性标注（语速、能量、音质等）。三类范式各有适用场景，实践中常混合使用。^{3636MIKU-PAL: An Automated and Standardized Multimodal Method for Speech Paralinguistic and Affect Labelingar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开|3838ISCA Archive - MIKU-PAL: An Automated and Standardized Multimodal Method for Speech Paralinguistic and Affect Labelingisca-archive.org前往参考资料 ↓在新标签页中打开}

MIKU-PAL 提出了一条全自动多模态标注流水线：从无标注视频数据出发，先用人脸检测与跟踪定位说话人面部，再用多模态大语言模型（MLLM）对面部表情与语音进行联合情感分析，从而自动生成情感标签。^{3636MIKU-PAL: An Automated and Standardized Multimodal Method for Speech Paralinguistic and Affect Labelingar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开|3838ISCA Archive - MIKU-PAL: An Automated and Standardized Multimodal Method for Speech Paralinguistic and Affect Labelingisca-archive.org前往参考资料 ↓在新标签页中打开}

在 MELD 数据集上，MIKU-PAL 的自动标注达到 68.5% 的准确率，作者称其达到人类水平；标注一致性方面，Fleiss κ 达到 0.93，显著高于人工标注通常能达到的一致性水平。^{3636MIKU-PAL: An Automated and Standardized Multimodal Method for Speech Paralinguistic and Affect Labelingar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开|3838ISCA Archive - MIKU-PAL: An Automated and Standardized Multimodal Method for Speech Paralinguistic and Affect Labelingisca-archive.org前往参考资料 ↓在新标签页中打开}

MIKU-PAL 支持细粒度情感类别标注，类别数最多可达 26 类；这些细粒度标签经人工评估，获得 83% 的合理性评分。^{3636MIKU-PAL: An Automated and Standardized Multimodal Method for Speech Paralinguistic and Affect Labelingar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开|3838ISCA Archive - MIKU-PAL: An Automated and Standardized Multimodal Method for Speech Paralinguistic and Affect Labelingisca-archive.org前往参考资料 ↓在新标签页中打开}

MIKU-PAL 的自动标注在成本与速度上明显优于人工标注，作者将其定位为可替代人工、用于大规模情感语音数据构建的方案。^{3636MIKU-PAL: An Automated and Standardized Multimodal Method for Speech Paralinguistic and Affect Labelingar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开|3838ISCA Archive - MIKU-PAL: An Automated and Standardized Multimodal Method for Speech Paralinguistic and Affect Labelingisca-archive.org前往参考资料 ↓在新标签页中打开}

在数据构建层面，情感标注正从纯人工向「自动预标注 + 人工抽检校验」的混合流程迁移：先用模型批量生成标签，再以人工评估给出合理性评分，以此在规模与质量之间取得折中。^{3636MIKU-PAL: An Automated and Standardized Multimodal Method for Speech Paralinguistic and Affect Labelingar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开|3838ISCA Archive - MIKU-PAL: An Automated and Standardized Multimodal Method for Speech Paralinguistic and Affect Labelingisca-archive.org前往参考资料 ↓在新标签页中打开}

情感标注还需处理数据清洗问题。以影视剧等真实素材为源时，语音常与背景音乐、环境音混合，需先做语音分离再标注；MIKU-PAL 采用 MDX-Net 双流架构分离人声，在 30 集《老友记》的分析中，语音与非语音分离后信噪比提升约 36%。^{3636MIKU-PAL: An Automated and Standardized Multimodal Method for Speech Paralinguistic and Affect Labelingar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

情感标注的粒度设计直接影响下游合成效果：粗粒度类别标签难以刻画同一情感内部的强度与韵律变化，因此近年出现向副语言描述、对话上下文描述等更细粒度条件扩展的趋势。^{3737CN122369424A – Emotional speech synthesis method and system based on dialogue context and personal experience | Patsnap Eurekaeureka.patsnap.com前往参考资料 ↓在新标签页中打开}

已有专利方案提出构建多维情感增强条件集合，把个人经历描述、对话上下文描述与副语言描述一并纳入标注与建模，以缓解情感表达粗粒度、与剧情逻辑和角色不一致的问题。^{3737CN122369424A – Emotional speech synthesis method and system based on dialogue context and personal experience | Patsnap Eurekaeureka.patsnap.com前往参考资料 ↓在新标签页中打开}

参数合成（parametric synthesis）与拼接合成同属第二代语音合成技术路线，其共同目标是摆脱第一代机械式规则合成的僵硬感、提升自然度；参数合成以声学参数（如基频、谱包络、时长）为中间表示，由统计模型预测参数后经声码器重建波形，因而在参数层面具备对韵律进行调节的接口。^{4040人工智能语音播报的进化xfyun.cn前往参考资料 ↓在新标签页中打开|3939短剧出海配音技术演进：从拼接合成到零样本声音克隆-阿里云开发者社区developer.aliyun.com前往参考资料 ↓在新标签页中打开}

在参数合成时代，韵律控制主要通过对声学参数的显式操纵实现：基频曲线决定语调升降与重音感知，音素时长决定语速与停顿节奏，能量/谱倾斜影响轻重与强调，三者共同构成情感色彩在声学上的主要载体。^{4040人工智能语音播报的进化xfyun.cn前往参考资料 ↓在新标签页中打开}

参数合成路线的韵律控制存在固有瓶颈：声码器重建的语音带有明显的“机器感”与过平滑（over-smoothing）效应，情感表达所需的音质细节与突发性变化被抹平，因此即便韵律参数调对，听感上的情感强度仍显不足。^{3939短剧出海配音技术演进：从拼接合成到零样本声音克隆-阿里云开发者社区developer.aliyun.com前往参考资料 ↓在新标签页中打开|4040人工智能语音播报的进化xfyun.cn前往参考资料 ↓在新标签页中打开}

参数合成时代的韵律控制高度依赖人工设计的规则与标注：需要为情感或语气手工设定基频范围、时长伸缩系数等模板，难以覆盖连续、细腻的情感变化，也难以迁移到新说话人或新语种。^{3939短剧出海配音技术演进：从拼接合成到零样本声音克隆-阿里云开发者社区developer.aliyun.com前往参考资料 ↓在新标签页中打开}

从技术史定位看，参数合成时代的韵律控制是情感化语音的“前史”：它第一次把情感表达拆解为可调声学维度，为后续统计参数合成与端到端神经网络合成的细粒度情感控制提供了问题框架与评价维度。^{3939短剧出海配音技术演进：从拼接合成到零样本声音克隆-阿里云开发者社区developer.aliyun.com前往参考资料 ↓在新标签页中打开|4040人工智能语音播报的进化xfyun.cn前往参考资料 ↓在新标签页中打开}

统计参数语音合成（Statistical Parametric Speech Synthesis, SPSS）是继拼接式合成之后发展起来的一类主流方法，其基本思路是用声学模型对语音的频谱参数（如梅尔倒谱、基频、时长等）进行统计建模，再由声码器从参数重建波形，而不是直接拼接录音片段。^{4141Chapter 0The Theory behind Controllable Expressive Speech Synthesis: a Cross-disciplinary Approachar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

在统计参数框架下，情感或风格等表达性信息通常被编码为声学特征层面的调控量（如基频范围、能量、时长分布），因此情感化语音的早期实现依赖于对这类参数的显式建模与变换。^{4141Chapter 0The Theory behind Controllable Expressive Speech Synthesis: a Cross-disciplinary Approachar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

统计参数语音合成的典型代表是基于隐马尔可夫模型（HMM）的合成器，它把语音生成视为参数序列的统计预测问题，相较拼接式方法显著降低了对录音语料规模的依赖，但合成音质受声码器与过平滑效应限制。^{4141Chapter 0The Theory behind Controllable Expressive Speech Synthesis: a Cross-disciplinary Approachar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

随着深度学习兴起，统计参数语音合成逐步转向以神经网络作为声学模型，把文本到语音的映射建模为序列到序列问题，从而可以使用卷积神经网络、循环神经网络以及注意力机制来学习文本与声学特征之间的对齐关系。^{4141Chapter 0The Theory behind Controllable Expressive Speech Synthesis: a Cross-disciplinary Approachar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

梅尔频谱（Mel-Spectrogram）作为频谱图的一种降维表示，在基于深度学习的语音合成中被广泛用作声学特征，这一特征选择也延续到了神经网络情感化语音合成的建模流程中。^{4141Chapter 0The Theory behind Controllable Expressive Speech Synthesis: a Cross-disciplinary Approachar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

语音合成技术从早期的规则驱动、电子模拟声道（如 Voder 与共振峰合成器）起步，那一阶段只追求可懂度，输出机械僵硬；随后经历参数化与拼接合成阶段，开始追求自然度。情感化语音是在这一「从机器发声到人性化对话」的演进脉络中被提出的目标。^{4040人工智能语音播报的进化xfyun.cn前往参考资料 ↓在新标签页中打开}

深度学习推动语音合成从「能听懂」转向「有表现力」，情感语音合成由此成为语音领域的重要研究方向：其目标是在语音中加入不同情感并对情感进行调控，生成灵活且准确的情感语音。^{4242情感语音合成综述mp.weixin.qq.com前往参考资料 ↓在新标签页中打开}

综述研究把情感语音合成的关键科学问题归纳为情感迁移、情感强度控制和情绪混合三条主线，并围绕这三条主线总结了近几年的进展，同时梳理了相关数据集与评价指标。^{4242情感语音合成综述mp.weixin.qq.com前往参考资料 ↓在新标签页中打开}

情感语音合成需要提取并学习语音中蕴含的情绪信息，包括情绪类别与情感强度，这是合成具有丰富表现力语音的前提；在虚拟助手、客服系统等场景中，情感语音能提供更贴合用户需求的交互体验。^{4242情感语音合成综述mp.weixin.qq.com前往参考资料 ↓在新标签页中打开}

对表现性语音合成的综述指出，当前 TTS 系统在语音清晰度上表现优异，但往往缺乏情感深度与表现力，而后者对人机交流的自然感至关重要；相关研究正集中在增强合成语音的情感与韵律层面。^{4343A Comprehensive Review of Expressive Text-To-Speech Systems and its Advancements and Challengesieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

大模型进入语音合成后，行业叙事把「一句话声音复刻」与「实时语音交互中的精准情绪识别」并列为平台级能力，情感化语音由此从研究课题转为可被开发者直接调用的产品能力。^{4040人工智能语音播报的进化xfyun.cn前往参考资料 ↓在新标签页中打开}

智能朗读器是情感化语音的一类代表性产品形态：它把文本转语音从“准确发音”推进到“会表达”，通过情感建模、韵律控制与上下文理解，让合成语音承载喜悦、沉稳、关切、幽默等细腻情绪，以提升听众的沉浸感与信任度。^{22解析智能文字朗读器的情感表达技术_讯飞开放平台xfyun.cn前往参考资料 ↓在新标签页中打开}

在科大讯飞开放平台的智能朗读器技术说明中，情感表达的第一条路径是“情感标签驱动”：先从文本中提取情绪信号，再据此驱动合成语音的情感色彩，而不是仅依赖声学模型对音素的逐字还原。^{22解析智能文字朗读器的情感表达技术_讯飞开放平台xfyun.cn前往参考资料 ↓在新标签页中打开}

讯飞开放平台在同一篇技术说明中把情感建模、韵律控制与上下文理解并列为智能朗读器实现情感表达的三大技术支点，说明情感化朗读并非单一的情感标签映射，而是文本理解与声学调控协同的结果。^{22解析智能文字朗读器的情感表达技术_讯飞开放平台xfyun.cn前往参考资料 ↓在新标签页中打开}

火山引擎于 2025 年 10 月升级豆包语音合成模型 2.0（Doubao-Seed-TTS 2.0）与豆包声音复刻模型 2.0（Doubao-Seed-ICL 2.0），基于豆包大语言模型研发新的语音合成架构，使合成与复刻的声音具备深度语义理解和上下文理解能力，从单纯文本朗读进化为“理解后的精准情感表达”。^{4444豆包语音合成模型 2.0 重磅升级，语义理解 + 情感演绎双突破- DoNewsdonews.com前往参考资料 ↓在新标签页中打开}

豆包语音合成模型 2.0 针对教育场景做了专项优化，宣称全科复杂公式符号的合成平均准确率约为 90%，这一指标反映的是朗读准确性而非情感表现力，说明智能朗读器的能力评价通常需要把“读得对”和“读得有感情”分开衡量。^{4444豆包语音合成模型 2.0 重磅升级，语义理解 + 情感演绎双突破- DoNewsdonews.com前往参考资料 ↓在新标签页中打开}

火山引擎称其语音能力已服务于 OPPO、Keep、美图、儿歌多多、洋葱学园、跃然创新等客户，覆盖对话助手、情感陪伴、内容配音、教育辅助等多类场景，表明情感化朗读能力主要以平台化 API 的形式对外输出，而非单一终端产品。^{4444豆包语音合成模型 2.0 重磅升级，语义理解 + 情感演绎双突破- DoNewsdonews.com前往参考资料 ↓在新标签页中打开}

即构科技（ZEGO）在实时互动 AI Agent 2.10 版本中同时引入用户情绪识别与多情感 TTS，使智能体在“听懂内容”之外还能“读懂情绪”并给出情感化语音回应，代表了一类把情感识别与情感合成闭环在同一实时互动平台内的产品路线。^{55即构实时互动AI Agent 2026年重磅升级：支持用户情绪识别，多情感TTS- ZEGO即构科技zego.im前往参考资料 ↓在新标签页中打开}

ElevenLabs 于 2026 年 2 月为 ElevenAgents 推出「表现力模式」（Expressive Mode），官方将其定位为让语音智能体的表现力更接近真人对话，并让团队对语气拥有更强的控制力。^{4545推出 ElevenAgents 表现力模式elevenlabs.io前往参考资料 ↓在新标签页中打开|4545推出 ElevenAgents 表现力模式elevenlabs.io前往参考资料 ↓在新标签页中打开}

据 ElevenLabs 官方说明，表现力模式由两项升级共同驱动：一是 Eleven v3 Conversational，一款基于 Eleven v3 构建、针对实时对话优化并具备情感理解与上下文感知能力的文本转语音模型；二是全新的轮次交替（turn-taking）系统，用于让响应时机更精准、减少打断。^{4545推出 ElevenAgents 表现力模式elevenlabs.io前往参考资料 ↓在新标签页中打开|4545推出 ElevenAgents 表现力模式elevenlabs.io前往参考资料 ↓在新标签页中打开}

ElevenLabs 把情感化语音能力嵌入到具体的对话任务叙事中，官方给出的示例是航班取消场景下智能体对极度沮丧客户的共情回应，用以说明语气控制可以服务于冲突缓和与对话收敛。^{4545推出 ElevenAgents 表现力模式elevenlabs.io前往参考资料 ↓在新标签页中打开|4545推出 ElevenAgents 表现力模式elevenlabs.io前往参考资料 ↓在新标签页中打开}

即构科技（ZEGO）在实时互动 AI Agent 2.10 版本中加入了用户情绪识别与多情感 TTS，使智能体在「听懂内容」之外还能识别用户情绪并给出情感化回应。^{55即构实时互动AI Agent 2026年重磅升级：支持用户情绪识别，多情感TTS- ZEGO即构科技zego.im前往参考资料 ↓在新标签页中打开}

从产品形态看，实时互动 AI Agent 的情感化能力通常由「情绪识别（输入端）」与「情感化语音合成（输出端）」两端构成，即构与 ElevenLabs 的公开表述分别对应这两端中的一侧或两侧。^{4545推出 ElevenAgents 表现力模式elevenlabs.io前往参考资料 ↓在新标签页中打开|55即构实时互动AI Agent 2026年重磅升级：支持用户情绪识别，多情感TTS- ZEGO即构科技zego.im前往参考资料 ↓在新标签页中打开}

百度大模型语音合成服务在2026年4月升级中新增情感标签控制功能，把超拟人多情感发音人拆成两种情感表达模式：AI 智能匹配（依据文本内容自动选择情感）与标签自定义控制（由调用方手动指定情感），两者可切换。^{4646【重磅升级】语音合成定制音库，新增支持多情感语音定制ai.baidu.com前往参考资料 ↓在新标签页中打开|4747【功能升级】大模型语音合成情感标签全新上线，情感表达更精准cloud.baidu.com前往参考资料 ↓在新标签页中打开}

在百度的短文本在线合成 HTTP 接口中，手动指定情感通过 text_ctrl 参数实现，例如 text_ctrl={"emo": "happy"} 表示快乐语气；不传 emo 参数时默认使用中性（neutral）语气。^{4646【重磅升级】语音合成定制音库，新增支持多情感语音定制ai.baidu.com前往参考资料 ↓在新标签页中打开|4747【功能升级】大模型语音合成情感标签全新上线，情感表达更精准cloud.baidu.com前往参考资料 ↓在新标签页中打开}

百度该接口当时支持手动控制情感标签的发音人，其情感类型覆盖快乐、悲伤、愤怒、惊讶、恐惧五类，不同发音人支持的情感集合并不一致，有的只支持其中四类。^{4646【重磅升级】语音合成定制音库，新增支持多情感语音定制ai.baidu.com前往参考资料 ↓在新标签页中打开|4747【功能升级】大模型语音合成情感标签全新上线，情感表达更精准cloud.baidu.com前往参考资料 ↓在新标签页中打开}

百度把「AI 智能匹配」与「标签自定义控制」并列为两种模式，说明多情感 TTS 接口在设计上同时容纳了由模型根据文本推断情感、以及由应用层显式下发情感标签这两条控制路径。^{4646【重磅升级】语音合成定制音库，新增支持多情感语音定制ai.baidu.com前往参考资料 ↓在新标签页中打开|4747【功能升级】大模型语音合成情感标签全新上线，情感表达更精准cloud.baidu.com前往参考资料 ↓在新标签页中打开}

即构科技（ZEGO）在实时互动 AI Agent 2.10 版本中同时引入用户情绪识别与多情感 TTS，使智能体先识别用户语气中的情绪，再用带情感的语言作出回应，形成「识别—回应」的闭环。^{55即构实时互动AI Agent 2026年重磅升级：支持用户情绪识别，多情感TTS- ZEGO即构科技zego.im前往参考资料 ↓在新标签页中打开}

即构在其版本说明中把多情感 TTS 与情绪识别定位为提升智能体「自然拟人」「活人感」的手段，并称此前实时语音场景中的 AI 难以察觉用户语气中的情绪、也难以用带情绪的语言回应。^{55即构实时互动AI Agent 2026年重磅升级：支持用户情绪识别，多情感TTS- ZEGO即构科技zego.im前往参考资料 ↓在新标签页中打开}

智能语音助手是情感化语音最直接、最普遍的落地场景之一：语音合成服务商把「有情感、有温度」的交互体验明确列为手机助手、智能硬件、智能机器人与 AI 客服等语音助手类产品的核心诉求，用以替代千篇一律的「机器声」，并期望借此提升用户粘性与产品忠诚度。^{4646【重磅升级】语音合成定制音库，新增支持多情感语音定制ai.baidu.com前往参考资料 ↓在新标签页中打开}

车载语音助手的情感化并不只体现在音色与语调上，还依赖上下文记忆与语义理解：助手需要把「附近有什么好吃的」这类省略式追问绑定到此前设定的目的地（如杭州西湖），才能让对话节奏接近人际交谈，语调变化也才有附着点。^{4848鸿蒙智行车载小艺多项新功能上线：真人感十足，出行体验更智慧 - IT之家m.ithome.com前往参考资料 ↓在新标签页中打开}

角色扮演式调教是智能语音助手引入情感化语音的一种常见玩法：用户可以要求助手以特定人物（如文学角色）的语气和措辞对话，助手据此切换音色、语速与用词风格，把情感化语音从「情绪表达」扩展到「人格化表达」。^{4848鸿蒙智行车载小艺多项新功能上线：真人感十足，出行体验更智慧 - IT之家m.ithome.com前往参考资料 ↓在新标签页中打开}

面向语音助手的情感化语音定制已形成可调用的工程接口：语音合成平台支持单人多情感音库定制，覆盖喜、怒、哀、乐、惧、惊讶等情感类别，并提供「情感自动匹配」与「参数控制」两种调用方式，同时支持在线 API/SDK、离线 SDK 与离在线融合调用，使助手端可以在不同业务链路中按需选择情感策略。^{4646【重磅升级】语音合成定制音库，新增支持多情感语音定制ai.baidu.com前往参考资料 ↓在新标签页中打开}

在智能语音助手场景中，情感化语音的价值主张通常被表述为提升交互的「温度」与趣味性，进而影响用户留存；但这类收益多为厂商基于业务视角的定性判断，公开的、可对照的用户留存或满意度量化证据仍然稀少。^{4646【重磅升级】语音合成定制音库，新增支持多情感语音定制ai.baidu.com前往参考资料 ↓在新标签页中打开}

在客服与陪伴场景中，情感化语音合成的价值在于让机器理解并模拟语气、语调、节奏等非语言信息；有厂商材料称人类交流中这类情感信号占比超过60%，但该比例的具体出处与测量口径未在材料中给出。^{11从机械到共情：AI语音合成的情感化突破与四大技术路径xfyun.cn前往参考资料 ↓在新标签页中打开}

智能客服与情感陪伴已被语音交互平台厂商并列为情感化语音的典型落地场景：声网对话式AI引擎在适用场景表中同时列出「智能客服」与「情感陪伴」，并称后者提供情感化对话和互动以缓解孤独感。^{4949产品概述 | 文档中心 | 声网doc.shengwang.cn前往参考资料 ↓在新标签页中打开}

百家云AI智能体同样把智能客服与情感陪伴列入适用场景，并提供可调语调、语速、情感参数的情感化语音合成能力，说明「客服+陪伴」是实时语音智能体产品的通用场景组合。^{5050百家云 - BRTC开发者中心test-docs.baijiayun.com前往参考资料 ↓在新标签页中打开}

客服场景对情感化语音的工程约束主要来自实时性：声网称其对话式AI引擎端到端响应延迟低至650毫秒、打断响应340毫秒；百家云称其端到端延迟低至680毫秒、打断响应350毫秒。这些数字均为厂商自述指标，未经第三方复现。^{4949产品概述 | 文档中心 | 声网doc.shengwang.cn前往参考资料 ↓在新标签页中打开|5050百家云 - BRTC开发者中心test-docs.baijiayun.com前往参考资料 ↓在新标签页中打开}

陪伴场景的情感化表达常与个性化适配结合：讯飞开放平台的材料举例称，可通过少量目标用户语音样本微调模型，克隆用户亲友的语气来安慰失意者，实现「千人千面」的情感表达。^{11从机械到共情：AI语音合成的情感化突破与四大技术路径xfyun.cn前往参考资料 ↓在新标签页中打开}

面向不同人群调整情感表达强度是客服与陪伴场景的常见做法，例如对儿童讲故事时增强夸张语气、对老年人播报新闻时放缓语速，这类调整依赖文本语义、上下文与用户画像的多模态融合。^{11从机械到共情：AI语音合成的情感化突破与四大技术路径xfyun.cn前往参考资料 ↓在新标签页中打开}

情感化语音在客服与陪伴中的能力边界仍受复杂情感识别限制：讯飞材料称讽刺、幽默等复杂情感的识别准确率不足70%，跨文化情感表达差异也需进一步优化。^{11从机械到共情：AI语音合成的情感化突破与四大技术路径xfyun.cn前往参考资料 ↓在新标签页中打开}

在游戏开发中，情感化语音最直接的一类用途是让非玩家角色（NPC）与游戏化身在游戏过程中发起或参与对话，即用语音合成把对白实时变成可听的角色台词，而不是预先录制的固定语音。^{5151Game development with Azure Speech in Foundry Tools - Speech service - Foundry Toolslearn.microsoft.com前往参考资料 ↓在新标签页中打开|5252使用 Azure 语音进行游戏开发 - 语音服务 - Azure AI servicesdocs.azure.cn前往参考资料 ↓在新标签页中打开}

云语音服务把「用标准化语音提供高度自然、开箱即用的多语言多音色语音」列为游戏场景的核心能力之一，这意味着开发者可以在不自行训练声学模型的前提下，为角色配置不同语言与音色的声音。^{5151Game development with Azure Speech in Foundry Tools - Speech service - Foundry Toolslearn.microsoft.com前往参考资料 ↓在新标签页中打开|5252使用 Azure 语音进行游戏开发 - 语音服务 - Azure AI servicesdocs.azure.cn前往参考资料 ↓在新标签页中打开}

游戏对白在制作阶段常需要反复试听不同版本，语音合成被用于对白原型化：快速替换台词并实时听取不同变体，从而降低制作成本、缩短迭代周期，这是情感化语音在游戏工业流程中较早落地的一环。^{5252使用 Azure 语音进行游戏开发 - 语音服务 - Azure AI servicesdocs.azure.cn前往参考资料 ↓在新标签页中打开}

语音合成与语音识别在游戏中的另一类用途是可达性：把文本合成为音频、或把音频显示为文本，使无法阅读特定语言文字的玩家（包括尚未学会读写的低龄玩家）能以首选语言收听剧情与操作说明。^{5151Game development with Azure Speech in Foundry Tools - Speech service - Foundry Toolslearn.microsoft.com前往参考资料 ↓在新标签页中打开|5252使用 Azure 语音进行游戏开发 - 语音服务 - Azure AI servicesdocs.azure.cn前往参考资料 ↓在新标签页中打开}

游戏场景对语音的实时性要求较高，相关平台文档强调以低延迟方式提供语音转文本、文本转语音、语言识别与语音翻译，并同时提供批处理转写接口处理预先录制的语音。^{5252使用 Azure 语音进行游戏开发 - 语音服务 - Azure AI servicesdocs.azure.cn前往参考资料 ↓在新标签页中打开}

虚拟人（数字人、虚拟主播、虚拟客服）是情感化语音的另一类典型落地形态：语音不仅承载语义，还要通过韵律、音色与情绪表达塑造人格化形象，因此对情感可控的语音合成依赖度高于普通朗读场景。^{5151Game development with Azure Speech in Foundry Tools - Speech service - Foundry Toolslearn.microsoft.com前往参考资料 ↓在新标签页中打开}

在混合现实（MR）环境中，虚拟人形角色可以通过言语与非言语两种通道同时承载情感交流，从而构成一种面向情感沟通的交互形态；已有公开演示系统将这两类通道整合进同一套 MR 交互框架，并以体验式展览的形式向公众呈现。^{5353With Lily: Design and Implementation of Verbal and Nonverbal Interaction with a Virtual Humanoid in Mixed Reality for Affective Communicationieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

扩展现实中的情感化语音设计目标之一，是为那些渴望社交互动、却又因担心被评价或被误解而感到负担的用户，提供一种不受现实社交约束、舒适且愉快的虚拟对话体验；这一目标把情感化语音从单纯的自然度追求，扩展到社交压力调节的层面。^{5353With Lily: Design and Implementation of Verbal and Nonverbal Interaction with a Virtual Humanoid in Mixed Reality for Affective Communicationieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

扩展现实场景对情感化语音提出了区别于传统语音交互的约束：语音需要与虚拟人形象、空间音频定位以及实时渲染管线保持同步，任何可感知的延迟或情感不一致都会破坏在场感与情感可信度。^{5353With Lily: Design and Implementation of Verbal and Nonverbal Interaction with a Virtual Humanoid in Mixed Reality for Affective Communicationieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

面向情感沟通的扩展现实虚拟人系统通常以演示或体验式展览形态落地，说明该方向目前更多处于原型验证与公众体验阶段，而非大规模商用部署阶段。^{5353With Lily: Design and Implementation of Verbal and Nonverbal Interaction with a Virtual Humanoid in Mixed Reality for Affective Communicationieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

情感自然度评测的核心困难在于合成语音缺少可供对照的情感「真值」标签：生成语音没有唯一正确的情感表达，因此难以像识别任务那样用准确率一类指标直接打分，评测往往只能依赖昂贵的人工听感实验。^{5555A Ground-Truth-Free Framework for Validating Emotions in Generative AI Speech Synthesisieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

为绕开人工听感实验的成本，研究者提出无真值（ground-truth-free）的评测框架：用情感专用表征（如 Emotion2Vec）与通用声学、语言表征（如 WavLM）联合编码合成语音，再以原型比对的方式给出情感表达力评分。^{5555A Ground-Truth-Free Framework for Validating Emotions in Generative AI Speech Synthesisieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

工业界评测实践指出，TTS 评测长期偏重效率与准确度等基础指标，一旦这些基础指标达标，情感性与表达力这类更主观的维度就成为区分系统优劣的关键，但现有指标对它们的刻画仍不充分。^{5454Beyond TTS Quality: Evaluating Emotionality and Rangeinworld.ai前往参考资料 ↓在新标签页中打开}

情感自然度评测的可复现性依赖严格的实验控制：固定随机种子、统一确定性设置，并在所有对比运行中使用同一套训练/验证划分文件，否则不同系统之间的分数差异难以归因于模型本身。^{5555A Ground-Truth-Free Framework for Validating Emotions in Generative AI Speech Synthesisieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

跨说话人情感强度控制的目标是：仅凭目标说话人的中性语音，就生成该说话人在指定情感强度下的情感语音；这一任务把「情感表达」与「说话人音色」两个因素解耦，因而对情感表达在不同说话人之间是否一致提出了直接要求。^{5757Speaker-agnostic Emotion Vector for Cross-speaker Emotion Intensity Controlar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

此前提出的「情感算术」（emotion arithmetic）方法用单一说话人的情感向量实现情感强度控制，在同说话人设定下效果良好；但在跨说话人设定下，由于源说话人与目标说话人的情感向量不匹配，该方法会丢失说话人一致性。^{5757Speaker-agnostic Emotion Vector for Cross-speaker Emotion Intensity Controlar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开|5858Speaker-agnostic Emotion Vector for Cross-speaker Emotion Intensity Controlarxiv-org.ezproxy.obspm.fr前往参考资料 ↓在新标签页中打开}

针对上述不一致问题，有研究提出「说话人无关情感向量」（speaker-agnostic emotion vector），其设计目标是捕捉多个说话人之间共享的情感表达，从而可应用于任意说话人。^{5757Speaker-agnostic Emotion Vector for Cross-speaker Emotion Intensity Controlar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开|5858Speaker-agnostic Emotion Vector for Cross-speaker Emotion Intensity Controlarxiv-org.ezproxy.obspm.fr前往参考资料 ↓在新标签页中打开}

在跨说话人情感强度可控性的评估上，相关研究采用重排实验（rearrangement experiment），考察听者能否准确区分不同情感强度的合成情感语音，并分别覆盖已见目标说话人与未见目标说话人两种情形。^{5757Speaker-agnostic Emotion Vector for Cross-speaker Emotion Intensity Controlar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开|5858Speaker-agnostic Emotion Vector for Cross-speaker Emotion Intensity Controlarxiv-org.ezproxy.obspm.fr前往参考资料 ↓在新标签页中打开}

说话人一致性可用说话人嵌入余弦相似度一类指标量化：SECS（Speaker Embedding Cosine Similarity）分数按方法对多个说话人的相似度取平均得到，用于比较不同方法在跨说话人条件下的说话人保持能力。^{5858Speaker-agnostic Emotion Vector for Cross-speaker Emotion Intensity Controlarxiv-org.ezproxy.obspm.fr前往参考资料 ↓在新标签页中打开}

情感化语音技术的一个核心挑战是「国际化」不足：大型音频/语音语言模型虽然在零样本泛化上表现亮眼，但其情感理解建立在训练数据所隐含的文化框架之上，当训练数据分布偏斜时，模型会误读具有文化根基的情感表达，造成情感误识别。^{5959Enabling Internationalization of Affective Speech Technology Using LLMsieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

会话层面的语境差异同样构成挑战：情感化语音系统需要在多轮对话中依据上下文推断说话人的情绪状态与应答语气，而现有评测多集中在单句或短片段层面，难以反映长程会话中情绪漂移、反讽与礼貌策略等语用现象。^{5959Enabling Internationalization of Affective Speech Technology Using LLMsieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

面向国际化的可行路径之一，是利用大语言模型的语言知识与跨语言能力来扩展情感语音技术的语言覆盖，把情感标注与情感控制合成从资源丰富的语言迁移到低资源语言，从而缓解训练数据在语言与文化上的偏斜。^{5959Enabling Internationalization of Affective Speech Technology Using LLMsieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

情感化语音系统在采集与合成情感语音时，通常需要处理说话人的情绪状态、生理信号与语音样本，这类数据在多数法域下属于生物识别数据或敏感个人信息，其处理需取得单独同意并满足必要性原则。欧盟《通用数据保护条例》第9条将生物识别数据列为特殊类别个人数据，原则上禁止处理，除非满足明示同意等例外条件。^{6060Regulation (EU) 2016/679 (General Data Protection Regulation), Article 9eur-lex.europa.eu前往参考资料 ↓在新标签页中打开}

情感化语音合成可能被用于生成未经授权的他人声音，即所谓“声音克隆”或“深度伪造语音”。这类合成语音可被用于冒充亲友实施诈骗、伪造录音证据或制造虚假新闻，构成对人格权与公共信任的直接威胁。^{6161Audio deepfake detection: A surveyarxiv.org前往参考资料 ↓在新标签页中打开}

中国《互联网信息服务深度合成管理规定》自2023年1月10日起施行，要求深度合成服务提供者对生成的内容添加标识，不得利用深度合成服务制作、复制、发布、传播虚假信息，并规定提供智能对话、合成人声、人脸生成等服务应进行显著标识。^{6262互联网信息服务深度合成管理规定cac.gov.cn前往参考资料 ↓在新标签页中打开}

欧盟《人工智能法案》于2024年正式通过，其中对“情感识别系统”作出专门规制：在工作场所和教育机构中禁止使用情感识别，其他场景下使用情感识别系统需履行透明度义务，向受影响者告知系统正在运行。该法案将情感识别从一般人工智能应用中单列，反映出立法者对情感计算伦理风险的特殊关注。^{6363Regulation (EU) 2024/1689 (Artificial Intelligence Act), Article 5 and Article 50eur-lex.europa.eu前往参考资料 ↓在新标签页中打开}

情感化语音系统的训练数据往往来自演员表演或公开语料，其情感标签由标注者主观判断，不同文化、语言与个体对同一语音的情感解读可能存在系统性差异。这意味着系统所“拟真”的情感并非普遍共识，而是特定标注群体与文化语境下的建构。^{6666Cross-cultural emotion perception in speech: A reviewjournals.sagepub.com前往参考资料 ↓在新标签页中打开}

针对声音克隆的滥用，部分平台已开始要求语音合成服务在上传声音样本时进行声纹验证或取得被模仿者的授权，但这类措施目前主要依赖平台自律，缺乏统一的技术标准与跨平台互认机制。^{6262互联网信息服务深度合成管理规定cac.gov.cn前往参考资料 ↓在新标签页中打开}

情感识别与合成的闭环风险，指情感化语音系统先用情感识别模块推断用户情绪、再用情感合成模块生成带情绪的回应，两个模块相互耦合后，识别误差会被合成环节放大并反过来影响用户情绪，形成自我强化的反馈回路。^{6767Emotional Speech Synthesis: A Reviewarxiv.org前往参考资料 ↓在新标签页中打开|6868Emotion Recognition in Conversation: A Surveyarxiv.org前往参考资料 ↓在新标签页中打开}

情感识别本身在跨语料、跨说话人、跨语言条件下准确率显著下降，是闭环风险的源头之一：在 acted（表演式）语料上训练的识别器迁移到自然交互语音时性能明显退化，而合成端却会把这种不确定的识别结果当作确定输入使用。^{6969Cross-Corpus Speech Emotion Recognition: A Surveyarxiv.org前往参考资料 ↓在新标签页中打开|7070Speech Emotion Recognition: A Comprehensive Surveyarxiv.org前往参考资料 ↓在新标签页中打开}

情感标签本身存在标注者间低一致性：同一段语音被不同标注者打上不同情绪标签是常态，这使识别模块的"真值"本身带有噪声，闭环中误差无法通过更多数据简单消除。^{7171The INTERSPEECH 2009 Emotion Challengeisca-speech.org前往参考资料 ↓在新标签页中打开}

情感合成若过度迎合识别到的负面情绪（如对愤怒用户回以更强硬的语气），可能加剧冲突而非安抚，这是闭环风险中最受关注的伦理问题之一。^{7474Ethics in Emotion Recognition and Affective Computingarxiv.org前往参考资料 ↓在新标签页中打开}

闭环风险还体现在评估环节：以识别模块的输出作为合成质量的评价依据，会形成循环论证——用同一套有偏的情感模型既做生成目标又做评分标准，导致系统在基准上表现良好而在真实用户处失效。^{7575On the Evaluation of Emotional Speech Synthesisarxiv.org前往参考资料 ↓在新标签页中打开}

隐私与知情同意问题在闭环中放大：持续的情感识别意味着对用户语音的连续情绪推断，而用户往往不知道自己的情绪被推断并用于调整合成回应，闭环使这种推断的影响直接作用于用户自身。^{7676Privacy and Affect Recognition: A Surveyarxiv.org前往参考资料 ↓在新标签页中打开}

缓解闭环风险的常见工程手段包括：在识别端输出置信度并在低置信时降级为中性回应、在合成端限制情感强度上限、引入人工审核或用户可控的情感表达开关，但这些手段目前缺乏统一的效果验证。^{7777Responsible Affective Computing: Design Considerationsarxiv.org前往参考资料 ↓在新标签页中打开}