多模态交互

在工程语境中，模态（Modality）通常指信息的感知或表达通道，即同一类语义在不同载体上的呈现形式，可理解为模型的输入或输出形式。^{55第一节 多模态概述raw.githubusercontent.com前往参考资料 ↓在新标签页中打开}

不同模态在数据层面天然存在差异：文本通常表现为离散的 token 序列，图像是高度×宽度×通道数的像素网格，语音/音频常以连续时间波形或谱图表示，传感器往往是多路同步的时间序列并伴随漂移、缺失与噪声。^{55第一节 多模态概述raw.githubusercontent.com前往参考资料 ↓在新标签页中打开}

由于各模态载体不同、统计特性存在差异（如局部性与全局性、时序依赖、尺度变化与噪声分布），多模态系统通常为不同模态配置各自的编码器（文本、图像、音频、传感器编码器），先把异构信号映射为可计算的表征，再进入后续的对齐、融合与推理。^{55第一节 多模态概述raw.githubusercontent.com前往参考资料 ↓在新标签页中打开}

模态的划分并不限于跨越物理媒介（如声、光、电）的层面；在文本模态内部，也存在结构形态发生显著变化的转换，例如文本转代码（代码具有更严密的逻辑和语法约束）与文本转表格（表格是结构化的二维信息），这类现象可称为微观多模态。^{55第一节 多模态概述raw.githubusercontent.com前往参考资料 ↓在新标签页中打开}

通道（Channel）与模态（Modality）在概念上处于不同层次：模态描述的是信息以何种载体或形式呈现（如文本、图像、语音），而通道通常指承载该信息的具体传输或感知通路（如某一麦克风输入、某一摄像头视频流、某一传感器信号线）。同一模态可以经由多个通道采集或输出，同一通道也可能承载多种模态成分，因此二者不可混用。^{55第一节 多模态概述raw.githubusercontent.com前往参考资料 ↓在新标签页中打开}

在术语层面，「通道」（channel）通常指某一特定的渲染器、设备或某一种模态；「多通道应用」指为通过不同通道实现泛在访问而设计的应用，且一次只使用一个通道，不特别关注跨通道的同步或协调。^{66A DOM-based MVC multi-modal e-businessieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

「多模态应用」被定义为多通道应用的一种特例：多个通道同时可用并且彼此同步；从多通道的视角看，多模态可以被视为又一个通道。^{66A DOM-based MVC multi-modal e-businessieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

「模态」（modality）指信息传递中所使用的认知方式或样式，而不仅是媒体或通道的简单叠加；多模态交互的关键在于多个沟通通道被有机地整合，而非仅仅同时可用。^{77Untitled Documentairc.aist.go.jp前往参考资料 ↓在新标签页中打开}

多模态交互系统被描述为：图形、语音、文本等多个沟通通道可以同时、相互补充地使用，使人能够调动语言与行为的模态进行交互；其重点在于有机统合，而不仅是多种媒体或通道的并列可用。^{77Untitled Documentairc.aist.go.jp前往参考资料 ↓在新标签页中打开}

「会话式应用」指在应用内部以及跨独立开发的应用之间支持多模态、自由流动交互（混合主动式对话），并利用短期与长期上下文的应用；这一概念把多模态与对话的主动性、上下文连续性联系起来。^{66A DOM-based MVC multi-modal e-businessieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

多通道与多模态的区分要点在于同步与协调：多通道强调通过不同通道的泛在访问，一次一个通道；多模态强调多个通道同时可用并保持同步，因而对跨通道的协调提出了额外要求。^{66A DOM-based MVC multi-modal e-businessieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

单模态交互指用户与系统之间仅通过一种输入或输出通道（如只用键盘、只用语音、只用触控）完成信息交换；多模态交互则允许用户同时或交替使用两种及以上通道（如语音加手势、笔加语音）表达意图，系统对多路信号进行联合解析。二者的核心差别不在于通道数量本身，而在于系统是否需要处理跨通道的语义组合与时间对齐。^{88Multimodal Systems: Taxonomy, Methods, and Challengesar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

从认知负荷角度看，单模态交互把全部表达压力集中在单一通道上，用户必须把本可并行表达的空间信息（指向、位置）压缩成该通道能承载的线性符号；多模态交互允许用户把不同性质的信息分配给最擅长的通道，例如用言语描述对象、用手势指定位置，从而降低单通道的编码负担。^{88Multimodal Systems: Taxonomy, Methods, and Challengesar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

在系统实现层面，单模态交互的输入解析通常是「一路信号—一个识别器—一个语义结果」的直线流程；多模态交互则必须增加模态融合环节，把来自不同识别器的候选结果按时间戳与语义约束合并，因此引入了单模态系统不存在的融合策略选择、时间窗口设定与冲突裁决问题。^{88Multimodal Systems: Taxonomy, Methods, and Challengesar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

多模态交互并不必然优于单模态交互：当任务本身是线性、低歧义的（如纯文本录入、数值输入），增加通道反而会提高识别错误率与系统复杂度，并可能因融合错误产生单模态下不会出现的误判。因此通道选择应与任务结构匹配，而非一味追求模态数量。^{88Multimodal Systems: Taxonomy, Methods, and Challengesar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

多模态交互的经典研究起点可追溯到以语音加手势、笔加语音为代表的复合输入系统，这类系统把「说什么」与「指哪里」拆给不同通道，用指代消解把两路信号绑定到同一对象上，这正是单模态交互无法自然完成的一类指称行为。^{88Multimodal Systems: Taxonomy, Methods, and Challengesar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

在评价维度上，单模态交互的评测主要关注识别准确率与任务完成时间；多模态交互还需额外考察模态间的互补增益、融合后的整体鲁棒性以及在某一通道失效时的降级表现，评测指标体系因此更复杂。^{88Multimodal Systems: Taxonomy, Methods, and Challengesar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

多通道用户界面（Multi-modal Interface, MMI）的研究动机之一，是计算机输入输出装置在数量与能力上迅速增加，但计算机加工与呈现视觉、听觉信息的能力、以及人机交互能力与之不相称：从计算机到用户的通讯带宽远大于从用户到计算机的通讯带宽。^{99中国科学院软件研究所机构知识库(ISCAS OpenIR): 多通道用户界面开放模型的研究及应用ir.iscas.ac.cn前往参考资料 ↓在新标签页中打开}

该研究传统把这种不相称归因于两方面：硬件的限制，以及人的交互通道与对象操作之间的不匹配。^{99中国科学院软件研究所机构知识库(ISCAS OpenIR): 多通道用户界面开放模型的研究及应用ir.iscas.ac.cn前往参考资料 ↓在新标签页中打开}

虚拟现实技术与科学计算可视化对计算机系统的人机交互提出了高效、三维和非精确的要求；而当时已有的交互方式虽能胜任二维操作，却缺乏在空间中进行非精确直接操作对象的能力。^{99中国科学院软件研究所机构知识库(ISCAS OpenIR): 多通道用户界面开放模型的研究及应用ir.iscas.ac.cn前往参考资料 ↓在新标签页中打开}

早期多通道用户界面研究采用视线跟踪、语音识别、手势输入等新的交互技术，允许用户利用多个交互通道以并行、非精确的方式与计算机系统交互，目标是提高人机交互的自然性与高效性。^{99中国科学院软件研究所机构知识库(ISCAS OpenIR): 多通道用户界面开放模型的研究及应用ir.iscas.ac.cn前往参考资料 ↓在新标签页中打开}

在界面范式的代际划分上，多通道用户界面被定位为继命令行界面（CLI）与 WIMP 界面之后的下一代用户界面形态，这一叙述在 1990 年代中后期的中文界面研究中已被明确表述。^{99中国科学院软件研究所机构知识库(ISCAS OpenIR): 多通道用户界面开放模型的研究及应用ir.iscas.ac.cn前往参考资料 ↓在新标签页中打开}

中国科学院软件研究所 1997 年的一篇博士论文《多通道用户界面开放模型的研究及应用》以多通道用户界面为研究对象，其关键词涵盖用户界面概念模型、对话独立性、交互风格原语、交互概念原语、交互任务原语、应用原语、原语映射、通道整合与用户界面评估，说明当时的研究已把「通道整合」与「界面评估」作为独立问题提出。^{99中国科学院软件研究所机构知识库(ISCAS OpenIR): 多通道用户界面开放模型的研究及应用ir.iscas.ac.cn前往参考资料 ↓在新标签页中打开}

该论文提出以「原语」分层（交互风格原语、交互概念原语、交互任务原语、应用原语）加「原语映射」的方式来构造多通道用户界面的开放模型，试图用对话独立性把界面表示与具体应用解耦。^{99中国科学院软件研究所机构知识库(ISCAS OpenIR): 多通道用户界面开放模型的研究及应用ir.iscas.ac.cn前往参考资料 ↓在新标签页中打开}

到 1990 年代后期，多通道用户界面已被视为用户界面研究的重点方向之一，而不再只是实验室里的个别尝试。^{99中国科学院软件研究所机构知识库(ISCAS OpenIR): 多通道用户界面开放模型的研究及应用ir.iscas.ac.cn前往参考资料 ↓在新标签页中打开}

多模态交互研究通常把系统能力划分为感知、认知与表达三个阶段，其中感知阶段负责从语音、视觉、文本等异构信号中提取信息，是多模态融合的前置环节。^{1111多模态虚拟人交互的技术进展和应用-人工智能2024年03期-手机知网wap.cnki.net前往参考资料 ↓在新标签页中打开}

以虚拟人为载体的多模态交互被视为5G与人工智能结合时代的新一代人机交互方式，其技术路线强调多模态语音识别等多模感知技术先行。^{1111多模态虚拟人交互的技术进展和应用-人工智能2024年03期-手机知网wap.cnki.net前往参考资料 ↓在新标签页中打开}

综述性研究把多模态交互的演进概括为从人机协同走向人智协同，感知与融合能力的提升是这一转变的技术基础之一。^{1010多模态交互：从人机协同迈向人智协同jfdc.cnic.cn前往参考资料 ↓在新标签页中打开}

眼动跟踪被作为多模态交互中的一种重要感知通道加以研究，相关综述梳理了其在交互场景中的应用进展与展望。^{1010多模态交互：从人机协同迈向人智协同jfdc.cnic.cn前往参考资料 ↓在新标签页中打开}

在虚拟现实环境中利用眼动进行交互的早期代表性工作发表于2000年前后的CHI会议，为视线作为交互模态提供了实证基础。^{1010多模态交互：从人机协同迈向人智协同jfdc.cnic.cn前往参考资料 ↓在新标签页中打开}

多模态交互的演进被概括为一条从单模态多语种起步、经多模态扩展、再延伸到决策推理与动作空间（即具身智能）的路径；多模态大型语言模型与具身智能先完成对人类的模仿学习，再通过与世界的交互学习，最终走向通用智能体。^{1212清华大学教授邓志东谈人工智能的研究前沿、迭代演进与发展路径- · 科普中国网kepuchina.cn前往参考资料 ↓在新标签页中打开|1313图文详情——科普中国资源服务cloud.kepuchina.cn前往参考资料 ↓在新标签页中打开}

在这一阶段，多模态能力的获得方式是在预训练阶段引入视觉、听觉、信号等多种模态，通过对模态中实体或实例的“分词”与转换，把原始模态映射到统一的隐含连续向量空间，实现统一学习表达与语义对齐，从而支撑跨模态的交叉理解。^{1212清华大学教授邓志东谈人工智能的研究前沿、迭代演进与发展路径- · 科普中国网kepuchina.cn前往参考资料 ↓在新标签页中打开|1313图文详情——科普中国资源服务cloud.kepuchina.cn前往参考资料 ↓在新标签页中打开}

多模态大模型阶段的交互目标从“文本世界的阅读理解”扩展到“视觉世界与听觉世界的语义级理解”，即由单模态阅读理解升级为多模态阅读理解。^{1212清华大学教授邓志东谈人工智能的研究前沿、迭代演进与发展路径- · 科普中国网kepuchina.cn前往参考资料 ↓在新标签页中打开|1313图文详情——科普中国资源服务cloud.kepuchina.cn前往参考资料 ↓在新标签页中打开}

推理大模型借助思维链、思维树等方法提升零样本或少样本学习能力，被视作多模态大模型与智能体阶段的关键技术进展之一。^{1212清华大学教授邓志东谈人工智能的研究前沿、迭代演进与发展路径- · 科普中国网kepuchina.cn前往参考资料 ↓在新标签页中打开|1313图文详情——科普中国资源服务cloud.kepuchina.cn前往参考资料 ↓在新标签页中打开}

智能体化的下一步是“具身”：具有多模态感知与理解能力的大型语言模型通过拓展动作空间、增加手与脚等执行维度，模拟人类的移动与操作行为，使大模型与生成式人工智能获得身体载体。^{1212清华大学教授邓志东谈人工智能的研究前沿、迭代演进与发展路径- · 科普中国网kepuchina.cn前往参考资料 ↓在新标签页中打开|1313图文详情——科普中国资源服务cloud.kepuchina.cn前往参考资料 ↓在新标签页中打开}

自动驾驶、通用人形机器人、科学智能被视为多模态大模型与智能体能力加速落地的代表性新应用领域。^{1212清华大学教授邓志东谈人工智能的研究前沿、迭代演进与发展路径- · 科普中国网kepuchina.cn前往参考资料 ↓在新标签页中打开|1313图文详情——科普中国资源服务cloud.kepuchina.cn前往参考资料 ↓在新标签页中打开}

2025年发表的中文综述把多模态交互的走向概括为“从人机协同迈向人智协同”，表明该阶段的研究议程已从单纯的人机分工配合转向人与智能体之间的协同共生。^{1010多模态交互：从人机协同迈向人智协同jfdc.cnic.cn前往参考资料 ↓在新标签页中打开}

该综述发表于《数据与计算发展前沿》2025年第7卷第3期（第81–93页），收稿日期为2025年5月15日，网络首发日期为2025年6月25日，说明“人智协同”这一提法在2025年中期已进入正式学术出版渠道。^{1010多模态交互：从人机协同迈向人智协同jfdc.cnic.cn前往参考资料 ↓在新标签页中打开}

语音与听觉通道是多模态交互中最基础、最自然的输入输出通道之一，其技术链条通常包括语音采集与前端处理、语音识别（ASR）、自然语言理解、对话管理、语音合成（TTS）以及音频输出与回放等环节。^{1414Speech and Language Processing (3rd ed. draft)web.stanford.edu前往参考资料 ↓在新标签页中打开}

语音识别（ASR）将声学信号转换为文本，是语音通道进入语义层的关键步骤；现代主流系统普遍采用端到端神经网络架构（如 CTC、RNN-T、注意力编码器-解码器），取代了传统的声学模型、发音词典与语言模型分离的流水线。^{1515Sequence Modeling with CTCdistill.pub前往参考资料 ↓在新标签页中打开|1616Sequence Transduction with Recurrent Neural Networksarxiv.org前往参考资料 ↓在新标签页中打开}

语音合成（TTS）将文本转换为可听语音，其技术路线已从拼接合成、参数化统计合成演进到基于神经网络的端到端合成（如 Tacotron、WaveNet、FastSpeech 等），显著提升了自然度与可控性。^{1717Tacotron: Towards End-to-End Speech Synthesisarxiv.org前往参考资料 ↓在新标签页中打开|1818WaveNet: A Generative Model for Raw Audioarxiv.org前往参考资料 ↓在新标签页中打开}

语音交互中的唤醒词检测（keyword spotting）通常作为低功耗常驻模块运行，用于在设备端触发后续的语音识别与语义处理流程，是语音通道实现免提交互的前提。^{1919Small-footprint Keyword Spotting Using Deep Neural Networksarxiv.org前往参考资料 ↓在新标签页中打开}

听觉通道不仅承载语音，还承载非语音的环境声与事件声；声学事件检测（AED）与场景分类任务用于识别哭声、玻璃破碎、警报、车辆鸣笛等声音事件，为交互系统提供环境感知与上下文线索。^{2020Audio Set: An ontology and human-labeled dataset for audio eventsresearch.google前往参考资料 ↓在新标签页中打开}

副语言信息（paralinguistic）如语调、语速、重音、停顿与情绪，与语音内容并行传输，是听觉通道中承载说话人状态与意图的重要维度；说话人识别、情感识别与韵律分析构成该维度的典型技术任务。^{2121The INTERSPEECH 2013 Computational Paralinguistics Challengeisca-archive.org前往参考资料 ↓在新标签页中打开}

在空间音频与多麦克风阵列条件下，声源定位（DOA 估计）与波束成形是语音前端处理的核心技术，用于在噪声与混响环境中增强目标说话人语音，提升远场语音识别的鲁棒性。^{2222Acoustic Beamforming for Speaker Array Systemslink.springer.com前往参考资料 ↓在新标签页中打开}

语音通道与视觉通道（如唇动、口型、面部表情）的融合可显著提升噪声环境下的语音识别与说话人分离性能，音视频语音识别（AVSR）是听觉与视觉跨模态协同的典型例证。^{2323Audio-Visual Speech Recognition: A Surveyarxiv.org前往参考资料 ↓在新标签页中打开}

语音交互的评测通常采用词错误率（WER）与字错误率（CER）衡量识别性能，采用主观平均意见分（MOS）衡量合成语音的自然度，并辅以响应时延、唤醒率与误唤醒率等系统级指标。^{2424The NIST Rich Transcription (RT) Evaluationsnist.gov前往参考资料 ↓在新标签页中打开|2525ITU-T P.800: Methods for subjective determination of transmission qualityitu.int前往参考资料 ↓在新标签页中打开}

语音通道在隐私与安全方面存在特有风险：常驻麦克风带来的持续采集引发隐私顾虑，录音回放、合成语音注入与对抗样本等攻击可欺骗唤醒与识别系统，因此需要防伪与活体检测机制。^{2626ASVspoof 2019: A large-scale public database of synthesized, converted and replayed speechsciencedirect.com前往参考资料 ↓在新标签页中打开}

视觉通道是多模态交互中信息密度最高的模态之一：图像、视频与界面截图等视觉信号承载了场景结构、对象身份与空间关系，是语音之外人机交互最主要的输入来源。^{2727Multimodal Machine Learning: A Survey and Taxonomyarxiv.org前往参考资料 ↓在新标签页中打开}

眼动通道通过注视点、注视时长、扫视路径与瞳孔直径等指标刻画用户的注意力分配与认知负荷，常用设备包括屏幕式眼动仪、头戴式眼动仪与基于普通摄像头的视线估计方案。^{2828Eye Tracking: A Comprehensive Guide to Methods and Measuresglobal.oup.com前往参考资料 ↓在新标签页中打开}

基于表观外观的视线估计方法（appearance-based gaze estimation）借助卷积神经网络直接从眼部或面部图像回归视线方向，使普通 RGB 摄像头具备近似眼动仪的视线追踪能力，降低眼动通道的部署门槛。^{2929MPIIGaze: Real-World Dataset and Deep Appearance-Based Gaze Estimationarxiv.org前往参考资料 ↓在新标签页中打开}

MPIIGaze 等公开数据集推动了无侵入式视线估计的标准化评测，其采集条件覆盖真实使用场景中的头部姿态与光照变化，成为该方向常用的基准之一。^{2929MPIIGaze: Real-World Dataset and Deep Appearance-Based Gaze Estimationarxiv.org前往参考资料 ↓在新标签页中打开}

在交互系统中，眼动信号常被用作“意图预判”通道：注视点可先于鼠标点击或语音指令暴露用户关注的目标，从而支持提前加载、目标预选与注意力感知的界面自适应。^{2828Eye Tracking: A Comprehensive Guide to Methods and Measuresglobal.oup.com前往参考资料 ↓在新标签页中打开|3030Gaze and Eye Tracking: Techniques and Applications in Smart Environmentsarxiv.org前往参考资料 ↓在新标签页中打开}

视觉与眼动通道的融合通常采用“视觉场景理解 + 视线落点”的组合方式：先由视觉模型识别界面或环境中的候选对象，再将注视点映射到对象上完成指代消解，从而把“看哪里”转化为“指什么”。^{3030Gaze and Eye Tracking: Techniques and Applications in Smart Environmentsarxiv.org前往参考资料 ↓在新标签页中打开}

眼动交互面临“米达斯接触”（Midas touch）问题：眼睛在自然观察时也会持续产生注视，系统难以区分“看”与“选”，因此纯眼动选择通常需要配合 dwell time（注视停留）阈值或额外的确认模态。^{2828Eye Tracking: A Comprehensive Guide to Methods and Measuresglobal.oup.com前往参考资料 ↓在新标签页中打开}

视觉通道在移动与嵌入式设备上受算力、功耗与隐私约束，端侧视觉模型多以轻量化网络与量化推理部署，原始图像常在设备内处理而不上传。^{2727Multimodal Machine Learning: A Survey and Taxonomyarxiv.org前往参考资料 ↓在新标签页中打开}

眼动数据的隐私敏感性高于一般行为数据：注视模式可被用于推断阅读兴趣、认知状态甚至健康状况，因此相关系统设计需考虑数据最小化与本地处理。^{2828Eye Tracking: A Comprehensive Guide to Methods and Measuresglobal.oup.com前往参考资料 ↓在新标签页中打开}

在手势与触控通道的工程实现中，手势通常被编码为离散的编号指令集：例如在一套面向表达困难人群的多模态家庭服务机器人系统中，视觉手势被逐一编号（如“视觉手势 5 号”），并与手柄握持方式（如用小指按压手柄，编号 5）并列构成可区分的输入符号。^{3131A multimodal domestic service robot interaction system for people with declined abilities to express themselvespmc.ncbi.nlm.nih.gov前往参考资料 ↓在新标签页中打开}

触控通道的可靠性高度依赖握持稳定性：上述系统在需要引入干扰时，采用“在手柄上附加重物”的方式来制造握持干扰，说明手柄握持（HHC）被选作承载干扰条件的模态，其信号质量会随握持负担变化。^{3131A multimodal domestic service robot interaction system for people with declined abilities to express themselvespmc.ncbi.nlm.nih.gov前往参考资料 ↓在新标签页中打开}

手势与触控通道常被放在同一多模态框架内做互补设计：该系统从“控制便捷性”出发选择手柄握持作为存在干扰的模态，表明通道选择不是单纯按精度排序，而是按使用者在特定情境下的可操作性来权衡。^{3131A multimodal domestic service robot interaction system for people with declined abilities to express themselvespmc.ncbi.nlm.nih.gov前往参考资料 ↓在新标签页中打开}

面向表达困难人群的交互系统会把手势、触控等通道与语音、眼动等其他模态组合使用，以弥补单一通道表达力不足的问题；该系统的定位即为“多模态家庭服务机器人交互系统”。^{3131A multimodal domestic service robot interaction system for people with declined abilities to express themselvespmc.ncbi.nlm.nih.gov前往参考资料 ↓在新标签页中打开}

触觉与力反馈通道指通过机械、电刺激或振动等方式向用户皮肤、肌肉与关节施加可控物理刺激，从而传递压力、纹理、温度、振动与运动阻力等信息的人机交互通道；在模态分类上通常与视觉、听觉并列为三大基础交互模态。^{3232Haptics: Science, Technology, and Applicationslink.springer.com前往参考资料 ↓在新标签页中打开}

按感知部位与刺激方式，触觉反馈可细分为皮肤触觉（cutaneous，作用于表皮感受器，如振动、压力、剪切）与动觉/力反馈（kinesthetic，作用于肌肉、肌腱与关节，如阻力、重量、位置约束）两类；这一划分是触觉交互设备分类的通行框架。^{3232Haptics: Science, Technology, and Applicationslink.springer.com前往参考资料 ↓在新标签页中打开|3333Kinesthetic and Cutaneous Feedback in Virtual Environmentsdirect.mit.edu前往参考资料 ↓在新标签页中打开}

振动触觉执行器是消费电子中最普及的触觉通道实现方式，常见类型包括偏心旋转质量马达（ERM）、线性谐振执行器（LRA）与压电执行器；ERM 响应慢、频带窄，LRA 起停更快、频点集中，压电方案带宽更宽但驱动电压较高。^{3434Haptic Actuators: A Review of Vibration Actuators for Haptic Feedbackmdpi.com前往参考资料 ↓在新标签页中打开}

力反馈通道在遥操作与手术机器人中承担关键的力觉临场感传递功能，操作者通过主手设备感知从端与环境交互的作用力，从而完成精细操作；力反馈缺失会显著影响操作精度与任务完成时间。^{3535Force Feedback in Teleoperation and Robot-Assisted Surgeryieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

表面触觉（surface haptics）技术通过超声振动、静电吸附或机械驱动在触摸屏表面调制摩擦力，使平面屏幕能够呈现纹理与边缘的触感，是触觉通道与视觉界面融合的典型形态。^{3636Surface Haptics: Friction Modulation on Touch Screensieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

温度通道作为触觉反馈的扩展模态，可通过帕尔贴（Peltier）器件实现冷热刺激，在虚拟现实与情感交互中被用于增强临场感；但其响应速度与安全温区限制了独立承载复杂信息的带宽。^{3535Force Feedback in Teleoperation and Robot-Assisted Surgeryieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

触觉通道的信息带宽显著低于视觉与听觉通道，且空间分辨率与刺激定位精度受皮肤感受器分布密度制约，因此触觉在多模态交互中通常承担辅助、告警与增强而非主信息载体的角色。^{3232Haptics: Science, Technology, and Applicationslink.springer.com前往参考资料 ↓在新标签页中打开|3737Information Transmission Rates of the Human Haptic Channellink.springer.com前往参考资料 ↓在新标签页中打开}

可穿戴触觉设备（如触觉手套、触觉背心、腕带）通过分布式执行器阵列在虚拟现实与远程操作中提供全身或手部的触觉反馈，其设计需在重量、功耗、穿戴舒适性与反馈保真度之间折中。^{3535Force Feedback in Teleoperation and Robot-Assisted Surgeryieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

在移动终端上，触觉反馈已被纳入系统级交互设计规范，例如 Android 平台提供 HapticFeedbackConstants 等 API 供应用调用预定义触觉模式，苹果则通过 Taptic Engine 与 Core Haptics 框架支持自定义触觉波形。^{3838HapticFeedbackConstants - Android Developersdeveloper.android.com前往参考资料 ↓在新标签页中打开|3939Core Haptics - Apple Developer Documentationdeveloper.apple.com前往参考资料 ↓在新标签页中打开}

触觉与力反馈通道的标准化工作由 IEEE 等组织推进，IEEE 标准协会设有触觉相关技术委员会与标准项目，旨在统一触觉设备接口、触觉数据编码与互操作性规范。^{4040IEEE Standards Association - Haptics Standards Activitiesstandards.ieee.org前往参考资料 ↓在新标签页中打开}

在多模态交互与情感计算语境中，面部表情是最常被采集的视觉模态之一：它通过面部肌肉运动（如嘴角、眉部、眼周区域的变化）编码情绪状态，常用面部动作编码系统（FACS，Facial Action Coding System）以动作单元（Action Unit）为单位进行描述，再映射到离散情绪类别或维度空间。^{4141Multimodal Fusion Strategies Using Speech, Text, Facial, and Physiological Signals for Emotion Recognitionieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

面部表情作为单一模态在真实环境中并不可靠：遮挡、光照变化、头部姿态、个体表达习惯差异以及社交掩饰（display rules）都会削弱其与内在情绪状态的一致性，这也是多模态方法引入其他信号进行互补的直接动因。^{4141Multimodal Fusion Strategies Using Speech, Text, Facial, and Physiological Signals for Emotion Recognitionieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

生理信号模态主要包括脑电（EEG）、心电（ECG）、皮肤电活动（EDA/GSR）、血容量脉搏（BVP/PPG）、肌电（EMG）与呼吸等，通常由可穿戴或接触式传感器采集；其优势在于难以被主观意志伪装，能反映自主神经系统与中枢神经活动的唤醒与效价信息。^{4141Multimodal Fusion Strategies Using Speech, Text, Facial, and Physiological Signals for Emotion Recognitionieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

生理信号在交互场景中的主要局限是采集侵入性与噪声敏感性：干电极接触质量、运动伪迹、个体生理基线差异都会显著影响信号质量，且长期佩戴的舒适度问题限制了其在消费级交互设备中的普及。^{4141Multimodal Fusion Strategies Using Speech, Text, Facial, and Physiological Signals for Emotion Recognitionieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

在情感识别研究中，语音、文本、面部与生理信号常被并列作为四类核心模态进行融合，综述性工作指出单一模态无法完整刻画人类情绪状态的复杂性，多模态组合可使各模态的强项补偿彼此的短板。^{4141Multimodal Fusion Strategies Using Speech, Text, Facial, and Physiological Signals for Emotion Recognitionieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

表情与生理信号在时间尺度上并不对齐：面部表情可在数百毫秒内快速变化，而皮肤电、心率等自主神经响应通常存在数秒量级的滞后；因此在融合前需要做时间窗对齐与滞后补偿，否则同步误差会直接削弱融合收益。^{4141Multimodal Fusion Strategies Using Speech, Text, Facial, and Physiological Signals for Emotion Recognitionieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

表情与生理信号之间存在模态互补性：面部表情提供高时间分辨率的外显表达线索，生理信号提供低可控性的内隐唤醒线索，二者结合常用于区分“真实情绪”与“社交性表达”。^{4141Multimodal Fusion Strategies Using Speech, Text, Facial, and Physiological Signals for Emotion Recognitionieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

多模态融合按融合发生的阶段可分为早期融合（early fusion，又称特征级融合）与晚期融合（late fusion，又称决策级融合）两大类：前者在特征提取之后、模型决策之前把各模态表示合并，后者让每个模态各自独立完成预测后再合并各模态的预测结果。^{4242Referencesieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

早期融合的核心优势在于能在最早阶段利用模态间的细粒度相关性，使模型可以学习跨模态的联合表示；其代价是要求各模态在时间或语义上严格对齐，且对某一模态的缺失或噪声较为敏感。^{4242Referencesieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

晚期融合让各模态使用各自最适合的模型与特征，模块化程度高、对单模态缺失更鲁棒，但因为在决策前不共享信息，难以捕捉模态间的低层交互，且最终性能受各子模型上限约束。^{4242Referencesieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

表征（representation）、对齐（alignment）与融合（fusion）被并列为多模态信息处理中的三个关键问题，融合机制的设计需要与表征学习和对齐策略协同考虑，这使早期融合与晚期融合的选择不是孤立的工程取舍。^{4242Referencesieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

多模态感知通过利用并融合多个模态的数据信息，可以提升鲁棒性与任务性能，这是融合机制被广泛采用的基本动因。^{4242Referencesieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

跨模态对齐指在多模态数据中建立不同模态单元（如语音帧与文本词、图像区域与描述短语）之间的对应关系，是联合表示学习的前置步骤；其目标是在共享语义空间中让指称同一语义内容的不同模态表示彼此接近。^{4343WDMIR: Wavelet-Driven Multimodal Intent Recognitionar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

MulT（Multimodal Transformer，Tsai 等，2019）提出以定向跨模态注意力（cross-modal attention）将一种模态的序列转换为另一种模态的表示，从而在无需显式词级对齐标注的情况下实现跨模态特征融合，是跨模态对齐与联合表示方向的代表性工作之一。^{4343WDMIR: Wavelet-Driven Multimodal Intent Recognitionar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

MAG-BERT 一类方法在 BERT 主干上引入多模态自适应门控，将非语言模态（如视觉、声学）特征注入预训练语言表示，属于在共享表示空间中做早期/中期融合的对齐路线。^{4343WDMIR: Wavelet-Driven Multimodal Intent Recognitionar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

另一类做法将每种模态投影到两个不同子空间，分别学习不同模态间的公共特征与各模态的独有属性，从而在联合表示中同时保留共享语义与模态特异性信息。^{4343WDMIR: Wavelet-Driven Multimodal Intent Recognitionar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

跨模态对齐在方法上大致可分为显式对齐与隐式对齐：显式对齐依赖词级、区域级或时间戳级的配对监督，隐式对齐则通过注意力机制或对比学习目标在表示空间中软性对齐，后者降低了对细粒度标注的依赖。^{4343WDMIR: Wavelet-Driven Multimodal Intent Recognitionar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

联合表示（joint representation）与协同表示（coordinated representation）是跨模态表示学习的两种基本范式：前者将各模态映射到同一共享空间，后者为各模态保留独立空间并施加相似性约束；二者在模态缺失与模态特异性保留上各有取舍。^{4343WDMIR: Wavelet-Driven Multimodal Intent Recognitionar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

统一多模态建模的核心主张是：不再为每种模态单独训练编码器、再靠外挂对齐层拼接，而是让同一个模型参数空间同时承载多种模态的表示与生成，从而减少模态间「翻译」带来的信息损耗。^{4444CVPR 2025 Open Access Repositoryopenaccess.thecvf.com前往参考资料 ↓在新标签页中打开|4545文心 ERNIE 5.0 技术报告解读：把“理解 + 生成”统一进一个自回归全模态大模型-腾讯云开发者社区-腾讯云cloud.tencent.cn前往参考资料 ↓在新标签页中打开}

UNIALIGN 是 CVPR 2025 收录的一项代表性工作，它用单一统一模型对任意数量的模态（如图像、文本、音频、三维点云等）进行对齐，把「多模态对齐」本身作为可扩展的统一建模问题来处理，而不是为每一对模态单独设计对齐模块。^{4444CVPR 2025 Open Access Repositoryopenaccess.thecvf.com前往参考资料 ↓在新标签页中打开}

UNIALIGN 的论文发表于 CVPR 2025 会议论文集，页码为 29644–29655，作者为 Bo Zhou、Liulei Li、Yujia Wang、Huafeng Liu、Yazhou Yao、Wenguan Wang。^{4444CVPR 2025 Open Access Repositoryopenaccess.thecvf.com前往参考资料 ↓在新标签页中打开}

百度于 2026 年 1 月 22 日发布并上线原生全模态大模型文心 5.0 正式版，官方称其参数规模为 2.4 万亿，采用原生全模态统一建模技术，支持文本、图像、音频、视频等多种模态的输入与输出。^{4545文心 ERNIE 5.0 技术报告解读：把“理解 + 生成”统一进一个自回归全模态大模型-腾讯云开发者社区-腾讯云cloud.tencent.cn前往参考资料 ↓在新标签页中打开}

文心 5.0 所代表的技术路线被描述为区别于传统「拼接式」多模态方案：从底层架构开始做深度融合，使模型无需在不同模态之间进行有损耗的「翻译」，而传统主流路线多为「语言主干 + 外接模态编码器」的组合式结构。^{4545文心 ERNIE 5.0 技术报告解读：把“理解 + 生成”统一进一个自回归全模态大模型-腾讯云开发者社区-腾讯云cloud.tencent.cn前往参考资料 ↓在新标签页中打开}

在统一多模态建模中，理解与生成被纳入同一自回归框架：模型既能把多模态输入映射为语义表示，也能以同一套解码机制生成多模态输出，这是「统一建模」区别于「只做理解」的多模态编码器的关键。^{4545文心 ERNIE 5.0 技术报告解读：把“理解 + 生成”统一进一个自回归全模态大模型-腾讯云开发者社区-腾讯云cloud.tencent.cn前往参考资料 ↓在新标签页中打开}

统一建模路线在工程上引入的机制包括时空连续性编码框架（在特征空间中构建模态间的动态映射关系）与动态学习单元（允许运行时调整部分神经元连接权重而无需全局重训练），用以支撑跨模态的时空对齐与持续演化。^{4545文心 ERNIE 5.0 技术报告解读：把“理解 + 生成”统一进一个自回归全模态大模型-腾讯云开发者社区-腾讯云cloud.tencent.cn前往参考资料 ↓在新标签页中打开}

统一多模态建模的评测通常覆盖数十项权威基准，并同时考察语言理解、多模态理解与多模态生成三类能力，而非只报告单一模态或单一任务的分数。^{4545文心 ERNIE 5.0 技术报告解读：把“理解 + 生成”统一进一个自回归全模态大模型-腾讯云开发者社区-腾讯云cloud.tencent.cn前往参考资料 ↓在新标签页中打开}

多模态交互中的模态冲突，指同一交互任务中两个或多个模态所携带的信息在语义、时序或置信度上彼此不一致，导致系统无法直接合并为单一解释的现象；它与单模态内部的噪声或缺失不同，核心在于跨模态信息之间的对立关系。^{4646Knowledge Conflicts for LLMs: A Surveyar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

按冲突的发生位置，可将多模态交互中的冲突来源划分为三类：上下文与参数记忆之间的冲突（context-memory）、不同上下文之间的冲突（inter-context）以及参数记忆内部的冲突（intra-memory）；这一分类最初针对大语言模型提出，但同样适用于以语言为核心、外接视觉与语音模态的多模态交互系统。^{4646Knowledge Conflicts for LLMs: A Surveyar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

上下文—记忆冲突在多模态交互中的典型表现是：用户以语音或图像提供的即时信息与系统预训练阶段习得的知识相矛盾，例如用户上传的图片显示某产品的新版外观，而模型参数记忆中仍是旧版描述，系统需要在遵循当前感知输入与沿用先验知识之间做出取舍。^{4646Knowledge Conflicts for LLMs: A Surveyar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

跨上下文冲突指同一交互轮次或不同轮次中，不同模态所提供的上下文彼此不一致，例如语音转写文本与画面中字幕文字不符，或前一轮用户口述的约束与后一轮上传图片所呈现的事实相悖；此类冲突在多轮多模态对话中尤为常见。^{4646Knowledge Conflicts for LLMs: A Surveyar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

记忆内部冲突指模型参数中并存的两条知识彼此矛盾，在多模态交互中表现为同一视觉概念在不同训练数据来源下被赋予互斥的属性描述，当系统被要求依据内部知识回答时可能输出自相矛盾的结果。^{4646Knowledge Conflicts for LLMs: A Surveyar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

除知识层面的冲突外，多模态交互还存在感知层面的冲突来源：不同传感器对同一物理量的测量精度与采样率不同，导致同一事件在视觉、听觉与文本转写中呈现的时间戳或数值不一致，这类冲突属于信号级而非语义级的不一致。^{4646Knowledge Conflicts for LLMs: A Surveyar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

模态冲突会显著影响系统的可信度与性能，在噪声与错误信息普遍存在的真实应用场景中尤为突出，因此冲突检测与消解被视为多模态交互鲁棒性的关键环节。^{4646Knowledge Conflicts for LLMs: A Surveyar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

从冲突的语义方向看，可分为事实性冲突（两个模态对同一事实给出不同取值）与评价性冲突（两个模态对同一对象给出不同情感或偏好判断），前者可通过外部证据核验，后者往往依赖交互上下文与用户意图来裁决。^{4646Knowledge Conflicts for LLMs: A Surveyar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

在多模态交互系统中，置信度策略的基本做法是为每个模态通道的识别或理解结果附加一个置信度分数，再由融合层按分数加权或设定阈值决定是否采纳该通道的输出；这一做法源自语音识别中的置信度估计研究，后被推广到多模态场景。^{4747Word Confidences in the ATIS and Switchboard Systemssciencedirect.com前往参考资料 ↓在新标签页中打开}

置信度分数本身并不天然可比：不同模态的分类器在输出分布、训练数据规模和噪声特性上差异很大，直接比较原始置信度会导致某一模态系统性地压过其他模态，因此工程上常需要先做分数校准（如温度缩放、直方图分箱）再进入融合。^{4848On Calibration of Modern Neural Networksproceedings.mlr.press前往参考资料 ↓在新标签页中打开}

优先级策略与置信度策略的区别在于：置信度是逐次、逐样本的动态判断，而优先级是预先设定的模态层级，例如在车载交互中优先采纳方向盘按键或语音明确指令，把视觉注视等弱意图信号放在较低层级。^{4949Multimodal Interfaces: A Survey of Principles, Models and Frameworkslink.springer.com前往参考资料 ↓在新标签页中打开}

当两个模态给出互相矛盾的结论时，一种常见消解规则是「高优先级模态否决低优先级模态」，但该规则在低优先级模态置信度极高、高优先级模态置信度接近随机时会产生明显错误，因此实际系统多采用优先级与置信度联合的判据。^{5050Multimodal Fusion for Multimedia Analysis: A Surveylink.springer.com前往参考资料 ↓在新标签页中打开}

在语音与视觉的冲突消解中，有研究利用说话人朝向、唇动与语音活动的一致性作为仲裁依据：当唇动与语音内容不匹配时降低语音通道权重，这一思路被用于提升嘈杂环境下的识别鲁棒性。^{5151Audio-Visual Speech Recognition: A Surveyieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

贝叶斯融合框架把各模态输出视为对同一潜在意图的带噪观测，用先验概率表达优先级、用似然表达置信度，从而把「优先级」和「置信度」统一到同一个概率推断过程中，冲突时由后验分布自然给出取舍。^{5252A Bayesian Approach to Multimodal Fusionsciencedirect.com前往参考资料 ↓在新标签页中打开}

Dempster-Shafer 证据理论被用于多模态冲突消解，其优势是能显式表达「不知道」并给出冲突系数；但当证据高度冲突时，经典 Dempster 组合规则会产生反直觉结果，这促使研究者提出多种改进的组合规则。^{5353A New Combination Rule of Evidence Based on Evidence Conflictsciencedirect.com前往参考资料 ↓在新标签页中打开}

在对话式多模态交互中，系统对用户意图的置信度低于阈值时，通常采用澄清式追问而非强行执行，这一「低置信度触发澄清」的策略被视为降低误操作风险的关键设计。^{5454Clarifying User Intent in Spoken Dialogue Systemssciencedirect.com前往参考资料 ↓在新标签页中打开}

工业界的多模态交互规范倾向于把安全相关指令（如紧急停止、接听电话）设为不可被其他模态覆盖的最高优先级，即优先级策略在安全关键路径上优先于置信度策略。^{5555ISO 9241-910:2011 Ergonomics of human-system interaction — Framework for tactile and haptic interactioniso.org前往参考资料 ↓在新标签页中打开}

模态冲突的检测本身是一个独立环节：系统需要先判断两个模态的输出是否真的在描述同一对象或同一意图，再谈消解；若把不同指称对象的结果误判为冲突，消解机制反而会引入错误。^{5656Multimodal Machine Learning: A Survey and Taxonomyieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

有研究指出，简单的固定权重或固定优先级方案在受控实验中表现稳定，但在真实场景中不如按上下文动态调整权重的方案，因为各模态的可靠性会随环境（噪声、光照、遮挡）剧烈变化。^{5757Context-Aware Multimodal Fusion for Human-Computer Interactionieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

置信度阈值的选择本质上是精确率与召回率的权衡：阈值调高会减少误触发但增加漏检和追问次数，阈值调低则相反，因此阈值通常按应用场景的风险偏好而非统一标准设定。^{5858Threshold Selection and ROC Analysis for Detection Taskssciencedirect.com前往参考资料 ↓在新标签页中打开}

在多模态交互中，模态冲突常源于同一语义在不同通道上的不一致表达，例如语音识别文本与唇动视觉信息不符、手势指向与语音指代对象不一致。消解这类冲突的关键路径之一，是引入上下文与用户意图推断，将冲突判定从单帧、单模态层面提升到会话与任务层面。^{2727Multimodal Machine Learning: A Survey and Taxonomyarxiv.org前往参考资料 ↓在新标签页中打开}

多模态融合研究普遍将“上下文”区分为即时上下文（当前话语前后的多模态信号）、任务上下文（当前任务目标与对话历史）和环境上下文（设备、位置、场景），不同层次的上下文对冲突消解的作用不同：即时上下文用于消歧，任务上下文用于判定哪一模态更可信。^{5959Context in Multimodal Interactionoxfordre.com前往参考资料 ↓在新标签页中打开}

用户意图推断在冲突消解中的典型做法是维护一个对话状态或意图假设分布，当新到达的模态证据与既有假设冲突时，按贝叶斯或注意力加权方式更新各假设的后验概率，而非直接丢弃冲突模态。^{6060Dialogue State Tracking: A Surveyarxiv.org前往参考资料 ↓在新标签页中打开}

指代消解是多模态意图推断的典型场景：当语音说“把这个放到那里”并伴随手势时，系统需结合手势落点、对话历史与场景物体布局，推断“这个”和“那里”的具体所指，从而消解语音指代模糊与视觉指向之间的潜在冲突。^{6161Referring Expression Comprehension: A Survey of Methods and Datasetsarxiv.org前往参考资料 ↓在新标签页中打开}

在多模态对话系统中，当语音与视觉证据冲突时，系统可依据模态可靠性动态调整权重：例如在噪声环境下降低语音通道置信度、提升唇动或手势通道权重，从而在意图层面而非信号层面完成冲突消解。^{6262Multimodal Fusion for Robust Speech Recognition: A Reviewsciencedirect.com前往参考资料 ↓在新标签页中打开}

大型多模态模型的出现使意图推断从显式规则转向隐式建模：模型可在统一表示空间中联合编码文本、视觉与语音上下文，直接输出对用户意图的判定，但这也带来可解释性下降的问题——冲突消解的依据难以追溯。^{6363Multimodal Large Language Models: A Surveyarxiv.org前往参考资料 ↓在新标签页中打开}

关于上下文与意图推断在冲突消解中应做到何种粒度，研究界存在不同侧重：一类工作主张显式建模对话状态与任务结构，以便冲突消解过程可审计；另一类工作主张端到端隐式建模，认为显式状态设计会限制模型对复杂上下文的利用。^{6060Dialogue State Tracking: A Surveyarxiv.org前往参考资料 ↓在新标签页中打开|6363Multimodal Large Language Models: A Surveyarxiv.org前往参考资料 ↓在新标签页中打开}

用户意图推断在冲突消解中的效果评测，通常采用意图识别准确率与冲突消解成功率两类指标，并在包含多模态冲突样本的对话数据集上进行；评测难点在于冲突样本的标注成本高、且不同数据集的冲突类型分布差异大。^{6464MMDialog: A Large-scale Multi-turn Dialogue Dataset Towards Multi-modal Open-domain Conversationaclanthology.org前往参考资料 ↓在新标签页中打开}

语音与口型同步（lip-sync）指在多模态输出中，使合成语音的音素时序与虚拟人或机器人的口型（唇形、下颌开合）动作在时间上对齐，从而让视听两条通道呈现同一发音事件。^{6565Synchronization of Speech and Lip Motion with a Service Humanoid Robotieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

在服务型人形机器人的讲解与导览场景中，语音输出、口型动作与幻灯片切换三者需要精确同步，才能提升叙述的自然性与连贯性；相关系统通常由语音处理模块（语音合成与识别）、口型驱动模块与演示控制模块组成。^{6565Synchronization of Speech and Lip Motion with a Service Humanoid Robotieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

语音与口型同步的工程实现通常以音素或音节为对齐单元：先由文本或音素序列得到每个音素的起止时间，再据此驱动对应的视位（viseme）序列，使口型变化落在语音的时间窗内。^{6565Synchronization of Speech and Lip Motion with a Service Humanoid Robotieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

口型同步的偏差容忍度并不对称：音频领先于口型（口型滞后）通常比口型领先于音频更容易被感知为不自然，因此工程上常倾向于让口型动作略微提前或与语音严格对齐。^{6565Synchronization of Speech and Lip Motion with a Service Humanoid Robotieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

除音素级对齐外，语音与口型同步还需处理协同发音（coarticulation）问题，即相邻音素的口型会相互影响，单一音素到单一视位的静态映射往往不足以产生自然的口型过渡。^{6565Synchronization of Speech and Lip Motion with a Service Humanoid Robotieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

语音与口型同步是多模态输出与同步问题的一个具体实例，其目标与更广义的跨模态时间对齐一致：让不同模态的输出在时间轴上共享同一事件边界，避免出现可被察觉的错位。^{6565Synchronization of Speech and Lip Motion with a Service Humanoid Robotieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

视听联合生成指在同一生成过程中同时产出语音与面部动画（或视频）两类高带宽、强耦合信号，其难点不在单模态质量，而在于两类信号在时间与语义上的紧耦合：语音的音素边界、韵律起伏必须与口型、表情、头部动作逐帧对齐。^{6666VoxFace: Streaming Audio-Visual Synthesis via Relay-Style Multi-Token Prediction for Interactive Conversationieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

VoxFace 指出，多模态大模型虽在跨模态理解任务上表现良好，但其单体式架构存在固有延迟与控制难题，在生成语音与面部动画这类高带宽、需紧密同步的信号时尤为受限；为此它主张把高层认知推理与低层视听合成在策略上分离，并以接力式多 token 预测实现流式视听合成。^{6666VoxFace: Streaming Audio-Visual Synthesis via Relay-Style Multi-Token Prediction for Interactive Conversationieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

U-Mind 将实时全栈多模态交互视为构建具身智能体的核心目标，并指出现有系统要么局限于单模态生成，要么在跨模态对齐与推理质量上明显退化，难以支撑连贯且有感知依据的交互。^{6767U-Mind: A Unified Framework for Real-Time Multimodal Interaction with Audiovisual Generationar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

U-Mind 在单一框架内联合建模语言、语音、动作与视频合成，支持实时生成的多模态对话，属于把视听联合生成纳入统一对话系统的代表性尝试。^{6767U-Mind: A Unified Framework for Real-Time Multimodal Interaction with Audiovisual Generationar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

从技术路线看，视听联合生成存在两种取向：一是端到端单体式多模态大模型直接输出视听信号，二是将高层语义规划与低层视听渲染解耦、由专门模块负责同步合成；前者架构统一但延迟与控制性差，后者可控性与流式性更好但需处理模块间的接口与一致性。^{6666VoxFace: Streaming Audio-Visual Synthesis via Relay-Style Multi-Token Prediction for Interactive Conversationieeexplore.ieee.org前往参考资料 ↓在新标签页中打开|6767U-Mind: A Unified Framework for Real-Time Multimodal Interaction with Audiovisual Generationar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

在交互对话场景中，视听联合生成的评价重点从单帧画质转向流式时延、音画同步精度与长时一致性，因为用户对唇音不同步与生成卡顿的容忍度远低于对单帧细节瑕疵的容忍度。^{6666VoxFace: Streaming Audio-Visual Synthesis via Relay-Style Multi-Token Prediction for Interactive Conversationieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

在多模态交互系统中，实时性通常被定义为系统从接收用户输入到给出可感知的多模态响应之间的端到端时延；对于语音与面部动画这类高带宽、强同步的信号，端到端时延是决定交互是否自然的关键约束之一。^{6666VoxFace: Streaming Audio-Visual Synthesis via Relay-Style Multi-Token Prediction for Interactive Conversationieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

语音与面部动画属于高带宽且需要紧密同步的信号，其生成过程对时延和控制精度都提出较高要求；单体式多模态大模型架构虽然能刻画数据多样性，但其固有延迟与控制难题会限制这类紧同步信号的生成质量。^{6666VoxFace: Streaming Audio-Visual Synthesis via Relay-Style Multi-Token Prediction for Interactive Conversationieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

一种应对实时性约束的架构思路是将高层认知推理与低层音视频合成在策略上分离，由前者负责语义与对话决策、后者负责低延迟的流式信号生成，从而缓解单体模型在紧同步输出上的时延压力。^{6666VoxFace: Streaming Audio-Visual Synthesis via Relay-Style Multi-Token Prediction for Interactive Conversationieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

流式合成是降低多模态输出首包延迟的常用手段：系统不必等待完整语句或整段视频生成完毕，而是以多令牌预测等方式逐块产出音频与视觉帧，使交互对话中的响应可以边生成边播放。^{6666VoxFace: Streaming Audio-Visual Synthesis via Relay-Style Multi-Token Prediction for Interactive Conversationieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

多模态输出中的同步约束不仅指音视频之间的时间对齐，还包括输出流与用户输入节奏之间的对齐；当语音、口型与文本字幕由不同子模块分别生成时，各子模块的延迟差异会直接转化为可感知的不同步。^{6666VoxFace: Streaming Audio-Visual Synthesis via Relay-Style Multi-Token Prediction for Interactive Conversationieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

实时性约束与生成质量之间存在权衡：更激进的流式切分和更小的生成块可以压低延迟，但会削弱模型利用未来上下文的能力，可能损害语音自然度与口型一致性。^{6666VoxFace: Streaming Audio-Visual Synthesis via Relay-Style Multi-Token Prediction for Interactive Conversationieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

智能座舱是多模态交互的典型落地场景之一：座舱内同时存在语音、触控、视觉（摄像头对驾驶员与舱内环境的监测）、手势等多种输入通道，输出侧则叠加了屏幕显示、语音播报、氛围与提示音等通道，天然构成多模态输入—多模态输出的闭环。^{6868博世智能驾控接入通义大模型_央广网tech.cnr.cn前往参考资料 ↓在新标签页中打开}

2025年6月，博世宣布与阿里云在大模型领域达成深度合作，以通义大模型加速AI技术在智能座舱中的落地，并称首次实现座舱环境主动感知与3D数字人交互。^{6868博世智能驾控接入通义大模型_央广网tech.cnr.cn前往参考资料 ↓在新标签页中打开}

博世的AI智能座舱方案采用多模态技术架构，完成意图识别与舱内外环境实时感知，可支撑多模态汽车控制、知识问答和同声传译等功能；交互形态上采用3D全息数字人，以类人对话方式提升体验。^{6868博世智能驾控接入通义大模型_央广网tech.cnr.cn前往参考资料 ↓在新标签页中打开}

该座舱方案采用云+端侧混合计算架构：复杂任务放在云端处理，实时性任务放在端侧处理，以在保障隐私数据安全的前提下平衡输出效果与生成延迟——这体现了多模态交互系统在时延、算力与隐私之间的工程折中。^{6868博世智能驾控接入通义大模型_央广网tech.cnr.cn前往参考资料 ↓在新标签页中打开}

该技术原型以通义千问和通义万相为基础模型，结合阿里云百炼大模型服务平台与磐曦数字人技术构建，定位为向更多汽车厂商输出AI产品技术能力。^{6868博世智能驾控接入通义大模型_央广网tech.cnr.cn前往参考资料 ↓在新标签页中打开}

智能座舱已成为大模型厂商与汽车产业链合作的高密度场景：据阿里云方面披露，其AI基础设施与大模型技术体系已服务中国一汽、长安、上汽、广汽、比亚迪、吉利、小鹏、理想、蔚来、极氪、零跑、梅赛德斯-奔驰等主机厂，以及地平线、卓驭、黑芝麻、斑马智行等方案商。^{6868博世智能驾控接入通义大模型_央广网tech.cnr.cn前往参考资料 ↓在新标签页中打开}

在智能座舱中，多模态交互的价值不止于把语音助手做得更自然，而在于把舱内外环境感知纳入交互回路，使系统能主动发起或调整交互，而非仅被动响应指令。^{6868博世智能驾控接入通义大模型_央广网tech.cnr.cn前往参考资料 ↓在新标签页中打开}

多模态对话系统与聊天机器人已从早期纯文本问答，扩展到同时处理语音、声纹、视觉画面与数字人形象的综合交互形态；声网在 2025 年世界人工智能大会上发布的新版对话式 AI 引擎，即在原有语音交互基础上新增声纹识别、数字人与视觉理解三项能力。^{6969声网新版对话式 AI 引擎亮相 WAIC解锁声纹识别、数字人与视觉理解 | 极客公园geekpark.net前往参考资料 ↓在新标签页中打开}

声纹识别在多模态对话中的典型作用是区分不同说话者并抑制环境人声与噪声，声网称其选择性注意力锁定功能可智能屏蔽约 95% 的环境人声与噪声，从而支持多人同时与同一 AI 对话的场景。^{6969声网新版对话式 AI 引擎亮相 WAIC解锁声纹识别、数字人与视觉理解 | 极客公园geekpark.net前往参考资料 ↓在新标签页中打开}

视觉理解能力使对话机器人可以解析摄像头实时画面或用户上传的图片，结合语音指令识别手势、环境物体与特定视觉线索，形成「所见即所言」式的反馈，这是多模态对话区别于纯语音助手的关键能力之一。^{6969声网新版对话式 AI 引擎亮相 WAIC解锁声纹识别、数字人与视觉理解 | 极客公园geekpark.net前往参考资料 ↓在新标签页中打开}

数字人交互把拟真形象、表情与动作引入对话流程，用户可与屏幕中的数字人进行实时对话，用于增强临场感与情感连接，常见落地形态包括虚拟客服、教育陪伴与娱乐社交。^{6969声网新版对话式 AI 引擎亮相 WAIC解锁声纹识别、数字人与视觉理解 | 极客公园geekpark.net前往参考资料 ↓在新标签页中打开}

搭载多模态对话引擎的硬件形态已经出现，例如口袋 AI 毛绒宠物与家庭陪伴机器人，说明多模态对话系统正从手机应用向实体陪伴设备延伸。^{6969声网新版对话式 AI 引擎亮相 WAIC解锁声纹识别、数字人与视觉理解 | 极客公园geekpark.net前往参考资料 ↓在新标签页中打开}

在工程落地中，多模态对话引擎的场景需求可归纳为实时性、准确性与创造性三类：实时性决定交互自然度与可用性，准确性保障信息可靠（如车机对话须严谨以防错误指引），创造性则提供情感陪伴类场景所需的人性化温度。^{7070IM即时通讯云 - 实时音视频通话 - 网易智企·云信netease.im前往参考资料 ↓在新标签页中打开}

网易云信在 QCon 2025 的分享中提出，人类对话的神经感知机制对响应延迟较为敏感，650 至 800 毫秒的响应间隔被视为维持流畅对话的生理阈值；在车载导航、应急响应等场景中，毫秒级延迟差异可能直接影响使用效果甚至人身安全。^{7070IM即时通讯云 - 实时音视频通话 - 网易智企·云信netease.im前往参考资料 ↓在新标签页中打开}

不同应用场景对多模态对话系统的能力侧重不同：车载导航与应急响应优先实时性与准确性，情感陪伴类应用则允许更大的创造性空间以提升用户粘性，因此同一套对话引擎往往需要按场景做取舍与调优。^{7070IM即时通讯云 - 实时音视频通话 - 网易智企·云信netease.im前往参考资料 ↓在新标签页中打开}

智能虚拟人与数字人是多模态交互中面向「拟人化对话」的一类典型应用：系统同时处理语音、视觉（表情、口型、姿态）与文本，并实时生成对应的语音与面部动作输出，使用户以自然的方式与一个具有人形外观的智能体交互。^{7171虎牙CEO黄俊洪：打造数字人生态矩阵，赋能游戏内容营销_央广网tech.cnr.cn前往参考资料 ↓在新标签页中打开|7272iFlytek debuts digital human creatormobile.chinadaily.com.cn前往参考资料 ↓在新标签页中打开}

虎牙自研的实时多模态数字人基础模型 VAM1.0 基于 DiT 架构，其能力被概括为「给一张静态照片，还一个能实时说话、实时聆听、实时反应的虚拟人」，强调每一帧都在线生成而非预渲染或录播。^{7171虎牙CEO黄俊洪：打造数字人生态矩阵，赋能游戏内容营销_央广网tech.cnr.cn前往参考资料 ↓在新标签页中打开}

虎牙 CEO 黄俊洪提出，数字人从展示型产品走向实时交互型应用需要同时解决三类问题：稳态（长时间生成不崩）、拟态（表情动作足够自然）与动态（实时聆听、实时反馈、实时互动）。这一三分法可作为评估数字人交互能力的工程框架。^{7171虎牙CEO黄俊洪：打造数字人生态矩阵，赋能游戏内容营销_央广网tech.cnr.cn前往参考资料 ↓在新标签页中打开}

据虎牙在 2026 年世界人工智能大会论坛上引述的沙利文报告数据，中国数字人赛道年复合增长率达 52%，约为全球增速的 1.5 至 2 倍，亚太是最大的增量市场。^{7171虎牙CEO黄俊洪：打造数字人生态矩阵，赋能游戏内容营销_央广网tech.cnr.cn前往参考资料 ↓在新标签页中打开}

行业落地存在明显落差：多数数字人仍停留在照脚本念的阶段，能说不能听、能输出不能互动，短时视频尚可而长时间直播难以支撑，这构成实时多模态交互数字人的主要技术门槛。^{7171虎牙CEO黄俊洪：打造数字人生态矩阵，赋能游戏内容营销_央广网tech.cnr.cn前往参考资料 ↓在新标签页中打开}

科大讯飞发布「超写实数字人实时生成技术」平台，把数字人制作从传统约两小时的人体视频采集与较长训练周期，压缩为仅需一张静态照片即可即时生成，并带有自然的面部表情、手势与口型同步。^{7272iFlytek debuts digital human creatormobile.chinadaily.com.cn前往参考资料 ↓在新标签页中打开}

科大讯飞该平台的推出被视为从被动视觉化身（passive visual avatar）向主动、智能的数字劳动力（digital workforce）转变的标志，生成式 AI 正在改变虚拟交互的经济性，使数字人具备更广泛的商业应用可能。^{7272iFlytek debuts digital human creatormobile.chinadaily.com.cn前往参考资料 ↓在新标签页中打开}

在游戏与直播娱乐场景中，数字人已被用于 7×24 小时不间断运转的内容生产与互动，这类高时长、强实时的场景是检验多模态数字人稳态与动态能力的主要试验场。^{7171虎牙CEO黄俊洪：打造数字人生态矩阵，赋能游戏内容营销_央广网tech.cnr.cn前往参考资料 ↓在新标签页中打开}

在消费体验研究中，多模态界面配置被操作化为具体模态组合的对照实验：一项发表于 Scientific Reports 的研究以「文本＋语音＋动画虚拟人」的同步多模态界面与「纯文本」最小模态基线作对比，在搜索、评估、购后三个旅程阶段测量消费者满意度，采用组间在线实验，招募 320 人、筛选后保留 312 份有效样本。^{7373The impact of a synchronized multimodal AI interface configuration on consumer experience journey and satisfaction - Scientific Reportsnature.com前往参考资料 ↓在新标签页中打开}

该研究以线索利用理论、临场感理论与消费者旅程框架为理论基础，指出既有研究多孤立考察单一模态，而特定丰富多模态界面配置相对于最小模态基线在不同旅程阶段的比较效应仍研究不足，这正是界面配置研究要填补的空白。^{7373The impact of a synchronized multimodal AI interface configuration on consumer experience journey and satisfaction - Scientific Reportsnature.com前往参考资料 ↓在新标签页中打开}

界面配置的模态选择会随消费场景的任务性质而变化：在需要「所见即所购」的即时购物场景中，视觉识别与语音指令构成核心模态对，京东科技发布的购物智能体 JoyGlance 即通过注视物品 1 至 2 秒完成商品识别、以语音完成选择与支付，全程无需手机辅助。^{7474京东科技发布购物智能体“JoyGlance” 打造购物新入口m.cnstock.com前往参考资料 ↓在新标签页中打开}

面向老年用户等数字弱势群体，自然语言语音交互被作为降低界面使用门槛的配置手段：京东科技方面表示，不会使用智能手机的老人也可以通过自然语言购物，买到生活中看到的物品，这使语音模态在界面配置中兼具可达性价值。^{7474京东科技发布购物智能体“JoyGlance” 打造购物新入口m.cnstock.com前往参考资料 ↓在新标签页中打开}

在涉及支付的消费界面中，多模态配置同时承担安全职能：JoyGlance 采用多模态生物特征融合技术，支持用户自主设定语义关键词并结合声纹特征进行双重验证，并称在防录音攻击、防声纹合成等攻防测试中表现良好，以满足金融级安全场景需求。^{7474京东科技发布购物智能体“JoyGlance” 打造购物新入口m.cnstock.com前往参考资料 ↓在新标签页中打开}

线下零售与展陈场景出现了「透明屏＋数字人」的界面配置形态：移动数字人透明屏在一块屏幕上叠加两个维度，透过屏幕可见真实商品与实物展品，屏幕之上由 AI 数字人进行讲解与演示，被用于零售门店、博物馆展柜与汽车展厅等场景。^{7575绉诲姩鏁板瓧浜洪€忔槑灞忓満鏅�,绉诲姩鏁板瓧浜洪€忔槑灞忔妧鏈�,绉诲姩鏁板瓧浜洪€忔槑灞忚矾寰�,璁AI铏氭嫙浜�virtual-man.xfyun.cn前往参考资料 ↓在新标签页中打开}

此类透明屏数字人界面的配置依赖三重技术配合：透光率 70% 以上的 OLED 面板保证实物清晰可见，深度学习驱动的 3D 数字人实现表情与口型同步，AI 大模型提供对话理解与情绪感知能力，三者合一构成虚实叠加的交互形态。^{7575绉诲姩鏁板瓧浜洪€忔槑灞忓満鏅�,绉诲姩鏁板瓧浜洪€忔槑灞忔妧鏈�,绉诲姩鏁板瓧浜洪€忔槑灞忚矾寰�,璁AI铏氭嫙浜�virtual-man.xfyun.cn前往参考资料 ↓在新标签页中打开}

多模态感知与传感器是支撑多模态交互的底层环节，其任务是把语音、视觉、触觉、生理信号等异构物理量转换为可供后续融合与理解使用的数字信号；在机器人人机交互场景中，这一环节直接决定了系统能否理解并响应人的行为。^{7676Multi-Modal and Multi-Aspect Holistic Human-Robot Interaction | HORIZON | CORDIS | Europäische Kommissioncordis.europa.eu前往参考资料 ↓在新标签页中打开}

欧盟地平线项目 FORTIS（Multi-Modal and Multi-Aspect Holistic Human-Robot Interaction，项目编号 101135707）把多模态、以人为中心的人机交互解决方案作为目标，强调在认知、情感与物理三个层面整合交互能力，而非仅依赖单一传感通道。^{7676Multi-Modal and Multi-Aspect Holistic Human-Robot Interaction | HORIZON | CORDIS | Europäische Kommissioncordis.europa.eu前往参考资料 ↓在新标签页中打开}

FORTIS 在首个报告期（2024-01-01 至 2024-12-31）的工作集中在工具包初始架构与设计、试点用例分析以及利益相关方需求分析上，这些基础活动被视为后续实现阶段的前提。^{7676Multi-Modal and Multi-Aspect Holistic Human-Robot Interaction | HORIZON | CORDIS | Europäische Kommissioncordis.europa.eu前往参考资料 ↓在新标签页中打开}

FORTIS 计划在建筑、基础设施服务与制造等真实环境中开展大规模演示，并探索医疗、公共空间与零售等民用交互场景，以验证其多模态人机协作技术的适用性与接受度。^{7676Multi-Modal and Multi-Aspect Holistic Human-Robot Interaction | HORIZON | CORDIS | Europäische Kommissioncordis.europa.eu前往参考资料 ↓在新标签页中打开}

从 FORTIS 的用例分布可以看出，多模态感知与传感器的选型高度依赖部署场景：工业与建筑场景更关注安全与生产率相关的行为感知，医疗与公共空间场景则更关注自然、低门槛的交互感知通道。^{7676Multi-Modal and Multi-Aspect Holistic Human-Robot Interaction | HORIZON | CORDIS | Europäische Kommissioncordis.europa.eu前往参考资料 ↓在新标签页中打开}

多模态大语言模型（MLLM）以单一（单体）架构统一处理多种模态数据，在跨模态理解类任务上表现出色，这使其成为多模态交互系统中承担语义理解与高层推理的核心组件。^{6666VoxFace: Streaming Audio-Visual Synthesis via Relay-Style Multi-Token Prediction for Interactive Conversationieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

单体式 MLLM 架构在生成语音、面部动画这类高带宽、需严格同步的信号时，存在固有的时延与控制难题，限制了其在实时交互场景中的通用性；这促使研究者把高层认知推理与低层音视频合成拆分开来，由 MLLM 负责前者、专用合成模块负责后者。^{6666VoxFace: Streaming Audio-Visual Synthesis via Relay-Style Multi-Token Prediction for Interactive Conversationieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

面向全模态认知的 MLLM 研究正从单一领域能力向多领域通用能力扩展，但早期全模态模型对语音模态挖掘不足，未把语音与视觉等其他模态充分整合；Lyra 一类工作因此以语音为中心重构多模态能力，覆盖长语音理解、声音理解、跨模态效率与无缝语音交互。^{7777LYRA: An Efficient and Speech-Centric Framework for Omni-Cognitionieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

为兼顾效率与语音能力，Lyra 采用三类策略，其中包括复用已有开源大模型作为基础，而非从零训练全模态模型，以降低多模态交互系统的训练与部署成本。^{7777LYRA: An Efficient and Speech-Centric Framework for Omni-Cognitionieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

在多模态交互的工程实现上，MLLM 通常不直接输出连续的音视频波形，而是作为语义与决策层，把理解结果交给下游的语音合成、动画驱动等模块；这种分层设计是当前实时交互式音视频生成系统的常见做法。^{6666VoxFace: Streaming Audio-Visual Synthesis via Relay-Style Multi-Token Prediction for Interactive Conversationieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

意图理解与意图锚定是多模态交互系统中的关键环节：前者指系统从语音、文本、手势、视线、表情等多种信号中推断用户想要完成的任务或达成的目标；后者指把推断出的意图绑定到具体的指代对象、界面元素或执行动作上，使模糊的多模态输入获得可执行的落点。^{7878Multimodal Interactioninteraction-design.org前往参考资料 ↓在新标签页中打开|7979Multimodal human–computer interaction: A surveysciencedirect.com前往参考资料 ↓在新标签页中打开}

在指代解析研究中，多模态指代（如“把那个放到这里”配合手势或视线）的消解通常被建模为候选对象与多模态上下文之间的匹配打分问题，系统需要在图像区域、对话历史与手势轨迹之间建立对应关系，这正是意图锚定的典型形式。^{8080Modeling Context in Referring Expressionsarxiv.org前往参考资料 ↓在新标签页中打开|6161Referring Expression Comprehension: A Survey of Methods and Datasetsarxiv.org前往参考资料 ↓在新标签页中打开}

经典的多模态指代消解数据集与基准（如将自然语言指代表达与图像区域配对的 RefCOCO 系列、以及面向对话场景的视觉指代任务）为意图锚定提供了可量化的评测基础，使“语言指向哪个对象”这一问题可以被系统性地测量。^{8080Modeling Context in Referring Expressionsarxiv.org前往参考资料 ↓在新标签页中打开|8181Visual Dialogarxiv.org前往参考资料 ↓在新标签页中打开}

在具身与机器人交互中，意图锚定进一步扩展到空间层面：系统需要把“把杯子递给我”这类指令中的指代对象与三维场景中的实体、以及接收位置（用户手部或指定坐标）绑定，常通过视觉定位与抓取位姿估计联合完成。^{8282ALFRED: A Benchmark for Interpreting Grounded Instructions for Everyday Tasksarxiv.org前往参考资料 ↓在新标签页中打开|8383RT-1: Robotics Transformer for Real-World Control at Scalearxiv.org前往参考资料 ↓在新标签页中打开}

大型多模态模型的出现使意图理解从“分模块流水线”转向“端到端联合推理”：模型直接以图像、语音、文本为输入输出结构化动作或指代结果，减少了对独立意图分类器和槽位填充器的依赖，但也带来了可解释性与可控性方面的新的工程问题。^{8484Visual Instruction Tuning (LLaVA)arxiv.org前往参考资料 ↓在新标签页中打开|8585GPT-4 Technical Reportarxiv.org前往参考资料 ↓在新标签页中打开}

意图锚定中的歧义与冲突（如手势指向与语言描述不一致、视线落点与语音指代对象不同）是实际系统必须处理的常态问题，常见做法包括多信号置信度加权、对话澄清追问以及基于上下文先验的候选剪枝。^{4949Multimodal Interfaces: A Survey of Principles, Models and Frameworkslink.springer.com前往参考资料 ↓在新标签页中打开|2727Multimodal Machine Learning: A Survey and Taxonomyarxiv.org前往参考资料 ↓在新标签页中打开}

在评测层面，意图理解与锚定的效果通常以指代解析准确率、候选排序指标（如 Recall@k、mIoU）以及端到端任务成功率来衡量，不同数据集与任务设定之间的指标不可直接横向比较。^{8080Modeling Context in Referring Expressionsarxiv.org前往参考资料 ↓在新标签页中打开|8686Grounding Referring Expressions in Images by Variational Contextarxiv.org前往参考资料 ↓在新标签页中打开}

在多模态交互评测中，交互自然度与交互效率通常被拆成两个独立但并列的能力维度来打分：AGI-Eval 面向实时视频通话产品的跨模态交互开箱评测，把模型能力拆为「交互-实时性」「交互-自然度」「交互-主动性」「交互-便利性」以及三项认知类指标共七大类，其中实时性与自然度分列不同维度，说明评测方并不把「像人」与「快」混为一谈。^{8787【AGI-Eval评测报告NO.4】多模态开箱评测，五大厂商跨模态 battle 谁更强？-腾讯云开发者社区-腾讯云cloud.tencent.cn前往参考资料 ↓在新标签页中打开}

交互自然度在实操评测中往往被进一步分解为可观察的子项，例如回复内容的口语化程度、拟人程度，以及是否在恰当的对话节点作出响应；AGI-Eval 的报告即以「口语化及拟人程度较高」「语音表现的拟人度稍差」「在响应的节点上存在部分瑕疵」这类描述来区分不同模型在自然度上的表现。^{8787【AGI-Eval评测报告NO.4】多模态开箱评测，五大厂商跨模态 battle 谁更强？-腾讯云开发者社区-腾讯云cloud.tencent.cn前往参考资料 ↓在新标签页中打开}

交互效率在实时多模态场景下主要体现为响应时延与响应时机是否合理，而非一味求快：AGI-Eval 的评测把「响应时间合理、仅个别情况回复过快」视为正面表现，把回复过快本身当作需要指出的问题，表明自然度与效率之间存在需要平衡的张力。^{8787【AGI-Eval评测报告NO.4】多模态开箱评测，五大厂商跨模态 battle 谁更强？-腾讯云开发者社区-腾讯云cloud.tencent.cn前往参考资料 ↓在新标签页中打开}

面向视频通话的跨模态交互评测通常采用任务化、限时的多轮对话方案：待测产品需在约 3 分钟时间内与用户完成实时视频交互形式下的多轮次对话，数据覆盖「情感陪伴」与「专业咨讯」两类生活常见场景，再由人工分析多轮对话内容给出定性结论。^{8787【AGI-Eval评测报告NO.4】多模态开箱评测，五大厂商跨模态 battle 谁更强？-腾讯云开发者社区-腾讯云cloud.tencent.cn前往参考资料 ↓在新标签页中打开}

多模态人机交互评估的方法学综述把效率、准确性与用户体验及满意度并列为多维度评估指标体系的组成部分，并指出应结合案例分析揭示现行评估方法的应用场景与局限性，为评估工具选择提供实证指导。^{8888计算机与网络jsyw.cbpt.cnki.net前往参考资料 ↓在新标签页中打开}

现有跨模态交互开箱评测多以少量头部模型、小样本场景下的定性排序呈现结果，例如 AGI-Eval 以平均排名（Average Ranking）对五款支持实时视频对话的模型分梯队，这类排名反映的是特定评测方案下的相对表现，而非可跨方案复用的绝对自然度或效率分数。^{8787【AGI-Eval评测报告NO.4】多模态开箱评测，五大厂商跨模态 battle 谁更强？-腾讯云开发者社区-腾讯云cloud.tencent.cn前往参考资料 ↓在新标签页中打开}

交互自然度与效率的度量目前仍以人工观察与主观打分为主，缺乏统一的客观量化口径：AGI-Eval 的方案明确产出的是「初步定性评测结论」，而综述类研究亦把评估指标体系的构建与局限性列为核心议题，说明该维度尚未形成公认的标准指标。^{8787【AGI-Eval评测报告NO.4】多模态开箱评测，五大厂商跨模态 battle 谁更强？-腾讯云开发者社区-腾讯云cloud.tencent.cn前往参考资料 ↓在新标签页中打开|8888计算机与网络jsyw.cbpt.cnki.net前往参考资料 ↓在新标签页中打开}

模态融合效果评估的核心问题不是单个模态各自的表现，而是融合后系统在准确率、鲁棒性与效率上相对单模态基线是否产生增益；因此评测设计通常需要设置单模态基线、早期融合与晚期融合等对照条件，才能把融合带来的增量与骨干模型本身的提升区分开。^{8989CN120744815A - 一种多模态信息界面复杂度评估方法和评估系统 - Google Patentspatents.google.com前往参考资料 ↓在新标签页中打开}

在面向多模态信息界面的评估实践中，已有专利方案把界面的多模态复杂度拆解为可计算的量化指标，例如以感官模态数量 Ns 统计界面中实际启用的视觉、听觉、触觉、嗅觉等通道数（遍历 m 种预设模态，使用记 1、否则记 0 后累加），并以符号模态类型 Tm 分类统计静态文本、静态图标、静态图形等符号元素类型，从而把“多模态程度”转化为可比较的数值。^{8989CN120744815A - 一种多模态信息界面复杂度评估方法和评估系统 - Google Patentspatents.google.com前往参考资料 ↓在新标签页中打开}

上述专利给出的感官模态计数方式说明：多模态评估指标在工程落地中往往采用离散计数而非连续权重，即只判断某模态是否存在而不衡量其信息贡献大小，这类指标适合刻画界面复杂度，但不能直接等同于融合质量或融合收益。^{8989CN120744815A - 一种多模态信息界面复杂度评估方法和评估系统 - Google Patentspatents.google.com前往参考资料 ↓在新标签页中打开}

模态融合效果评估需要区分“融合是否有效”与“融合是否必要”两个层次：前者看融合结果是否优于最优单模态，后者看任务在单模态条件下是否已足够；仅报告融合后总体指标而不报告单模态上限，会使评估无法判断融合模块的真实贡献。^{8989CN120744815A - 一种多模态信息界面复杂度评估方法和评估系统 - Google Patentspatents.google.com前往参考资料 ↓在新标签页中打开}

由于多模态系统的输入通道数量、符号元素类型与感官通道组合会显著改变系统复杂度，评测报告若不同时披露模态构成（如包含哪些感官模态、各模态的元素类型分布），不同系统之间的融合效果数字将缺乏可比性。^{8989CN120744815A - 一种多模态信息界面复杂度评估方法和评估系统 - Google Patentspatents.google.com前往参考资料 ↓在新标签页中打开}

在多模态人机交互评估中，用户体验与满意度被作为与效率、准确性并列的多维度评估指标之一，纳入评估指标体系的构建。^{8888计算机与网络jsyw.cbpt.cnki.net前往参考资料 ↓在新标签页中打开}

针对多模态人机交互的评估综述指出，现行评估方法各有其适用场景与局限，评估工具的选择需要依据具体场景进行实证判断，而非存在单一通用方案。^{8888计算机与网络jsyw.cbpt.cnki.net前往参考资料 ↓在新标签页中打开}

用户体验与满意度属于主观构念，通常通过问卷、量表与访谈等自报告方式测量，其结果受被试个体差异与实验情境影响，因此常与任务完成时间、错误率等客观行为指标配合使用以相互印证。^{8888计算机与网络jsyw.cbpt.cnki.net前往参考资料 ↓在新标签页中打开}

在多模态大模型处理音频与文本冲突输入时，模型普遍表现出对文本模态的系统性偏好：当音频与文本内容不一致时，模型往往采信文本而忽略音频证据，导致以音频为中心的任务性能显著下降。这一现象在大型音频语言模型（LALM）上被系统评测所证实，并被视为实际部署中的可靠性隐患。^{9696When Audio and Text Disagree: Revealing Text Bias in Large Audio-Language Modelsaclanthology.org前往参考资料 ↓在新标签页中打开}

音频-文本冲突下的文本主导并非源于音频信息质量不足：在受控基准 ALME（涵盖 8 种语言、57,602 条音频-文本冲突刺激）上，Gemini 2.0 Flash 在音频-文本冲突下的文本主导率为 16.6%，而在可靠性线索相同的文本-文本冲突下仅为 1.6%；同时纯音频准确率（97.2%）高于级联（语音转写再处理）准确率（93.9%），说明音频嵌入保留的信息多于文本转写。^{9797When Audio-LLMs Don’t Listen:A Cross-Linguistic Study of Modality Arbitrationar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

针对文本主导的缓解手段效果差异明显：将文本标注为“故意损坏”的认知框架（epistemic framing）可使文本主导率下降约 80%，而强制模型先做语音转写反而使文本主导上升约 14%，提示降低对文本的信任比改善音频可及性更有效。^{9797When Audio-LLMs Don’t Listen:A Cross-Linguistic Study of Modality Arbitrationar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

模态冲突处理中的偏好并非固定偏置，而可分解为“个案相关的相对偏好不确定性”与“稳定的固有偏好”两部分；在多种多模态大模型与基准上，模型跟随某一模态的概率随该模态相对偏好不确定性的上升而持续下降，据此可定义一个偏好势均力敌的“平衡点”，作为与能力解耦的模态偏置度量。^{9898ICML Poster Beyond Fixed Biases: Decoding the Role of Reasoning Uncertainty in MLLM Modality Conflictsicml.cc前往参考资料 ↓在新标签页中打开}

模态冲突处理的可靠性争议之一在于：文本主导究竟应被理解为模型架构与训练数据造成的固有偏置，还是仲裁机制在可及性上的不对称——即模型并非不掌握音频信息，而是在冲突裁决时更难调用音频证据。前者指向通过数据与对齐修正偏置，后者指向改造仲裁与提示机制，两条路线对评测指标与缓解策略的取舍不同。^{9696When Audio and Text Disagree: Revealing Text Bias in Large Audio-Language Modelsaclanthology.org前往参考资料 ↓在新标签页中打开|9797When Audio-LLMs Don’t Listen:A Cross-Linguistic Study of Modality Arbitrationar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开|9898ICML Poster Beyond Fixed Biases: Decoding the Role of Reasoning Uncertainty in MLLM Modality Conflictsicml.cc前往参考资料 ↓在新标签页中打开}

现有证据表明，模态冲突处理的可靠性评测仍以受控构造的冲突刺激为主，跨语言、跨任务与跨模型家族的覆盖有限，且多数结论来自少数商用或开源模型的单点评测，尚不足以支撑对真实开放场景下冲突处理可靠性的普遍结论。^{9696When Audio and Text Disagree: Revealing Text Bias in Large Audio-Language Modelsaclanthology.org前往参考资料 ↓在新标签页中打开|9797When Audio-LLMs Don’t Listen:A Cross-Linguistic Study of Modality Arbitrationar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

多模态交互系统若要在真实环境中持续感知用户状态，往往需要长期开启摄像头、麦克风、可穿戴传感器等采集通道，由此产生的隐私暴露面远大于单次、单模态的交互方式；欧盟《通用数据保护条例》（GDPR）第5条确立的数据最小化与目的限制原则，要求个人数据的收集限于实现特定目的所必需的范围，这与持续感知所需的广域、长时采集之间存在结构性张力。^{9999Regulation (EU) 2016/679 (General Data Protection Regulation)eur-lex.europa.eu前往参考资料 ↓在新标签页中打开|100100Article 5 GDPR: Principles relating to processing of personal dataeur-lex.europa.eu前往参考资料 ↓在新标签页中打开}

GDPR 第9条将生物识别数据（用于唯一识别自然人的）列为特殊类别个人数据，原则上禁止处理，除非满足第9条第2款的例外情形（如明示同意、重大公共利益等）；而多模态交互中的人脸识别、声纹识别、步态识别等模态恰恰以生物特征为输入，因此这类系统的合规门槛显著高于仅处理行为或环境数据的系统。^{9999Regulation (EU) 2016/679 (General Data Protection Regulation)eur-lex.europa.eu前往参考资料 ↓在新标签页中打开}

欧盟《人工智能法案》（Regulation (EU) 2024/1689）于2024年8月1日生效，其中将实时远程生物识别、情绪识别等与持续感知密切相关的用途纳入高风险或禁止性类别，并对工作场所与教育场景中的情绪识别作出限制；这直接约束了多模态交互在公共空间与雇佣场景中的持续感知部署。^{101101Regulation (EU) 2024/1689 (Artificial Intelligence Act)eur-lex.europa.eu前往参考资料 ↓在新标签页中打开}

美国联邦层面没有统一的综合性隐私立法，持续感知类多模态系统的合规主要依赖部门性法规与州法拼图，例如伊利诺伊州《生物信息隐私法》（BIPA）要求收集生物标识符前取得书面告知与书面同意，并允许私人诉讼；这种碎片化格局使同一套多模态感知产品在不同司法辖区的合规成本差异很大。^{102102Biometric Information Privacy Act, 740 ILCS 14ilga.gov前往参考资料 ↓在新标签页中打开}

围绕持续感知的争议之一在于“告知—同意”机制是否有效：多模态系统常在家庭、办公、零售等场景中长期后台运行，用户难以对每一次采集形成具体认知，同意容易流于形式；批评者据此主张对持续感知场景引入更严格的目的限定与退出机制，而产业界则强调通过设备端处理、数据脱敏与透明仪表盘来降低风险，双方对同意机制能否单独承担治理责任存在分歧。^{103103Privacy and Security in Multi-Modal Sensing: A Surveyarxiv.org前往参考资料 ↓在新标签页中打开|104104Informed Consent in the Age of Pervasive Sensingpetsymposium.org前往参考资料 ↓在新标签页中打开}

设备端（on-device）处理与联邦学习被广泛提出作为缓解持续感知隐私风险的技术路径：将原始音视频留在本地、只上传特征或梯度，可减少中心化数据汇聚带来的泄露后果；但这类方案并不能消除推断风险，模型更新与特征本身仍可能泄露敏感属性，因此被视为降低而非消除隐私暴露。^{105105Federated Learning: Challenges, Methods, and Future Directionsarxiv.org前往参考资料 ↓在新标签页中打开|106106On-Device Machine Learning: An Algorithms and Learning Theory Perspectivearxiv.org前往参考资料 ↓在新标签页中打开}

多模态融合会放大隐私风险：单一模态（如仅音频）可能不构成生物识别，但音频与视频、步态、心率等模态融合后，可推断出身份、情绪、健康状况等敏感属性，形成“聚合效应”；GDPR 序言第26条即指出，相互关联的数据聚合后可能产生比单独数据更高的风险。^{9999Regulation (EU) 2016/679 (General Data Protection Regulation)eur-lex.europa.eu前往参考资料 ↓在新标签页中打开|2727Multimodal Machine Learning: A Survey and Taxonomyarxiv.org前往参考资料 ↓在新标签页中打开}

持续感知还引发旁观者（bystander）隐私问题：在家庭、车载、公共场所部署的多模态交互设备会采集未直接使用该设备的第三方的声音与影像，这些第三方通常无法给出同意；学界与监管讨论中，旁观者同意被视为持续感知治理中最难处理的缺口之一。^{103103Privacy and Security in Multi-Modal Sensing: A Surveyarxiv.org前往参考资料 ↓在新标签页中打开|107107Bystander Privacy in the Age of Smart Devicesieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

围绕“持续感知是否应默认开启”的争论，还涉及可用性与隐私的权衡：支持默认开启者认为这是多模态交互实现自然唤醒与情境理解的前提，反对者则认为默认开启使采集成为常态、关闭成为例外，削弱了用户的实际控制力；这一分歧在行业规范与学术讨论中均有体现。^{104104Informed Consent in the Age of Pervasive Sensingpetsymposium.org前往参考资料 ↓在新标签页中打开}

支持多模态路线的一方通常诉诸「能力上限」论证：大语言模型具备理解、生成乃至推理信息的能力，使对话智能体可以同时处理文本、语音、图像与视频等多种媒介内容，从而支撑更具表现力和上下文针对性的对话，这一论证构成「多模态优于单模态」主张的主要依据。^{108108Multimodal Conversational AI in the Era of Large Language Models: Challenges, Trends, and Research Opportunitiesxplorestaging.ieee.org前往参考资料 ↓在新标签页中打开}

质疑多模态必然优越的一方则指出，多模态并非没有代价的增益：当规模定律（Scaling Law）逼近物理极限时，把多模态当作破局手段可能只是既有路线的延伸而非质变，且业界可能存在高估智能体自主化程度、低估 AI 社会影响的倾向，因此「更多模态」不等于「更好交互」。^{109109WAIC五位首席科学家交锋：多模态是LLM的“外挂”，还是下一代智能的“灵魂”？-36氪36kr.com前往参考资料 ↓在新标签页中打开}

从研究议程看，多模态对话 AI 的综述工作把模态融合列为核心议题之一，同时把挑战与研究方向并列讨论，这本身反映出该领域尚未收敛：多模态交互的收益依赖于融合机制的设计质量，而非模态数量的简单叠加。^{108108Multimodal Conversational AI in the Era of Large Language Models: Challenges, Trends, and Research Opportunitiesxplorestaging.ieee.org前往参考资料 ↓在新标签页中打开}

就现有公开材料而言，尚缺乏在同一任务、同一评测口径下系统比较大模型多模态交互与单模态交互优劣的结论性证据，因此「多模态必然优于单模态」应被视为待检验的假设而非既定事实。^{108108Multimodal Conversational AI in the Era of Large Language Models: Challenges, Trends, and Research Opportunitiesxplorestaging.ieee.org前往参考资料 ↓在新标签页中打开|109109WAIC五位首席科学家交锋：多模态是LLM的“外挂”，还是下一代智能的“灵魂”？-36氪36kr.com前往参考资料 ↓在新标签页中打开}