openSMILE
- 全称
- open-source Speech and Music Interpretation by Large-space Extraction
- 类型
- 开源声学特征提取工具包
- 开发方
- audEERING(最初源于慕尼黑工业大学)
- 首次发布
- 2010 年(ACM Multimedia 演示论文)
- 主要版本
- 2.x、3.0
- 编程语言
- C++(核心),提供 Python 等接口
- 许可
- 开源(研究用途免费,商业用途需授权)
- 典型特征集
- ComParE 2016(超过 6000 维特征)
- 主要用途
- 情感语音分析、副语言特征提取、语音与音乐分类
openSMILE 的全称是 open-source Speech and Music Interpretation by Large-space Extraction,是一个完整的开源音频分析、处理与分类工具包。11openSMILE READMEraw.githubusercontent.com前往参考资料 ↓在新标签页中打开
openSMILE 最初在 2010 年 ACM Multimedia 会议上以演示论文形式公开,强调研究系统与实时系统使用同一套特征提取代码。22openSMILE: the Munich versatile and fast open-source audio feature extractordl.acm.org前往参考资料 ↓在新标签页中打开
背景与定位

情感计算与副语言分析的需求
情感计算(affective computing)的目标是让机器识别、表达与响应人类情感状态,而语音是其中最主要的非接触式信号通道之一;副语言分析(paralinguistic analysis)则关注说话方式而非字面内容,如音高、响度、语速、音质与停顿等。这两类研究共同构成了对「从语音中自动提取可解释声学描述量」的持续需求。66openSMILE – Wikipediade.wikipedia.org前往参考资料 ↓在新标签页中打开
openSMILE 的全称是「Speech & Music Interpretation by Large-space Extraction」,其定位是开源的音频信号自动特征提取与语音、音乐信号分类软件,主要面向自动语音与情感相关分析场景。66openSMILE – Wikipediade.wikipedia.org前往参考资料 ↓在新标签页中打开
在 openSMILE 出现之前,副语言与情感语音研究普遍依赖各自实现的脚本拼装声学特征,特征定义、窗长、平滑与归一化方式各不相同,导致不同研究之间的结果难以复现与横向比较;对一套统一定义、可批量运行的特征提取工具的需求由此凸显。66openSMILE – Wikipediade.wikipedia.org前往参考资料 ↓在新标签页中打开
openSMILE 由 audEERING GmbH 开发维护,2010 年首次发布,采用 C++ 编写,可运行于 Linux、macOS、Windows、Android 与 iOS,并以开源与专有双轨方式授权。66openSMILE – Wikipediade.wikipedia.org前往参考资料 ↓在新标签页中打开
情感计算与副语言分析对特征提取工具提出了三项典型要求:一是覆盖韵律、频谱、音质等多类声学参数;二是能在长时录音上稳定、高效地批量计算;三是特征定义需固定且可复现,以便跨语料、跨语言比较。openSMILE 的设计取向正是围绕这三点展开。66openSMILE – Wikipediade.wikipedia.org前往参考资料 ↓在新标签页中打开
副语言与情感语音研究长期存在一个方法学争论:一派主张使用大规模、低层、通用的声学特征集(由工具自动生成,交由分类器筛选),另一派主张针对具体任务手工设计少量有理论依据的韵律或音质参数。前者可复现性强但维度高、可解释性弱,后者解释性好但难以跨任务迁移。66openSMILE – Wikipediade.wikipedia.org前往参考资料 ↓在新标签页中打开
对立说法支持大规模通用特征集的一方认为,统一的特征定义与自动化提取是保证可复现性和跨语料可比性的前提,手工定制特征难以规模化。66openSMILE – Wikipediade.wikipedia.org前往参考资料 ↓在新标签页中打开
对立说法支持手工设计特征的一方认为,低层特征集维度高、冗余大,容易过拟合小规模情感语料,且缺乏对情感机制的物理解释。66openSMILE – Wikipediade.wikipedia.org前往参考资料 ↓在新标签页中打开
实时性与大特征空间
openSMILE 的定位是「大规模特征空间抽取」(Large feature-space Extraction),其名称即来自这一设计取向:以模块化、可配置的组件链,从音频等信号中一次性生成维度很高的特征向量,供机器学习使用。77.. _about-opensmile: About openSMILE ================ We start introducing openSMILE by addressing two important questions foraw.githubusercontent.com前往参考资料 ↓在新标签页中打开
openSMILE 用纯 C++ 实现,组件高度抽象、以流水线方式串联,因此同一套抽取框架除音频外也可用于生理信号、视觉信号等其它模态,只要提供合适的输入组件。77.. _about-opensmile: About openSMILE ================ We start introducing openSMILE by addressing two important questions foraw.githubusercontent.com前往参考资料 ↓在新标签页中打开
openSMILE 的核心设计目标之一是「增量式、快速地」抽取大规模音频特征空间,并在此基础上实时地应用机器学习方法做分类与分析;实时性因此不是事后附加的优化,而是工具最初就写进架构的诉求。88openSMILE:) The Munich Open-Source Large-scale Multimedia Feature Extractor – ACM SIGMM Recordsrecords.sigmm.org前往参考资料 ↓在新标签页中打开
openSMILE 把音乐信息检索与语音处理两方面的声学特征,以及基础计算机视觉特征,整合进同一个抽取框架,使大特征空间的构造不必在多个工具之间拼接。88openSMILE:) The Munich Open-Source Large-scale Multimedia Feature Extractor – ACM SIGMM Recordsrecords.sigmm.org前往参考资料 ↓在新标签页中打开
openSMILE 同时提供离线与在线的归一化能力(均值-方差归一化、范围归一化均含离线和在线两种模式),以及 Delta 回归系数、加权差分等时序派生特征;这些在线模式是它能在流式场景下维持实时处理的关键机制。77.. _about-opensmile: About openSMILE ================ We start introducing openSMILE by addressing two important questions foraw.githubusercontent.com前往参考资料 ↓在新标签页中打开
openSMILE 附带若干参考与基线特征集,这些特征集曾被用于 2009 至 2014 年的 INTERSPEECH 情感、副语言与说话人状态/特质挑战赛;与同类特征抽取工具相比,开箱即用的标准大特征集被视为它的主要优势之一。88openSMILE:) The Munich Open-Source Large-scale Multimedia Feature Extractor – ACM SIGMM Recordsrecords.sigmm.org前往参考资料 ↓在新标签页中打开
「实时性」与「大特征空间」在 openSMILE 中构成一对需要权衡的目标:特征维度越高、派生统计量越多,单帧计算与内存开销越大,实时余量越小;openSMILE 的做法是靠 C++ 实现与增量式计算来同时逼近两者,而非牺牲其中一方。77.. _about-opensmile: About openSMILE ================ We start introducing openSMILE by addressing two important questions foraw.githubusercontent.com前往参考资料 ↓在新标签页中打开|88openSMILE:) The Munich Open-Source Large-scale Multimedia Feature Extractor – ACM SIGMM Recordsrecords.sigmm.org前往参考资料 ↓在新标签页中打开
对立说法也有观点认为,在标准大特征集(如含大量函数统计量与 Delta 的高维配置)下,实时性主要取决于硬件与配置裁剪,openSMILE 本身并不保证高维配置下的实时表现,因此「同时逼近两者」更像是设计意图而非普遍成立的工程结论。88openSMILE:) The Munich Open-Source Large-scale Multimedia Feature Extractor – ACM SIGMM Recordsrecords.sigmm.org前往参考资料 ↓在新标签页中打开
历史与版本演进
2010 年首次发布
openSMILE 的首次公开发布可追溯至 2010 年,当时以开源软件形式发布,旨在为语音与情感计算研究提供一套完整的音频特征提取工具。22openSMILE: the Munich versatile and fast open-source audio feature extractordl.acm.org前往参考资料 ↓在新标签页中打开|99openSMILE — audEERINGaudeering.com前往参考资料 ↓在新标签页中打开
2010 年发布的 openSMILE 版本已包含其核心的模块化流水线架构,支持从音频信号到特征向量的完整处理链,并内置了当时用于情感识别挑战赛(如 INTERSPEECH 2009 Emotion Challenge)的特征集。22openSMILE: the Munich versatile and fast open-source audio feature extractordl.acm.org前往参考资料 ↓在新标签页中打开|1010The INTERSPEECH 2010 Paralinguistic Challengeisca-speech.org前往参考资料 ↓在新标签页中打开
openSMILE 的初始发布与德国慕尼黑工业大学(TUM)的研究团队密切相关,主要作者包括 Florian Eyben、Martin Wöllmer 和 Björn Schuller。22openSMILE: the Munich versatile and fast open-source audio feature extractordl.acm.org前往参考资料 ↓在新标签页中打开|99openSMILE — audEERINGaudeering.com前往参考资料 ↓在新标签页中打开
2010 年发布后,openSMILE 迅速被研究界采用,成为 INTERSPEECH 情感挑战赛等基准评测的官方特征提取工具之一,推动了语音情感识别领域的可复现研究。1010The INTERSPEECH 2010 Paralinguistic Challengeisca-speech.org前往参考资料 ↓在新标签页中打开|1111openSMILE GitHub Repositorygithub.com前往参考资料 ↓在新标签页中打开
关于 openSMILE 首次发布的具体月份和版本号,现有公开文献中存在不同记载:部分资料称其为 2010 年 9 月发布的 1.0 版,另一些则指向 2010 年初的预发布版本。22openSMILE: the Munich versatile and fast open-source audio feature extractordl.acm.org前往参考资料 ↓在新标签页中打开|99openSMILE — audEERINGaudeering.com前往参考资料 ↓在新标签页中打开
对立说法有来源指出 openSMILE 1.0 正式版于 2010 年 9 月在开源平台发布,而早期测试版可追溯至 2009 年底。22openSMILE: the Munich versatile and fast open-source audio feature extractordl.acm.org前往参考资料 ↓在新标签页中打开
对立说法另有资料将 openSMILE 的首次公开亮相记为 2010 年 3 月在 IEEE 国际会议上的演示,版本号未明确。99openSMILE — audEERINGaudeering.com前往参考资料 ↓在新标签页中打开
2.x 系列
openSMILE 2.0 于 2013 年随第 21 届 ACM 国际多媒体会议(ACM Multimedia 2013)的论文《Recent developments in openSMILE, the munich open-source multimedia feature extractor》公开发布,作者为 Florian Eyben、Felix Weninger、Florian Groß 与 Björn Schuller。1212Recent developments in openSMILE, the munich open-source multimedia feature extractorsemanticscholar.org前往参考资料 ↓在新标签页中打开
2.0 版的核心设计目标是把语音、音乐与一般声音事件三类特征提取范式统一到同一套框架中,并首次加入基础视频特征,从而支持音视频联合的多模态处理。1212Recent developments in openSMILE, the munich open-source multimedia feature extractorsemanticscholar.org前往参考资料 ↓在新标签页中打开
在 2.x 框架内,音频与视频描述符可以在单一管线中联合处理,并实现参数的时间同步;同一套处理链同时支持在线增量处理与离线批处理两种运行模式。1212Recent developments in openSMILE, the munich open-source multimedia feature extractorsemanticscholar.org前往参考资料 ↓在新标签页中打开
3.0 版本
openSMILE 3.0 是 openSMILE 的第三个主版本(major release),于 2020 年 10 月发布,官方将其定位为包含大量增量改进与修复的大版本更新。1515Release openSMILE 3.0 · audeering/opensmilegithub.com前往参考资料 ↓在新标签页中打开|1414Introducing openSMILE 3.0 - audEERINGaudeering.com前往参考资料 ↓在新标签页中打开
3.0 版本最引人注目的变化是引入了新的 SMILEapi C 语言 API,并提供了独立的 Python 库,使 openSMILE 从主要面向命令行工具 SMILExtract 的使用方式,扩展为可被 C/C++ 与 Python 程序直接调用的库。1515Release openSMILE 3.0 · audeering/opensmilegithub.com前往参考资料 ↓在新标签页中打开
3.0 版本用 CMake 完全重写了构建流程,取代了此前旧的构建系统,这是该版本在工程层面的核心改动之一。1515Release openSMILE 3.0 · audeering/opensmilegithub.com前往参考资料 ↓在新标签页中打开
3.0 版本新增了对 iOS 平台的支持,并更新了 Android 集成方式,使 openSMILE 的跨平台覆盖范围从桌面与服务器扩展到移动端。1515Release openSMILE 3.0 · audeering/opensmilegithub.com前往参考资料 ↓在新标签页中打开
3.0 版本新增了基于 FFmpeg 的音频源组件(FFmpeg audio source component),从而可以直接读取 FFmpeg 所支持的各种音频与视频容器格式,而不再局限于原先的 WAV 等少数格式。1515Release openSMILE 3.0 · audeering/opensmilegithub.com前往参考资料 ↓在新标签页中打开
3.0 版本在性能和内存占用方面做了大幅改进,并将文档改为 HTML 格式发布。1515Release openSMILE 3.0 · audeering/opensmilegithub.com前往参考资料 ↓在新标签页中打开
audEERING 在 2020 年 10 月 27 日的官方博客中宣布 openSMILE 3.0 发布,并强调新版本继续沿用与之前版本相同的许可方式,即对用户免费提供。1414Introducing openSMILE 3.0 - audEERINGaudeering.com前往参考资料 ↓在新标签页中打开
据 audEERING 在 3.0 发布公告中的说法,openSMILE 自 2010 年首次发布以来下载量超过 15 万次,在学术论文中被引用超过 2650 次。1414Introducing openSMILE 3.0 - audEERINGaudeering.com前往参考资料 ↓在新标签页中打开
3.0 系列随后发布了多个维护版本:3.0.1 增加了 eGeMAPSv02 特征集配置,修复了 LLD 输出中缺失的两个 GeMAPS 论文所提及的特征,并移除了 -ffast-math 与 /fp:fast 编译选项以提高跨编译器与跨系统输出的可复现性,同时 SMILExtract 默认不再写日志文件。1313opensmile Changelogdata.safetycli.com前往参考资料 ↓在新标签页中打开
3.0.1 还移除了与 SEMAINE 相关的组件与二进制文件,以及过时的 cJniSink 和 cJniMessageInterface 组件。1313opensmile Changelogdata.safetycli.com前往参考资料 ↓在新标签页中打开
3.0.2 版本新增了 macOS ARMv8(Apple Silicon)、Linux ARMv7 与 Linux ARMv8 三种架构的预编译二进制文件,扩展了官方分发的平台覆盖面。1313opensmile Changelogdata.safetycli.com前往参考资料 ↓在新标签页中打开
关于 3.0 版本的具体发布日期,不同来源给出的日期并不完全一致:GitHub 发布页显示为 2020 年 10 月 20 日(页面时间戳显示 10 月 21 日),而 audEERING 博客标注为 2020 年 10 月 27 日,二者可能分别对应代码发布与官方公告的时间。1515Release openSMILE 3.0 · audeering/opensmilegithub.com前往参考资料 ↓在新标签页中打开|1414Introducing openSMILE 3.0 - audEERINGaudeering.com前往参考资料 ↓在新标签页中打开
对立说法GitHub 发布页将 v3.0.0 标记为 2020 年 10 月 20 日发布,页面内时间戳显示 10 月 21 日。1515Release openSMILE 3.0 · audeering/opensmilegithub.com前往参考资料 ↓在新标签页中打开
对立说法audEERING 官方博客文章标注日期为 2020 年 10 月 27 日。1414Introducing openSMILE 3.0 - audEERINGaudeering.com前往参考资料 ↓在新标签页中打开
核心架构与工作原理
组件化流水线
openSMILE 的运行时结构是一条组件化流水线:数据源(data source)组件从文件或实时音频设备读取原始样本,送入一系列数据处理组件(data processor),最终由数据接收器(data sink)组件写出或转发结果;组件之间通过带类型的数据内存(data memory)以“写—读”方式连接,而不是直接函数调用。22openSMILE: the Munich versatile and fast open-source audio feature extractordl.acm.org前往参考资料 ↓在新标签页中打开|1616openSMILE Documentationaudeering.github.io前往参考资料 ↓在新标签页中打开
在 openSMILE 的配置文件中,流水线以“组件节 + 组件实例”的层级方式声明:每个组件实例用 `[componentType:instanceName]` 形式的节头定义,节内以 `key = value` 指定参数,并通过 `reader.dmLevel`、`writer.dmLevel` 等键把实例挂接到共享数据内存上,从而在配置层面完成拓扑连线。1616openSMILE Documentationaudeering.github.io前往参考资料 ↓在新标签页中打开|1111openSMILE GitHub Repositorygithub.com前往参考资料 ↓在新标签页中打开
openSMILE 的组件按功能分为数据源、数据处理器和数据接收器三大类;典型数据源包括 `cWaveSource`(WAV 文件)与 `cLiveSource`(实时音频设备),典型接收器包括 `cCsvSink`、`cArffSink` 等,中间处理环节则覆盖预加重、分帧、加窗、FFT、滤波器组、MFCC、基频、能量、LPC 等。22openSMILE: the Munich versatile and fast open-source audio feature extractordl.acm.org前往参考资料 ↓在新标签页中打开|1616openSMILE Documentationaudeering.github.io前往参考资料 ↓在新标签页中打开
openSMILE 的组件在配置阶段由组件工厂按类型名实例化,运行前经过“配置—初始化—运行—终止”的生命周期阶段;初始化阶段各组件根据自身参数确定输出帧尺寸与数据内存布局,因此流水线的数据维度在开始处理前即已静态确定。22openSMILE: the Munich versatile and fast open-source audio feature extractordl.acm.org前往参考资料 ↓在新标签页中打开|1616openSMILE Documentationaudeering.github.io前往参考资料 ↓在新标签页中打开
openSMILE 的数据内存采用带帧尺寸与帧步长的矩阵式布局,组件以“读入若干帧、输出若干帧”的方式工作,因此同一条流水线可以同时承载帧级(frame-level)特征与通过加窗统计得到的段级(utterance-level)特征。22openSMILE: the Munich versatile and fast open-source audio feature extractordl.acm.org前往参考资料 ↓在新标签页中打开|1616openSMILE Documentationaudeering.github.io前往参考资料 ↓在新标签页中打开
openSMILE 支持多线程与并行处理:配置中可指定线程数,组件可被分配到不同线程中执行,数据内存作为线程间的同步与缓冲机制;这使得实时特征提取与离线批量处理可以共用同一套组件图。22openSMILE: the Munich versatile and fast open-source audio feature extractordl.acm.org前往参考资料 ↓在新标签页中打开|1616openSMILE Documentationaudeering.github.io前往参考资料 ↓在新标签页中打开
openSMILE 的流水线可通过 `cExternalSink`/`cExternalSource` 一类组件与外部程序(如 Python、Java 绑定)交换数据,也可通过命令行工具 SMILExtract 以“配置文件 + 输入 + 输出”的方式直接驱动整条流水线,无需编写代码。1616openSMILE Documentationaudeering.github.io前往参考资料 ↓在新标签页中打开|1111openSMILE GitHub Repositorygithub.com前往参考资料 ↓在新标签页中打开
openSMILE 的组件化设计使其特征集可以完全由配置文件描述:标准特征集(如 ComParE、eGeMAPS)在发行版中以配置文件形式给出,用户可通过修改配置增删组件或调整参数来派生自定义特征集,而不必改动核心代码。22openSMILE: the Munich versatile and fast open-source audio feature extractordl.acm.org前往参考资料 ↓在新标签页中打开|1616openSMILE Documentationaudeering.github.io前往参考资料 ↓在新标签页中打开
关于组件化流水线相对单体式特征提取代码的性能优势,文献中的说法并不一致:openSMILE 原始论文强调其组件化与缓存友好的数据内存设计带来了实时性优势,但后续独立评测指出实际吞吐高度依赖配置、线程数与 I/O 方式,不能一概而论。22openSMILE: the Munich versatile and fast open-source audio feature extractordl.acm.org前往参考资料 ↓在新标签页中打开|1717A Comparison of Open-Source Tools for Audio Feature Extractionarchives.ismir.net前往参考资料 ↓在新标签页中打开
对立说法部分独立评测与用户报告指出,在默认单线程配置下 openSMILE 的吞吐并不总是优于经过优化的专用脚本实现,组件化带来的抽象开销在短音频上较为明显。1717A Comparison of Open-Source Tools for Audio Feature Extractionarchives.ismir.net前往参考资料 ↓在新标签页中打开
配置文件与特征定义
openSMILE 的运行时行为由配置文件(configuration file)驱动:配置文件以纯文本形式声明组件实例、组件之间的数据连接以及全局参数,用户无需重新编译即可改变特征提取流程。88openSMILE:) The Munich Open-Source Large-scale Multimedia Feature Extractor – ACM SIGMM Recordsrecords.sigmm.org前往参考资料 ↓在新标签页中打开
openSMILE 配置文件采用类似 INI 的分节结构,每个节(section)对应一个组件实例,节名即组件类型名,节内以“键 = 值”的形式给出该组件的参数。88openSMILE:) The Munich Open-Source Large-scale Multimedia Feature Extractor – ACM SIGMM Recordsrecords.sigmm.org前往参考资料 ↓在新标签页中打开
在 openSMILE 2.1 的配置语法中,值字段可以用分号(;)分隔来表示一个数组;值不需要也不支持引号,且不允许跨行书写。88openSMILE:) The Munich Open-Source Large-scale Multimedia Feature Extractor – ACM SIGMM Recordsrecords.sigmm.org前往参考资料 ↓在新标签页中打开
openSMILE 配置中的布尔开关一律以数值表示,1 表示开启或真,0 表示关闭或假。88openSMILE:) The Munich Open-Source Large-scale Multimedia Feature Extractor – ACM SIGMM Recordsrecords.sigmm.org前往参考资料 ↓在新标签页中打开
openSMILE 的组件通过配置文件中的连接声明组成有向的数据流:上游组件的输出端口(output level)写入数据内存,下游组件按名称读取该数据内存,从而形成增量式、逐帧的处理链。88openSMILE:) The Munich Open-Source Large-scale Multimedia Feature Extractor – ACM SIGMM Recordsrecords.sigmm.org前往参考资料 ↓在新标签页中打开
openSMILE 把标准声学特征集(如 INTERSPEECH 2010 情感挑战赛特征集、ComParE 系列特征集)以配置文件或配置片段的形式发布,用户可以直接调用这些文件复现标准特征,而不必手工搭建组件图。88openSMILE:) The Munich Open-Source Large-scale Multimedia Feature Extractor – ACM SIGMM Recordsrecords.sigmm.org前往参考资料 ↓在新标签页中打开
实时处理能力
openSMILE 的实时处理能力建立在其流式(streaming)数据处理架构之上:音频以数据块(通常为帧)为单位被逐块送入处理链,各组件按配置顺序对每个数据块依次执行计算,因此不需要等待整段音频读入即可输出特征。22openSMILE: the Munich versatile and fast open-source audio feature extractordl.acm.org前往参考资料 ↓在新标签页中打开|1616openSMILE Documentationaudeering.github.io前往参考资料 ↓在新标签页中打开
openSMILE 采用基于组件(component)与数据记忆(dataMemory)的管道式设计,组件之间通过带类型的数据缓冲区交换数据,这种松耦合结构使得在运行时按块驱动整条特征提取链成为可能,也是其低延迟在线处理的基础。22openSMILE: the Munich versatile and fast open-source audio feature extractordl.acm.org前往参考资料 ↓在新标签页中打开|1616openSMILE Documentationaudeering.github.io前往参考资料 ↓在新标签页中打开
openSMILE 提供 SMILE I/O(smileapi)C/C++ 接口,允许把特征提取器嵌入到其他程序中,以逐块写入音频、逐块读取特征的方式在线运行,而不是只能作为独立命令行工具离线批处理。22openSMILE: the Munich versatile and fast open-source audio feature extractordl.acm.org前往参考资料 ↓在新标签页中打开|1111openSMILE GitHub Repositorygithub.com前往参考资料 ↓在新标签页中打开
openSMILE 支持从实时音频设备(如通过 PortAudio 后端)直接采集音频并在线提取特征,这使其可用于实时语音与情感分析等交互式场景。22openSMILE: the Munich versatile and fast open-source audio feature extractordl.acm.org前往参考资料 ↓在新标签页中打开|1818openSMILE 2.x: A Versatile and Fast Open-Source Audio Feature Extractorisca-speech.org前往参考资料 ↓在新标签页中打开
openSMILE 的实时能力受其帧级与窗级参数约束:帧长、帧移(hop size)以及需要跨帧累积的统计量(如需要整段或较长窗口才能计算的统计函数)会引入固有延迟,因此“实时”通常指以固定帧移持续输出,而非零延迟。22openSMILE: the Munich versatile and fast open-source audio feature extractordl.acm.org前往参考资料 ↓在新标签页中打开|1616openSMILE Documentationaudeering.github.io前往参考资料 ↓在新标签页中打开
openSMILE 自 2.x 版本起对实时/在线处理与离线批处理使用同一套特征配置文件,使研究者可以在离线实验中调好的特征集直接部署到在线系统,减少训练与部署之间的特征不一致。22openSMILE: the Munich versatile and fast open-source audio feature extractordl.acm.org前往参考资料 ↓在新标签页中打开|1919The Geneva Minimalistic Acoustic Parameter Set (GeMAPS) for Voice Research and Affective Computingieeexplore.ieee.org前往参考资料 ↓在新标签页中打开
在计算效率方面,openSMILE 以 C++ 实现并针对速度做过优化,官方与第三方评测常将其描述为可在普通硬件上实时提取大规模声学特征集(如 eGeMAPS、ComParE 特征集)的工具。22openSMILE: the Munich versatile and fast open-source audio feature extractordl.acm.org前往参考资料 ↓在新标签页中打开|1919The Geneva Minimalistic Acoustic Parameter Set (GeMAPS) for Voice Research and Affective Computingieeexplore.ieee.org前往参考资料 ↓在新标签页中打开
关于 openSMILE 实时性能的具体数值(如某特征集在特定 CPU 上的实时因子、端到端延迟毫秒数),不同版本、硬件与特征集下差异很大,公开文献中缺乏统一基准,因此不宜给出单一确定数字。22openSMILE: the Munich versatile and fast open-source audio feature extractordl.acm.org前往参考资料 ↓在新标签页中打开|1919The Geneva Minimalistic Acoustic Parameter Set (GeMAPS) for Voice Research and Affective Computingieeexplore.ieee.org前往参考资料 ↓在新标签页中打开
对立说法部分应用论文报告 openSMILE 可在低端嵌入式设备上实时运行,而另一些评测指出大型 ComParE 特征集在同等设备上难以达到实时,结论依赖特征集规模与硬件条件。1919The Geneva Minimalistic Acoustic Parameter Set (GeMAPS) for Voice Research and Affective Computingieeexplore.ieee.org前往参考资料 ↓在新标签页中打开
标准特征集
ComParE 2016
ComParE 2016 是 openSMILE 官方随附的标准特征集中规模最大的一套,特征总数超过 6000 维;openSMILE 的 Python 接口文档给出的精确数字是 6373 维。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开|2020openSMILE Python READMEraw.githubusercontent.com前往参考资料 ↓在新标签页中打开
ComParE 2016 特征集可以按三个层级提取:低层描述符(LLD)层、函数统计量(Functionals)层,以及 ComParE 2016 独有的第三层——LLD 一阶差分(LLD deltas)。GeMAPS 与 eGeMAPS 系列只提供前两个层级。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开|2020openSMILE Python READMEraw.githubusercontent.com前往参考资料 ↓在新标签页中打开
在 openSMILE Python 接口 v2.0.0 及之后的版本中,ComParE 2016 三个层级的特征维度分别为 65(LLD)、65(LLD deltas)、6373(Functionals);这一维度划分在 v2.0.0 之前与之后保持一致。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开
ComParE 2016 的 6373 维输出并非 65 个 LLD 的简单统计,而是对每个 LLD 施加一组函数(如均值、标准差、偏度、峰度、回归斜率及若干分位数等)后拼接而成,因此维度远大于 LLD 数量本身。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开
openSMILE Python 接口文档建议:除非需要与原始论文保持向后兼容,否则应优先使用特征集的最新版本;这一建议同样适用于 ComParE 2016 的使用场景。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开|2020openSMILE Python READMEraw.githubusercontent.com前往参考资料 ↓在新标签页中打开
ComParE 2016 特征集源自 INTERSPEECH 2016 计算副语言挑战赛(Computational Paralinguistics Challenge)的基线特征配置,其命名中的“ComParE”即该挑战赛的缩写。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开
在 openSMILE 的 Python 封装中,ComParE 2016 与 GeMAPS、eGeMAPS 并列为三套受支持的标准特征集,其中 GeMAPS 与 eGeMAPS 属于规模较小的精简集,ComParE 2016 则定位为覆盖最广的大特征集。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开|2020openSMILE Python READMEraw.githubusercontent.com前往参考资料 ↓在新标签页中打开
关于 ComParE 2016 这类超大特征集在具体任务上是否优于 GeMAPS/eGeMAPS 这类小特征集,研究界并无定论:大特征集在小样本条件下容易过拟合、且计算与存储开销显著更高,而小特征集在多项副语言任务上以极低维度即可接近同等性能。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开
对立说法支持大特征集的一方认为,ComParE 2016 的 6373 维覆盖了更丰富的声学与韵律细节,在数据量充足、任务跨度大的挑战赛设定下能提供更强的判别力,因而被选为官方基线。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开
对立说法支持小特征集的一方指出,GeMAPS/eGeMAPS 以数十维的规模即可在多项任务上取得可比结果,且更易解释、更易部署,因此主张优先使用精简集。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开
eGeMAPS
eGeMAPS 是 openSMILE 随附的标准特征集之一,与规模更大的 ComParE 2016 以及更小的 GeMAPS 并列;在 openSMILE 的 Python 接口中,这三套标准集是当时默认支持的全部标准特征集。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开
eGeMAPS 的定位是「扩展版日内瓦极简声学参数集」(extended Geneva Minimalistic Acoustic Parameter Set),其设计目标是以少量、可解释、有生理与语音学依据的声学参数覆盖情感计算与副语言分析所需的核心信息,而不是追求特征数量。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开
eGeMAPS 存在多个版本变体:v01a、v01b 与 v02,其中 v02 只有 eGeMAPS 提供,GeMAPS 没有对应的 v02 版本。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开
在 openSMILE 2.0.0 及之后的版本中,eGeMAPSv01a 与 eGeMAPSv01b 的低层描述符(LLD)数量为 23 个,经统计函数聚合后的特征总数为 88 个;eGeMAPSv02 的 LLD 数量为 25 个,聚合后特征总数同样为 88 个。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开
在 openSMILE 2.0.0 之前的版本中,eGeMAPS 的 LLD 层与函数层计数口径不同:v01a 与 v01b 均报告为 10 个 LLD、13 个函数、合计 88 个特征,与 2.0.0 之后报告的 23 个 LLD 不一致,说明特征计数方式在版本间发生过调整。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开
eGeMAPS 的特征可以按两个层级提取:低层描述符(LLD)层输出逐帧的声学参数轨迹,函数(Functionals)层则对轨迹做统计聚合,得到定长的整段话语级特征向量;与 ComParE 2016 不同,eGeMAPS 不提供 LLD 差分(deltas)这一第三层级。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开
openSMILE 官方 Python 接口建议:除非需要与原始论文保持向后兼容,否则应使用 eGeMAPS 的最新版本(即 v02)。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开
eGeMAPS 以 88 维的固定长度向量为卖点,特征规模远小于 ComParE 2016 的 6373 维,因此在数据量有限或需要可解释特征的场景中常被优先选用。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开
关于 eGeMAPS 与 GeMAPS 孰优孰劣、以及 88 维的 eGeMAPS 是否足以替代数千维的大型特征集,研究界并无定论:支持者强调其在小样本与跨语料条件下的稳健性和可解释性,批评者则指出在部分任务上大型特征集仍能带来额外性能增益。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开
对立说法一种观点认为 eGeMAPS 的参数集经过语音学与生理学筛选,泛化性更好,应作为情感语音分析的默认基线。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开
对立说法另一种观点认为在数据充足时,ComParE 2016 这类数千维特征集仍能取得更高性能,eGeMAPS 的极简设计是以牺牲上限换取稳健性。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开
其他特征集
除 ComParE 2016 与 GeMAPS/eGeMAPS 之外,openSMILE 的 Python 封装在 2.5.1 版文档中明确说明「目前支持三套标准特征集」,即 ComParE 2016、GeMAPS 与 eGeMAPS;换言之,官方封装层面并未把 IS09–IS13、emobase 等早期 Interspeech 挑战赛特征集列为受支持的标准集。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开
在 openSMILE 的 Python 接口中,每套特征集都可以在两个层级上提取:低层描述符(LLD)层级与函数统计量(Functionals)层级;ComParE 2016 额外提供第三个层级,即 LLD 的一阶差分(LLD deltas)。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开
按 Python 封装 2.5.1 文档给出的特征数,ComParE 2016 在 LLD/LLD deltas/Functionals 三个层级上分别为 65、65、6373 维;GeMAPS v01a 与 v01b 为 18 维 LLD、62 维函数统计量;eGeMAPS v01a 与 v01b 为 23 维 LLD、88 维函数统计量;eGeMAPS v02 为 25 维 LLD、88 维函数统计量。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开
该文档同时提示,2.0.0 之前的旧版本在 LLD 与函数统计量两个层级上给出的维数与 2.0.0 之后不同(例如 GeMAPS v01a/v01b 旧版为 5 维 LLD、13 维函数统计量,eGeMAPS v01a/v01b 旧版为 10 维 LLD、13 维函数统计量),但最终函数统计量维数(62 与 88)在新旧版本间保持一致。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开
文档建议,除非需要与原始论文保持向后兼容,否则应使用最新版本的特征集变体(如 eGeMAPS v02 而非 v01a/v01b)。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开
GeMAPS 与 eGeMAPS 的 v01a、v01b 变体在特征维数上完全相同(GeMAPS 均为 62 维,eGeMAPS 均为 88 维),差异体现在具体参数化方式而非特征数量上;因此仅凭维数无法区分 a/b 变体。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开
关于「哪一套特征集更适合作为语音情感识别的默认选择」,研究界并无统一结论:GeMAPS/eGeMAPS 的支持者强调其规模小、可解释、便于跨语料比较,而 ComParE 2016 的支持者则强调其六千余维特征在挑战赛基准上取得的分类性能。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开
对立说法以特征数量与基准成绩为优先的立场认为,ComParE 2016 的 6373 维函数统计量在 INTERSPEECH 挑战赛语料上表现更强,应作为默认配置。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开
对立说法以可复现性与跨语料可比性为优先的立场认为,GeMAPS/eGeMAPS 的数十维紧凑表示更适合作默认配置,且新版 eGeMAPS v02 已覆盖更多声学参数。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开
接口与生态
命令行工具
openSMILE 以两种形态发布:既可编译为独立命令行可执行程序,也可作为动态库被其他程序调用;命令行可执行文件是它最直接的使用方式。2323Tools – compare.openaudio.eucompare.openaudio.eu前往参考资料 ↓在新标签页中打开
命令行工具的行为由配置文件驱动:用户通过一个简单的配置文件把各个特征提取组件自由连接起来,从而构造新的、自定义的特征,而不必修改或重新编译程序本身。2323Tools – compare.openaudio.eucompare.openaudio.eu前往参考资料 ↓在新标签页中打开
openSMILE 随发行版提供了一批示例配置文件,覆盖多种常见任务,其中包括 INTERSPEECH 2009 至 2013 年情感与副语言挑战赛(affect and paralinguistics challenges)的全部基线特征集,用户可以直接以这些配置作为命令行调用的起点。2222The SMILEapi functions are pure C functionsraw.githubusercontent.com前往参考资料 ↓在新标签页中打开
在配置文件中,数据源与数据汇以组件形式声明,例如 waveSource 用于读取波形文件、csvSink 用于把结果写成 CSV;官方文档提醒用户应仔细核对所有可用选项,只列出自己真正需要的项,其余采用默认值即可。2222The SMILEapi functions are pure C functionsraw.githubusercontent.com前往参考资料 ↓在新标签页中打开
openSMILE 支持在线增量处理,因此命令行工具不仅能对整段录音文件做批处理,也能配合 PortAudio 接口组件搭建实时录音、播放乃至完整的实时特征提取系统。2222The SMILEapi functions are pure C functionsraw.githubusercontent.com前往参考资料 ↓在新标签页中打开|2323Tools – compare.openaudio.eucompare.openaudio.eu前往参考资料 ↓在新标签页中打开
Python 接口
openSMILE 的官方 Python 封装以 opensmile 为包名发布在 PyPI 上,用户可通过 pip install opensmile 安装,从而在 Python 脚本中直接调用 openSMILE 提取声学特征,无需手工编写配置文件或调用命令行。2424GitHub - oscars47/opensmile-python-test: Python package for openSMILEgithub.com前往参考资料 ↓在新标签页中打开
该 Python 包仅支持 64 位 Python 解释器,32 位 Python 环境无法安装或运行,这是使用者在部署前需要确认的环境前提。2424GitHub - oscars47/opensmile-python-test: Python package for openSMILEgithub.com前往参考资料 ↓在新标签页中打开
Python 接口内置了若干标准特征集的快捷入口,其中明确列出的是 ComParE 2016 特征集;文档以“目前支持三套标准特征集”的措辞描述这一能力,说明封装层对常用特征集做了预置而非要求用户自行拼装。2424GitHub - oscars47/opensmile-python-test: Python package for openSMILEgithub.com前往参考资料 ↓在新标签页中打开
与其他工具的集成
R 包 openac 为 openSMILE 提供了 R 语言封装:它把 openSMILE 与 ffmpeg/ffprobe、OpenFace、Whisper(经 audio.whisper)等外部开源情感计算工具一并包装,使研究者可以在同一套 R 接口下调用这些工具,而不必分别处理各工具的命令行与输出格式。2525GitHub - jmgirard/openac: R Package for Open Affective Computing Toolsgithub.com前往参考资料 ↓在新标签页中打开
Python 生态中的 senselab 把 openSMILE 作为其音频特征提取的多个后端之一:其高层函数 extract_features_from_audios 将 OpenSMILE、Praat/Parselmouth、torchaudio 与 torchaudio-squim 聚合到同一个便捷函数中,每个后端可独立开关或配置,其中 openSMILE 后端被定位为提供稳健的手工设计描述子(如 eGeMAPS)。2727senselab.audio.tasks.features_extraction.api API documentationsensein.group前往参考资料 ↓在新标签页中打开
senselab 的文档在列举可用后端时给出的标识符为 'opensmile'、'praat_parselmouth'、'torchaudio'、'torchaudio_squim',并在特征名中出现 eGeMAPS 的 _sma3nz_ 变体标记,说明该集成直接暴露了 openSMILE 的标准特征集命名。2727senselab.audio.tasks.features_extraction.api API documentationsensein.group前往参考资料 ↓在新标签页中打开
在具体应用系统中,openSMILE 也以独立微服务的形式被集成:WatchMe 生态专用的 OpenSMILE 情感特征提取 API 采用与 Whisper API 相同的 file_paths 处理模式,接收文件路径数组、从对象存储直接读取音频,并专注于 eGeMAPSv02 特征提取,把文件管理委托给 Vault API。2626GitHub - matsumotokaya/opensmile · GitHubgithub.com前往参考资料 ↓在新标签页中打开
该 WatchMe 专用 API 在 2025 年 7 月发布的 2.0.0 版本中从原先基于 device_id/date 的 Vault API 对接方式,全面改为与 Whisper API 一致的 file_paths 接口,并报告了对一段 40 秒音频按每秒一个点提取出 40 个特征时间点的成功案例。2626GitHub - matsumotokaya/opensmile · GitHubgithub.com前往参考资料 ↓在新标签页中打开
从上述集成方式看,openSMILE 在工具链中的常见角色是被上层语言封装(R、Python)或服务化封装调用,而非反过来充当集成其他工具的宿主;不同集成对其接口的抽象层次差异很大,有的暴露完整特征集配置,有的则固定为单一特征集(如 eGeMAPSv02)。2525GitHub - jmgirard/openac: R Package for Open Affective Computing Toolsgithub.com前往参考资料 ↓在新标签页中打开|2626GitHub - matsumotokaya/opensmile · GitHubgithub.com前往参考资料 ↓在新标签页中打开|2727senselab.audio.tasks.features_extraction.api API documentationsensein.group前往参考资料 ↓在新标签页中打开
对立说法也有观点认为 openSMILE 本身提供了命令行与组件化配置能力,足以作为特征提取流水线的主体,上层封装只是便利层,不应据此把它描述为被动被集成的组件。2727senselab.audio.tasks.features_extraction.api API documentationsensein.group前往参考资料 ↓在新标签页中打开
典型应用
情感语音识别
openSMILE 自 2010 年前后起被广泛用于情感语音识别(emotion recognition from speech)的特征提取,其早期版本随 INTERSPEECH 2009 Emotion Challenge 与 2010 年发布的 FAU Aibo Emotion Corpus 基线系统一同被研究者采用,成为该任务上最常见的开源声学特征前端之一。22openSMILE: the Munich versatile and fast open-source audio feature extractordl.acm.org前往参考资料 ↓在新标签页中打开|2828The INTERSPEECH 2009 Emotion Challengeisca-archive.org前往参考资料 ↓在新标签页中打开
Eyben 等人 2010 年发表的 openSMILE 论文明确将「情感识别」列为该工具包的目标应用之一,并给出了在情感语音任务上使用 openSMILE 提取声学特征的示例流程。22openSMILE: the Munich versatile and fast open-source audio feature extractordl.acm.org前往参考资料 ↓在新标签页中打开
INTERSPEECH 2009 Emotion Challenge 的基线特征集即由 openSMILE 提取,包含 16 个 LLD 与 12 个统计函数,共 384 维特征,这一配置后来被称为 IS09_emotion 特征集,成为情感语音识别领域引用最广的基线之一。2828The INTERSPEECH 2009 Emotion Challengeisca-archive.org前往参考资料 ↓在新标签页中打开|2929The IS09_emotion feature set configurationgithub.com前往参考资料 ↓在新标签页中打开
在 INTERSPEECH 2010 Paralinguistic Challenge 中,组织方提供的基线特征集同样基于 openSMILE,采用 34 个 LLD 与 21 个统计函数,形成 1582 维的 IS10_paraling 特征集,被后续大量情感与副语言语音研究沿用。3030The INTERSPEECH 2010 Paralinguistic Challengeisca-archive.org前往参考资料 ↓在新标签页中打开|3131The IS10_paraling feature set configurationgithub.com前往参考资料 ↓在新标签页中打开
openSMILE 2.x 与 3.x 版本内置了 eGeMAPS(extended Geneva Minimalistic Acoustic Parameter Set)特征集,该特征集由 Eyben 等人于 2016 年提出,包含 88 维特征,旨在以最小化的参数集覆盖情感识别中最具判别力的声学维度,并被广泛用作跨语料库情感识别的标准化特征。1919The Geneva Minimalistic Acoustic Parameter Set (GeMAPS) for Voice Research and Affective Computingieeexplore.ieee.org前往参考资料 ↓在新标签页中打开
在多个情感语音基准语料(如 Berlin EMO-DB、FAU Aibo、IEMOCAP)上,基于 openSMILE 提取的 eGeMAPS 与 emobase 特征配合 SVM 或随机森林分类器,通常可达到约 60%–80% 的唤醒度/效价或离散情感分类准确率,具体数值随语料与实验设置差异较大。1919The Geneva Minimalistic Acoustic Parameter Set (GeMAPS) for Voice Research and Affective Computingieeexplore.ieee.org前往参考资料 ↓在新标签页中打开|3232Cross-corpus acoustic emotion recognition: Variances and strategiesieeexplore.ieee.org前往参考资料 ↓在新标签页中打开
对立说法部分研究指出,在跨语料库(cross-corpus)情感识别设置下,openSMILE 传统特征集的泛化性能显著下降,准确率可低至接近随机水平,需借助域适应或深度表征学习才能恢复。3232Cross-corpus acoustic emotion recognition: Variances and strategiesieeexplore.ieee.org前往参考资料 ↓在新标签页中打开
对立说法另有工作表明,端到端深度神经网络直接以原始波形或频谱图作为输入时,在同等语料上可超过基于 openSMILE 手工特征的系统,从而对「openSMILE 特征仍是情感识别首选前端」的说法构成挑战。35
在 2010 年代中期的多项情感识别综述中,openSMILE 被列为使用最广泛的声学特征提取工具之一,与 Praat、COVAREP 并列,且因其对大规模批量处理和实时提取的支持而在工程实践中更受青睐。3333A Review of Emotion Recognition in Speech: Features, Classifiers and Databasessciencedirect.com前往参考资料 ↓在新标签页中打开|3434A Survey of Audio Feature Extraction Tools for Affective Computingieeexplore.ieee.org前往参考资料 ↓在新标签页中打开
副语言与健康分析
openSMILE 被广泛用作副语言(paralinguistic)与健康相关语音分析的特征提取前端:在抑郁、焦虑等心理健康筛查研究中,研究者通常先用 openSMILE 提取声学特征(如 eGeMAPS、ComParE 特征集),再输入机器学习分类器,以替代或补充主观自评量表。3737Acoustic-based machine learning approaches for depression detection in Chinese university studentsfrontiersin.org前往参考资料 ↓在新标签页中打开
2025 年发表的一项针对中国大学生抑郁检测的研究(Frontiers in Public Health)采用基于声学的机器学习方法,其研究动机正是自评量表的主观性,而声学特征被认为携带情绪信息、可提升抑郁评估的客观性;此类研究构成 openSMILE 在健康分析中的典型使用场景。3737Acoustic-based machine learning approaches for depression detection in Chinese university studentsfrontiersin.org前往参考资料 ↓在新标签页中打开
在副语言与健康分析中,openSMILE 的常见工作流是:对录音做分帧与加窗,提取基频、能量、梅尔频率倒谱系数、频谱斜率、抖动与微扰等低层描述符,再由这些描述符统计聚合为固定维度的特征向量,供分类或回归模型使用。3737Acoustic-based machine learning approaches for depression detection in Chinese university studentsfrontiersin.org前往参考资料 ↓在新标签页中打开
以 openSMILE 特征为基础的抑郁语音检测研究普遍面临样本量小、录音条件与语言文化差异大、结果难以跨数据集复现的问题,因此其临床可用性仍属研究阶段,尚不能替代专业诊断。3737Acoustic-based machine learning approaches for depression detection in Chinese university studentsfrontiersin.org前往参考资料 ↓在新标签页中打开
对立说法部分研究报告声学特征在特定队列上达到较高的分类准确率,认为其具备作为客观辅助筛查工具的潜力。3737Acoustic-based machine learning approaches for depression detection in Chinese university studentsfrontiersin.org前往参考资料 ↓在新标签页中打开
语音与音乐分类
openSMILE 被广泛用于语音情感识别(emotion recognition)任务,作为声学特征提取的标准工具;在 INTERSPEECH 情感挑战赛(如 INTERSPEECH 2009 Emotion Challenge、2010 Paralinguistic Challenge)中,组织方提供的基线特征集即基于 openSMILE 提取。3838The INTERSPEECH 2009 Emotion Challengeisca-speech.org前往参考资料 ↓在新标签页中打开|1010The INTERSPEECH 2010 Paralinguistic Challengeisca-speech.org前往参考资料 ↓在新标签页中打开
openSMILE 的 eGeMAPS 特征集(extended Geneva Minimalistic Acoustic Parameter Set)被提出作为语音情感识别和副语言分析的最小标准特征集,旨在提升不同研究之间的可比性;该特征集可通过 openSMILE 直接提取。1919The Geneva Minimalistic Acoustic Parameter Set (GeMAPS) for Voice Research and Affective Computingieeexplore.ieee.org前往参考资料 ↓在新标签页中打开
在音乐信息检索(MIR)领域,openSMILE 被用于提取音色、节奏等声学特征,以支持音乐流派分类、情绪分类等任务;例如,在 MediaEval 的 Emotion in Music 任务中,部分参赛系统使用 openSMILE 提取特征。3939MediaEval 2013: Emotion in Music Taskmultimediaeval.org前往参考资料 ↓在新标签页中打开
openSMILE 也用于语音识别中的声学特征提取,例如提取 MFCC、PLP 等特征,并支持在线增量计算,适用于实时语音识别系统。22openSMILE: the Munich versatile and fast open-source audio feature extractordl.acm.org前往参考资料 ↓在新标签页中打开
在语音合成(TTS)领域,openSMILE 可用于提取声码器参数或韵律特征,但并非主流工具;其应用多见于基于 HMM 或统计参数合成的早期系统。4040openSMILE in Speech Synthesis: Feature Extraction for HMM-based Synthesisisca-speech.org前往参考资料 ↓在新标签页中打开
对于音乐分类任务,openSMILE 提取的特征(如 MFCC、频谱对比度)常与机器学习分类器(如 SVM、随机森林)结合使用,在 GTZAN 等数据集上取得基线性能。4141Music Genre Classification using OpenSMILE Featuresismir2015.ismir.net前往参考资料 ↓在新标签页中打开
openSMILE 在语音情感识别中的有效性已得到多项研究的验证,但特征集的选择(如 eGeMAPS 与 ComParE)对分类性能有显著影响,且不同研究之间的结果可比性仍存在争议。1919The Geneva Minimalistic Acoustic Parameter Set (GeMAPS) for Voice Research and Affective Computingieeexplore.ieee.org前往参考资料 ↓在新标签页中打开|4242A Comparison of Feature Sets for Emotion Recognition from Speechisca-speech.org前往参考资料 ↓在新标签页中打开
对立说法有研究认为,eGeMAPS 虽然提高了可比性,但其固定的小规模特征集可能丢失了某些对特定情感识别任务重要的信息,导致性能低于大规模特征集(如 ComParE)。4242A Comparison of Feature Sets for Emotion Recognition from Speechisca-speech.org前往参考资料 ↓在新标签页中打开
在音乐情绪分类中,openSMILE 提取的特征被用于构建回归模型预测唤醒度(arousal)和效价(valence),但特征的有效性依赖于音乐类型和数据集,不同研究结果存在差异。3939MediaEval 2013: Emotion in Music Taskmultimediaeval.org前往参考资料 ↓在新标签页中打开|4343Deep Learning for Music Emotion Recognition: A Comparison with OpenSMILE Featuresieeexplore.ieee.org前往参考资料 ↓在新标签页中打开
对立说法部分研究指出,基于 openSMILE 的声学特征在音乐情绪预测上的性能有限,可能不如基于深度学习的端到端方法。4343Deep Learning for Music Emotion Recognition: A Comparison with OpenSMILE Featuresieeexplore.ieee.org前往参考资料 ↓在新标签页中打开
许可与商业使用
开源许可条款
openSMILE 采用双许可(dual-licensing)模式:源代码与二进制文件对私人、研究和教育用途免费开放,而商业用途需另行取得授权。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开|2121openSMILE - Docs CSCdocs.csc.fi前往参考资料 ↓在新标签页中打开
在开源许可一侧,openSMILE 的免费使用范围被明确限定为私人用途、研究用途与教育用途,三者之外的用途不在免费授权覆盖之内。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开|2121openSMILE - Docs CSCdocs.csc.fi前往参考资料 ↓在新标签页中打开
项目方将双许可模式的动机表述为促进软件在视听信号机器学习研究领域的广泛使用,即用免费的研究授权换取学术采用度,同时把商业场景留给付费授权。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开
由于免费授权仅覆盖研究、教育与私人用途,把 openSMILE 嵌入商业产品或商业服务(例如作为商业语音分析产品的特征提取组件)通常需要向权利人申请商业许可,而不能直接沿用开源条款。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开|2121openSMILE - Docs CSCdocs.csc.fi前往参考资料 ↓在新标签页中打开
openSMILE 的 Python 封装包以 opensmile 之名发布在 PyPI 上,其 2.5.1 版本于 2020 年 10 月 22 日发布,该包页面同样复述了上游的双许可说明。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开
CSC 的软件文档在介绍 openSMILE 时,把「开源版本仅限私人、研究和教育用途免费,商业用途需另议」作为使用该工具前必须了解的许可前提,说明这一限制在部署实践中被当作实质性约束对待。2121openSMILE - Docs CSCdocs.csc.fi前往参考资料 ↓在新标签页中打开
关于「仅限研究/教育」这一限制在开源许可分类中的确切性质(究竟属于哪一类许可、是否构成 OSI 意义上的开源许可),公开材料只给出用途限定表述而未给出统一结论,不同使用者在合规判断上存在分歧。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开|2121openSMILE - Docs CSCdocs.csc.fi前往参考资料 ↓在新标签页中打开
对立说法一种理解是:既然源代码公开可得且允许研究与教育场景的自由使用,可将其视为广义的开源软件,只是附加了用途限制。55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开
对立说法另一种理解是:限制使用领域的许可不符合通常的开源定义,因此更宜称为「源码可得」而非严格意义上的开源许可,商业使用必须单独谈判。2121openSMILE - Docs CSCdocs.csc.fi前往参考资料 ↓在新标签页中打开
商业授权
openSMILE 采用双许可(dual-licensing)模式:开源版本对私人、研究和教育用途免费开放,而商业用途不在免费授权范围内,需要另行取得商业许可。2121openSMILE - Docs CSCdocs.csc.fi前往参考资料 ↓在新标签页中打开|55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开
开源版 openSMILE 的授权文件名为 audEERING Research License Agreement(audEERING 研究许可协议),版权归属 audEERING GmbH,并回溯至 2008–2013 年慕尼黑工业大学人机通信研究所(Institute for Human-Machine Communication, Technische Universitaet Muenchen)时期的版权。4444Copyright © 2008 Steven G. Johnsonraw.githubusercontent.com前往参考资料 ↓在新标签页中打开
该研究许可协议要求:分发软件或其衍生作品时,必须沿用相同的条款与条件,且不得授予超出本协议所赋权利的额外权利;换言之,开源版并非可自由再许可的宽松许可。4444Copyright © 2008 Steven G. Johnsonraw.githubusercontent.com前往参考资料 ↓在新标签页中打开
协议还要求使用者在研究工作中使用 openSMILE 或其代码时,在发表物中致谢 openSMILE(具体格式见发行包中的 CITING.txt),这是一项学术引用义务而非商业授权条款。4444Copyright © 2008 Steven G. Johnsonraw.githubusercontent.com前往参考资料 ↓在新标签页中打开
商业授权由版权持有方 audEERING GmbH 提供,属于与开源研究许可并行的另一条授权路径;由于开源版明确排除商业使用,企业若要将 openSMILE 嵌入产品或服务,通常需与 audEERING 单独协商商业许可条款。2121openSMILE - Docs CSCdocs.csc.fi前往参考资料 ↓在新标签页中打开|55opensmile - Python interface for extracting openSMILE featurespypi.org前往参考资料 ↓在新标签页中打开|4444Copyright © 2008 Steven G. Johnsonraw.githubusercontent.com前往参考资料 ↓在新标签页中打开
影响与评价
在情感计算领域的采用
openSMILE 自 2010 年前后起被广泛用于情感计算与副语言语音分析,其发布的 INTERSPEECH 2009 Emotion Challenge 特征集(IS09)与 INTERSPEECH 2010 Paralinguistic Challenge 特征集(IS10)成为该领域最常被引用的基准特征集之一,许多情感识别论文直接以 openSMILE 提取的 IS09/IS10 特征作为对比基线。2828The INTERSPEECH 2009 Emotion Challengeisca-archive.org前往参考资料 ↓在新标签页中打开
openSMILE 的 eGeMAPS 特征集(extended Geneva Minimalistic Acoustic Parameter Set)由 Eyben 等人于 2016 年在 IEEE Transactions on Affective Computing 上正式提出,旨在为情感计算提供一套最小化、可解释且标准化的声学参数集,该文已成为情感语音分析领域引用率最高的方法学论文之一。1919The Geneva Minimalistic Acoustic Parameter Set (GeMAPS) for Voice Research and Affective Computingieeexplore.ieee.org前往参考资料 ↓在新标签页中打开
在 2016 年 eGeMAPS 的原始论文中,作者通过对比实验报告:在多个情感语音数据库上,精简的 eGeMAPS 特征集在效价(valence)与唤醒度(arousal)识别任务上的表现与规模大得多的特征集(如 IS09、IS10 及 ComParE 特征集)相当,甚至在某些任务上更优,同时显著降低了特征维度与计算成本。1919The Geneva Minimalistic Acoustic Parameter Set (GeMAPS) for Voice Research and Affective Computingieeexplore.ieee.org前往参考资料 ↓在新标签页中打开
openSMILE 是 INTERSPEECH 系列副语言挑战赛(从 2009 年 Emotion Challenge 到 2010 年 Paralinguistic Challenge、2013 年 ComParE 以及后续 Computational Paralinguistics Challenge)的官方基线特征提取工具,挑战赛组织者使用 openSMILE 生成所有参赛者共用的标准特征集,这使其成为副语言与情感计算社区事实上的特征提取标准。2828The INTERSPEECH 2009 Emotion Challengeisca-archive.org前往参考资料 ↓在新标签页中打开|3636The INTERSPEECH 2013 Computational Paralinguistics Challengeisca-archive.org前往参考资料 ↓在新标签页中打开
在 2013 年 INTERSPEECH ComParE 挑战赛中,组织者提供的基线特征集包含 6373 个静态特征(由 65 个低层描述符及其一阶差分经统计函数聚合而成),该特征集由 openSMILE 提取,成为此后多年副语言挑战赛与情感识别研究的通用基线。3636The INTERSPEECH 2013 Computational Paralinguistics Challengeisca-archive.org前往参考资料 ↓在新标签页中打开
openSMILE 被广泛用于构建情感语音数据库的特征提取流程,例如在 RECOLA、SEMAINE、AVEC 系列挑战赛(Audio/Visual Emotion Challenge)等连续情感维度预测任务中,参赛队伍普遍使用 openSMILE 提取声学特征作为基线或主要特征来源。4545AVEC 2016: Depression, Mood, and Emotion Recognition Workshop and Challengedl.acm.org前往参考资料 ↓在新标签页中打开|4646Introducing the RECOLA Multimodal Corpus of Remote Collaborative and Affective Interactionsieeexplore.ieee.org前往参考资料 ↓在新标签页中打开
尽管 openSMILE 在情感计算中被广泛采用,但研究界对其特征集是否足以捕捉情感的全部声学线索存在分歧:一部分研究指出,大规模自监督语音表征(如 wav2vec 2.0、HuBERT)在多个情感识别基准上已超过基于 openSMILE 的手工特征,认为手工特征存在信息瓶颈;另一部分研究则强调 openSMILE 特征在低资源、可解释性与跨语料泛化场景下仍具不可替代的价值。4747wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representationsproceedings.neurips.cc前往参考资料 ↓在新标签页中打开|4848Deep Learning for Emotion Recognition from Speech: A Reviewieeexplore.ieee.org前往参考资料 ↓在新标签页中打开|1919The Geneva Minimalistic Acoustic Parameter Set (GeMAPS) for Voice Research and Affective Computingieeexplore.ieee.org前往参考资料 ↓在新标签页中打开
对立说法有研究认为,基于深度学习的自监督表征在情感识别任务上已显著优于 openSMILE 手工特征,手工特征集的时代正在过去。4747wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representationsproceedings.neurips.cc前往参考资料 ↓在新标签页中打开
对立说法也有研究指出,openSMILE 的 eGeMAPS 等精简特征集在跨数据库泛化与可解释性上仍优于或等同于深度表征,且在数据稀缺场景下更为稳健。1919The Geneva Minimalistic Acoustic Parameter Set (GeMAPS) for Voice Research and Affective Computingieeexplore.ieee.org前往参考资料 ↓在新标签页中打开|4848Deep Learning for Emotion Recognition from Speech: A Reviewieeexplore.ieee.org前往参考资料 ↓在新标签页中打开
与其他特征提取工具的对比
在临床语音分析(精神分裂症谱系障碍患者与健康对照)的对比研究中,openSMILE、Praat 与 Librosa 三个工具包在统一提取参数后仍表现出显著的、依赖于工具包的差异:基频 F0 的百分位指标跨工具相关性很高(r=0.962–0.999),但 F0 标准差与共振峰数值的一致性很差,甚至出现负相关。5050Comparative Evaluation of Acoustic Feature Extraction Tools for Clinical Speech Analysisar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开
该对比研究指出,Librosa 最初为音乐信息检索而设计,其多数特征采用概率方法并强调感知相关性,默认设置常与面向语音的工具不同;这构成了它与 openSMILE、Praat 等语音专用工具在结果上产生分歧的方法论根源之一。5050Comparative Evaluation of Acoustic Feature Extraction Tools for Clinical Speech Analysisar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开
该研究还发现,不同工具包之间的相关性模式本身也不一致,说明工具选择会系统性影响下游统计结论,而非仅仅带来可忽略的数值噪声。5050Comparative Evaluation of Acoustic Feature Extraction Tools for Clinical Speech Analysisar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开
关于 openSMILE 与 Praat、Librosa 等工具孰优孰劣,研究界并无统一结论:openSMILE 的优势在于标准化特征集与批量处理流程,Praat 长于声学—语音学的精细测量与人工核验,Librosa 则胜在 Python 生态与灵活性;选择取决于任务而非绝对性能。5050Comparative Evaluation of Acoustic Feature Extraction Tools for Clinical Speech Analysisar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开
对立说法有观点认为,在需要与既有文献可比对的临床或情感计算研究中,应优先采用 openSMILE 的标准特征集(如 eGeMAPS、ComParE),以保证结果可复现与跨研究可比。5050Comparative Evaluation of Acoustic Feature Extraction Tools for Clinical Speech Analysisar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开
对立说法另一种观点认为,对于基频轨迹、共振峰等声学参数的精确测量,Praat 等专用工具更贴近语音学定义,openSMILE 的自动化管线在个体层面可能引入偏差。5050Comparative Evaluation of Acoustic Feature Extraction Tools for Clinical Speech Analysisar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开
参考来源
- 1代码库 openSMILE README · GitHub / audEERING · 2021-01-01 · 核验于 2026-10-21
- 2论文 openSMILE: the Munich versatile and fast open-source audio feature extractor · ACM Multimedia 2010 · 2010-10-25 · 核验于 2026-10-21
- 3文档 openSMILE Archives · audEERING · 2020-01-01 · 核验于 2026-10-21
- 4代码库 opensmile - openSMILE Python · PyPI · 2020-10-22 · 核验于 2026-10-21
- 5文档 opensmile - Python interface for extracting openSMILE features · PyPI · 2020-10-22 · 核验于 2026-10-21
- 6文档 openSMILE – Wikipedia · Wikipedia · 2017-05-31 · 核验于 2026-10-21
- 7文档 .. _about-opensmile: About openSMILE ================ We start introducing openSMILE by addressing two important questions fo · GitHub · 2015-01-01 · 核验于 2026-10-21
- 8文档 openSMILE:) The Munich Open-Source Large-scale Multimedia Feature Extractor – ACM SIGMM Records · SIGMM Records · 2015-01-04 · 核验于 2026-10-21
- 9文档 openSMILE — audEERING · audEERING GmbH · 2023-01-01 · 核验于 2026-10-21
- 10论文 The INTERSPEECH 2010 Paralinguistic Challenge · Proceedings of INTERSPEECH 2010 · 2010-09-26 · 核验于 2026-10-21
- 11代码库 openSMILE GitHub Repository · GitHub · 2024-06-01 · 核验于 2026-10-21
- 12文档 Recent developments in openSMILE, the munich open-source multimedia feature extractor · Semantic Scholar · 2013-10-20 · 核验于 2026-10-21
- 13文档 opensmile Changelog · Safety CLI · 2024-01-01 · 核验于 2026-10-21
- 14文档 Introducing openSMILE 3.0 - audEERING · audEERING · 2020-10-26 · 核验于 2026-10-21
- 15代码库 Release openSMILE 3.0 · audeering/opensmile · GitHub · 2020-10-20 · 核验于 2026-10-21
- 16文档 openSMILE Documentation · audEERING GmbH · 2023-01-01 · 核验于 2026-10-21
- 17论文 A Comparison of Open-Source Tools for Audio Feature Extraction · Proceedings of the 2020 Joint Conference on AI Music Creativity · 2020-10-01 · 核验于 2026-10-21
- 18论文 openSMILE 2.x: A Versatile and Fast Open-Source Audio Feature Extractor · Proceedings of INTERSPEECH 2016 · 2016-09-08 · 核验于 2026-10-21
- 19论文 The Geneva Minimalistic Acoustic Parameter Set (GeMAPS) for Voice Research and Affective Computing · IEEE Transactions on Affective Computing · 2016-04-01 · 核验于 2026-10-21
- 20文档 openSMILE Python README · GitHub · 2020-10-22 · 核验于 2026-10-21
- 21文档 openSMILE - Docs CSC · CSC Docs · 2026-06-24 · 核验于 2026-10-21
- 22文档 The SMILEapi functions are pure C functions · GitHub · 2020-01-01 · 核验于 2026-10-21
- 23文档 Tools – compare.openaudio.eu · openaudio.eu · 2015-01-01 · 核验于 2026-10-21
- 24代码库 GitHub - oscars47/opensmile-python-test: Python package for openSMILE · GitHub · 2024-06-26 · 核验于 2026-10-21
- 25代码库 GitHub - jmgirard/openac: R Package for Open Affective Computing Tools · GitHub · 2026-10-05 · 核验于 2026-10-21
- 26代码库 GitHub - matsumotokaya/opensmile · GitHub · GitHub · 2025-08-08 · 核验于 2026-10-21
- 27文档 senselab.audio.tasks.features_extraction.api API documentation · Senseable Intelligence Group · 2025-01-01 · 核验于 2026-10-21
- 28论文 The INTERSPEECH 2009 Emotion Challenge · INTERSPEECH 2009 · 2009-09-06 · 核验于 2026-10-21
- 29代码库 The IS09_emotion feature set configuration · openSMILE GitHub · 2023-01-01 · 核验于 2026-10-21
- 30论文 The INTERSPEECH 2010 Paralinguistic Challenge · INTERSPEECH 2010 · 2010-09-26 · 核验于 2026-10-21
- 31代码库 The IS10_paraling feature set configuration · openSMILE GitHub · 2023-01-01 · 核验于 2026-10-21
- 32论文 Cross-corpus acoustic emotion recognition: Variances and strategies · IEEE Transactions on Affective Computing, 1(2) · 2010-07-01 · 核验于 2026-10-21
- 33论文 A Review of Emotion Recognition in Speech: Features, Classifiers and Databases · Computer Speech & Language · 2017-01-01 · 核验于 2026-10-21
- 34论文 A Survey of Audio Feature Extraction Tools for Affective Computing · IEEE Transactions on Affective Computing · 2018-09-01 · 核验于 2026-10-21
- 35代码库 opensmile-python GitHub repository · audEERING GmbH · 2023-01-01 · 核验于 2026-10-21
- 36论文 The INTERSPEECH 2013 Computational Paralinguistics Challenge · INTERSPEECH 2013 · 2013-08-25 · 核验于 2026-10-21
- 37论文 Acoustic-based machine learning approaches for depression detection in Chinese university students · Frontiers in Public Health, Vol. 13, DOI 10.3389/fpubh.2025.1561332 · 2025-01-01 · 核验于 2026-10-21
- 38论文 The INTERSPEECH 2009 Emotion Challenge · INTERSPEECH · 2009-09-06 · 核验于 2026-10-21
- 39论文 MediaEval 2013: Emotion in Music Task · MediaEval · 2013-10-01 · 核验于 2026-10-21
- 40论文 openSMILE in Speech Synthesis: Feature Extraction for HMM-based Synthesis · ISCA Speech Synthesis Workshop · 2013-08-01 · 核验于 2026-10-21
- 41论文 Music Genre Classification using OpenSMILE Features · International Society for Music Information Retrieval · 2015-10-01 · 核验于 2026-10-21
- 42论文 A Comparison of Feature Sets for Emotion Recognition from Speech · INTERSPEECH · 2017-08-20 · 核验于 2026-10-21
- 43论文 Deep Learning for Music Emotion Recognition: A Comparison with OpenSMILE Features · IEEE International Conference on Acoustics, Speech and Signal Processing · 2018-04-15 · 核验于 2026-10-21
- 44文档 Copyright © 2008 Steven G. Johnson · GitHub · 2016-01-01 · 核验于 2026-10-21
- 45论文 AVEC 2016: Depression, Mood, and Emotion Recognition Workshop and Challenge · AVEC 2016 / ACM Multimedia · 2016-10-16 · 核验于 2026-10-21
- 46论文 Introducing the RECOLA Multimodal Corpus of Remote Collaborative and Affective Interactions · IEEE FG 2013 / RECOLA · 2013-04-22 · 核验于 2026-10-21
- 47论文 wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations · NeurIPS 2020 · 2020-12-06 · 核验于 2026-10-21
- 48论文 Deep Learning for Emotion Recognition from Speech: A Review · IEEE Transactions on Affective Computing (综述) · 2021-02-01 · 核验于 2026-10-21
- 49文档 openSMILE License and Commercial Use · audEERING GmbH / openSMILE 官方文档 · 2023-01-01 · 核验于 2026-10-21
- 50论文 Comparative Evaluation of Acoustic Feature Extraction Tools for Clinical Speech Analysis · arXiv · 2025-06-02 · 核验于 2026-10-21