特征提取

语音信号是短时平稳的：在 10–30 ms 的尺度内，声道形状近似不变，因此逐帧分析把连续语音切成 20–30 ms 的帧、帧移通常取 10 ms，并在每帧上加汉明窗或汉宁窗以减小频谱泄漏。^{66Speech and Language Processing (3rd ed. draft), Chapter 9: Automatic Speech Recognitionweb.stanford.edu前往参考资料 ↓在新标签页中打开|77The HTK Book (for HTK Version 3.4), Chapter 5: Speech Input/Outputhtk.eng.cam.ac.uk前往参考资料 ↓在新标签页中打开}

预加重（pre-emphasis）用一阶高通滤波器 y[n]=x[n]−αx[n−1]（α 常取 0.95–0.97）提升高频分量，补偿语音频谱约 −6 dB/倍频程的滚降，使高频共振峰在后续频谱分析中更清晰。^{66Speech and Language Processing (3rd ed. draft), Chapter 9: Automatic Speech Recognitionweb.stanford.edu前往参考资料 ↓在新标签页中打开|88Discrete-Time Speech Signal Processing: Principles and Practicepearson.com前往参考资料 ↓在新标签页中打开}

帧级声学特征按计算方式可分为时域特征（短时能量、过零率、短时自相关）与频域/倒谱特征（滤波器组能量、MFCC、PLP）；短时能量与过零率常组合用于语音端点检测和清浊音判别。^{66Speech and Language Processing (3rd ed. draft), Chapter 9: Automatic Speech Recognitionweb.stanford.edu前往参考资料 ↓在新标签页中打开|77The HTK Book (for HTK Version 3.4), Chapter 5: Speech Input/Outputhtk.eng.cam.ac.uk前往参考资料 ↓在新标签页中打开}

MFCC 的计算流程为：分帧加窗 → 离散傅里叶变换 → 梅尔刻度三角滤波器组取对数能量 → 离散余弦变换取前若干维系数；梅尔刻度按人耳对频率的非线性感知设计，低频分辨率高、高频分辨率低。^{66Speech and Language Processing (3rd ed. draft), Chapter 9: Automatic Speech Recognitionweb.stanford.edu前往参考资料 ↓在新标签页中打开|99Comparison of parametric representations for monosyllabic word recognition in continuously spoken sentencesieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

MFCC 通常取 12–13 维倒谱系数，并附加一阶差分（Δ）与二阶差分（ΔΔ）以刻画帧间动态；在 GMM-HMM 声学模型时代，39 维 MFCC（13 静态 + 13Δ + 13ΔΔ）是广泛使用的基线配置。^{66Speech and Language Processing (3rd ed. draft), Chapter 9: Automatic Speech Recognitionweb.stanford.edu前往参考资料 ↓在新标签页中打开|99Comparison of parametric representations for monosyllabic word recognition in continuously spoken sentencesieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

PLP（感知线性预测）特征由 Hermansky 于 1990 年提出，用等响度预加重、临界带滤波和强度-响度幂律变换后再做全极点建模，相比 MFCC 更强调听觉感知机理。^{1010Perceptual linear predictive (PLP) analysis of speechpubs.aip.org前往参考资料 ↓在新标签页中打开}

在深度神经网络声学模型中，滤波器组（filterbank）能量特征因保留更多原始频谱细节、且 DNN 能自行学习频带间变换，常被用作 MFCC 的替代输入；Kaldi 等工具链同时支持 MFCC 与 filterbank 两种前端。^{1111The Kaldi Speech Recognition Toolkitieeexplore.ieee.org前往参考资料 ↓在新标签页中打开|1212Deep Neural Networks for Acoustic Modeling in Speech Recognition: The Shared Views of Four Research Groupsieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

帧级特征本身不含上下文，实践中常通过拼接相邻帧（如 ±3 帧）或使用差分特征来引入短时上下文；在端到端模型中，这一角色部分被卷积/循环层取代。^{1111The Kaldi Speech Recognition Toolkitieeexplore.ieee.org前往参考资料 ↓在新标签页中打开|1212Deep Neural Networks for Acoustic Modeling in Speech Recognition: The Shared Views of Four Research Groupsieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

帧长与帧移的选择是精度与时间分辨率的折中：帧长过短则频率分辨率不足，过长则违背短时平稳假设；25 ms 帧长、10 ms 帧移是语音识别领域长期沿用的默认值。^{66Speech and Language Processing (3rd ed. draft), Chapter 9: Automatic Speech Recognitionweb.stanford.edu前往参考资料 ↓在新标签页中打开|77The HTK Book (for HTK Version 3.4), Chapter 5: Speech Input/Outputhtk.eng.cam.ac.uk前往参考资料 ↓在新标签页中打开}

除 MFCC/PLP 外，常见的帧级声学特征还包括线性预测系数（LPC）、感知线性预测（PLP）、基频（F0）与清浊音判决、谱质心与谱滚降等谱形状特征，它们分别服务于编码、识别、韵律分析等不同任务。^{66Speech and Language Processing (3rd ed. draft), Chapter 9: Automatic Speech Recognitionweb.stanford.edu前往参考资料 ↓在新标签页中打开|88Discrete-Time Speech Signal Processing: Principles and Practicepearson.com前往参考资料 ↓在新标签页中打开}

心电信号的特征提取通常分为时域、频域和时频域三类方法：时域方法直接测量波形形态与间期（如 R 波峰值、RR 间期、QRS 宽度、P/T 波振幅），频域方法对整段或分段信号做傅里叶变换后提取功率谱密度、谱熵等指标，时频域方法则用短时傅里叶变换、小波变换或经验模态分解刻画非平稳成分。^{1313ECG feature extraction techniques - a survey approacharxiv.org前往参考资料 ↓在新标签页中打开|1414A review of feature extraction techniques for ECG signal processingsciencedirect.com前往参考资料 ↓在新标签页中打开}

QRS 检测是心电特征提取的前置环节，Pan 与 Tompkins 于 1985 年提出的方法把带通滤波、微分、平方、滑动窗积分与自适应阈值组合成一条流水线，在 MIT-BIH 心律失常数据库上报告了约 99.3% 的敏感度和 99.5% 的正预测率，长期被当作基准算法。^{1515A Real-Time QRS Detection Algorithmieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

心率变异性分析是心电特征提取的典型下游应用，其标准指标分为时域（SDNN、RMSSD、pNN50）与频域（VLF、LF、HF 频带功率及 LF/HF 比值）两类，1996 年发表的 Task Force 共识给出了各指标的测量定义、推荐记录时长与频带边界，是该领域被引用最广的方法学规范。^{1616Heart rate variability: standards of measurement, physiological interpretation and clinical useahajournals.org前往参考资料 ↓在新标签页中打开}

小波变换因具备多分辨率分析能力，被广泛用于心电 QRS 复合波检测与 P 波、T 波等低幅成分的定位，典型做法是在二进尺度上寻找模极大值或对特定频带重构后做阈值判别。^{1717ECG beat detection using wavelet transformieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

光电容积脉搏波（PPG）的特征提取常从单周期波形中抽取上升时间、下降时间、主峰与重搏波幅度比、脉搏波面积、脉搏变异等形态学指标，并结合频域功率分析评估外周循环与自主神经状态。^{1818Photoplethysmography and its application in clinical physiological measurementiopscience.iop.org前往参考资料 ↓在新标签页中打开}

脑电信号的特征提取除频带功率（δ、θ、α、β、γ）外，常用共空间模式（CSP）及其正则化变体构造空间滤波器，以最大化两类运动想象任务之间的方差比，是运动想象脑机接口的经典特征提取方法。^{1919Optimizing spatial filters for robust EEG single-trial analysisieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

肌电信号的特征提取在时域上常用均方根、波形长度、过零率、斜率符号变化数等指标，这些指标计算量小、适合嵌入式实时实现，在肌电控制假肢中作为分类器输入被长期沿用。^{2020A review of EMG feature extraction for the control of powered upper limb prosthesesjneuroengrehab.biomedcentral.com前往参考资料 ↓在新标签页中打开}

生理信号特征提取面临的主要困难包括：基线漂移与工频干扰等噪声污染、个体间波形形态差异大、电极位置与运动伪迹导致分布漂移，因此多数流程在特征提取前需要先做带通滤波、陷波与伪迹剔除等预处理。^{1313ECG feature extraction techniques - a survey approacharxiv.org前往参考资料 ↓在新标签页中打开|1515A Real-Time QRS Detection Algorithmieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

PhysioNet 等公开数据库（如 MIT-BIH 心律失常数据库、MIT-BIH 正常窦性心律数据库）为心电特征提取算法的可复现评测提供了统一数据基础，使不同方法之间的敏感度、正预测率等指标具备可比性。^{2121PhysioNet: a web-based resource for the study of physiologic signalsphysionet.org前往参考资料 ↓在新标签页中打开}

在深度学习普及后，端到端卷积网络与循环网络可以直接从原始心电波形学习表示，绕开手工特征设计；但手工特征在样本量小、可解释性要求高或算力受限的嵌入式场景中仍被广泛采用。^{2222Deep learning for ECG analysis: benchmarks and insights from PTB-XLieeexplore.ieee.org前往参考资料 ↓在新标签页中打开}

主成分分析（Principal Component Analysis, PCA）是一种线性正交变换：把原始变量投影到一组按方差从大到小排列的新坐标轴上，这些新坐标轴称为主成分，彼此正交。其目标是使投影后数据的方差最大化，从而用少数几个成分概括原始数据的主要变异。^{2525Principal component analysisen.wikipedia.org前往参考资料 ↓在新标签页中打开|2626A Tutorial on Principal Component Analysisarxiv.org前往参考资料 ↓在新标签页中打开}

PCA 的数学核心是对中心化后数据的协方差矩阵（或相关矩阵）做特征分解，特征值对应各主成分解释的方差大小，特征向量即主成分方向；等价地，也可对中心化数据矩阵做奇异值分解（SVD）来求得主成分。^{2525Principal component analysisen.wikipedia.org前往参考资料 ↓在新标签页中打开|2727Principal Component Analysis (PCA) - scikit-learn documentationscikit-learn.org前往参考资料 ↓在新标签页中打开}

在特征提取的语境下，PCA 常被用作无监督的线性降维手段：保留前 k 个主成分即可在最小二乘意义下最小化重构误差，因此它同时是一种特征提取方法和一种统计降维方法。^{2525Principal component analysisen.wikipedia.org前往参考资料 ↓在新标签页中打开|2626A Tutorial on Principal Component Analysisarxiv.org前往参考资料 ↓在新标签页中打开}

PCA 由卡尔·皮尔逊（Karl Pearson）于 1901 年提出，后由哈罗德·霍特林（Harold Hotelling）在 1930 年代独立发展并推广，因此在一些文献中也被称为霍特林变换或 KL 变换的线性情形。^{2828On Lines and Planes of Closest Fit to Systems of Points in Spacedoi.org前往参考资料 ↓在新标签页中打开|2929Analysis of a complex of statistical variables into principal componentsdoi.org前往参考资料 ↓在新标签页中打开}

PCA 对变量的尺度敏感：若各变量量纲不同，通常需要先做标准化（使协方差矩阵变为相关矩阵），否则方差大的变量会主导主成分方向。^{2525Principal component analysisen.wikipedia.org前往参考资料 ↓在新标签页中打开|2626A Tutorial on Principal Component Analysisarxiv.org前往参考资料 ↓在新标签页中打开}

PCA 是线性方法，只能捕捉变量间的线性相关结构；对存在非线性流形结构的数据，PCA 可能无法给出有效的主成分，此时可考虑核 PCA（Kernel PCA）等非线性扩展。^{2626A Tutorial on Principal Component Analysisarxiv.org前往参考资料 ↓在新标签页中打开|2727Principal Component Analysis (PCA) - scikit-learn documentationscikit-learn.org前往参考资料 ↓在新标签页中打开}

主成分个数的选取没有唯一标准，常见做法包括：保留累计解释方差达到某一阈值（如 85% 或 95%）的前若干个成分、保留特征值大于 1 的成分（Kaiser 准则），或依据碎石图（scree plot）的拐点判断。^{2525Principal component analysisen.wikipedia.org前往参考资料 ↓在新标签页中打开|2626A Tutorial on Principal Component Analysisarxiv.org前往参考资料 ↓在新标签页中打开}

PCA 提取出的主成分是原始变量的线性组合，其系数（载荷）可用来解释各原始变量对主成分的贡献，但主成分本身通常缺乏直接的物理含义，解释时需谨慎。^{2525Principal component analysisen.wikipedia.org前往参考资料 ↓在新标签页中打开|2626A Tutorial on Principal Component Analysisarxiv.org前往参考资料 ↓在新标签页中打开}

在工程实践中，PCA 被广泛用于人脸识别（如特征脸方法）、图像压缩、过程监控与故障诊断等场景，作为预处理或特征提取步骤。^{3030Eigenfaces for Recognitiondoi.org前往参考资料 ↓在新标签页中打开|3131Fault detection and diagnosis based on PCA: a reviewdoi.org前往参考资料 ↓在新标签页中打开}

核方法（kernel methods）通过一个核函数 k(x, x') 隐式地把样本映射到高维再生核希尔伯特空间（RKHS），从而在不显式计算高维坐标的情况下完成非线性特征提取与学习；其代表性算法包括核主成分分析（kernel PCA）、核 Fisher 判别分析（kernel FDA）与支持向量机（SVM）。^{3232Nonlinear Component Analysis as a Kernel Eigenvalue Problemmitpressjournals.org前往参考资料 ↓在新标签页中打开|3333A Tutorial on Support Vector Machines for Pattern Recognitionlink.springer.com前往参考资料 ↓在新标签页中打开}

核主成分分析由 Schölkopf、Smola 与 Müller 于 1998 年提出，做法是在核矩阵（Gram 矩阵）上做中心化后求解特征值问题，得到原空间中的非线性主成分方向；其计算复杂度主要由 n×n 核矩阵的构造与特征分解决定，n 为样本数。^{3232Nonlinear Component Analysis as a Kernel Eigenvalue Problemmitpressjournals.org前往参考资料 ↓在新标签页中打开}

核方法的核心限制在于核矩阵规模随样本数平方增长，且核函数与超参数的选择缺乏统一准则；Nyström 近似、随机傅里叶特征（random Fourier features）等低秩或显式映射方法被提出以缓解大规模场景下的计算与存储瓶颈。^{3434Random Features for Large-Scale Kernel Machinespapers.nips.cc前往参考资料 ↓在新标签页中打开}

流形学习（manifold learning）假设高维观测数据集中分布在一个低维非线性流形附近，目标是在保持某种局部或全局几何关系的前提下恢复低维表示；等距映射（Isomap）、局部线性嵌入（LLE）与拉普拉斯特征映射（Laplacian eigenmaps）是三类奠基性方法，分别于 2000 年前后发表。^{3535A Global Geometric Framework for Nonlinear Dimensionality Reductionscience.org前往参考资料 ↓在新标签页中打开|3636Nonlinear Dimensionality Reduction by Locally Linear Embeddingscience.org前往参考资料 ↓在新标签页中打开|3737Laplacian Eigenmaps for Dimensionality Reduction and Data Representationmitpressjournals.org前往参考资料 ↓在新标签页中打开}

Isomap 用测地距离（图上最短路径近似）替代欧氏距离，再输入经典多维缩放（MDS），因此能展开 Swiss roll 一类可展曲面；LLE 则用每个样本的局部线性重构权重刻画邻域结构，并在低维中保持这些权重不变。^{3535A Global Geometric Framework for Nonlinear Dimensionality Reductionscience.org前往参考资料 ↓在新标签页中打开|3636Nonlinear Dimensionality Reduction by Locally Linear Embeddingscience.org前往参考资料 ↓在新标签页中打开}

t-SNE 由 van der Maaten 与 Hinton 于 2008 年提出，通过在低维空间中使用重尾的 t 分布建模成对相似度，缓解了高维到低维映射时的“拥挤问题”，成为高维特征可视化与探索的常用手段。^{3838Visualizing Data using t-SNEjmlr.org前往参考资料 ↓在新标签页中打开}

流形学习方法对邻域大小、噪声与采样密度敏感，且多数方法只给出训练样本的低维坐标而不直接提供对新样本的映射（out-of-sample extension），这限制了它们作为通用特征提取器的部署；核方法与流形学习因此更多用于探索性分析、可视化与降维预处理，而非端到端特征学习。^{3939Dimensionality Reduction: A Comparative Reviewtilburguniversity.edu前往参考资料 ↓在新标签页中打开}

核方法与流形学习之间存在理论联系：核 PCA 与 Isomap、LLE 等都可以被统一到基于核矩阵或图拉普拉斯算子的谱方法框架下，区别在于所构造的相似度矩阵不同。^{4040Laplacian Eigenmaps and Spectral Techniques for Embedding and Clusteringpapers.nips.cc前往参考资料 ↓在新标签页中打开}

卷积神经网络（Convolutional Neural Network, CNN）是一类以卷积运算为核心的前馈神经网络，其典型结构由交替堆叠的卷积层与池化层、以及末端的全连接层组成；卷积层用一组可学习的卷积核在输入上滑动做加权求和，从而在局部感受野内检测某种模式。^{4141US 12,182,717 B2patentsgazette.uspto.gov前往参考资料 ↓在新标签页中打开}

在特征提取的语境下，CNN 的卷积层与池化层充当可学习的特征提取器：浅层卷积核响应边缘、角点、颜色斑块等低级模式，随着层数加深，感受野扩大，深层特征逐渐组合成部件乃至物体级的中高级语义表示，这一层级化表示由数据驱动、通过反向传播端到端训练得到，而非人工设计。^{4141US 12,182,717 B2patentsgazette.uspto.gov前往参考资料 ↓在新标签页中打开}

与人工设计的特征（如 SIFT、HOG、MFCC）相比，CNN 特征提取的关键差别在于特征本身是训练出来的参数：卷积核权重在反向传播中依据任务损失更新，因此同一网络在不同数据集或不同任务上会学到不同的特征，而手工特征的定义与数据无关。^{4141US 12,182,717 B2patentsgazette.uspto.gov前往参考资料 ↓在新标签页中打开}

权值共享与局部连接是 CNN 作为特征提取器的两个结构性要点：同一个卷积核在整幅输入上复用，使参数量与输入尺寸解耦并带来平移等变性；每个输出单元只连接输入的局部邻域，使网络先捕捉局部模式再逐层组合。^{4141US 12,182,717 B2patentsgazette.uspto.gov前往参考资料 ↓在新标签页中打开}

池化层（如最大池化、平均池化）对卷积响应做下采样，在保留显著响应的同时降低特征图的空间分辨率，从而减小后续计算量并赋予特征一定程度的局部平移不变性。^{4141US 12,182,717 B2patentsgazette.uspto.gov前往参考资料 ↓在新标签页中打开}

在工程实现上，CNN 特征提取已被做成可专利化的硬件/计算主题：Expedera 公司于 2021 年 10 月 18 日提交、2024 年 12 月 31 日授权的美国专利 US 12,182,717 B2 即题为“Feature extraction with a convolutional neural network”，其分类号覆盖 G06N 3/04（神经网络结构）、G06N 3/084（反向传播）与 G06V 10/44（图像特征提取）等，说明卷积特征提取同时落在算法与硬件加速两个层面。^{4141US 12,182,717 B2patentsgazette.uspto.gov前往参考资料 ↓在新标签页中打开}

把 CNN 当作固定特征提取器使用是一种常见做法：取在大型数据集上预训练好的网络，去掉末端分类层，将中间层或全局池化后的输出作为特征向量，再接到下游的分类器或检索系统上；这种做法在标注数据不足时尤其常见。^{4141US 12,182,717 B2patentsgazette.uspto.gov前往参考资料 ↓在新标签页中打开}

表征学习（representation learning）的核心主张是：机器学习算法的成败在很大程度上取决于数据被表示的方式，因为不同的表示会以不同程度纠缠或掩盖数据背后真正起作用的变异因素；因此与其依赖领域知识手工设计特征，不如用通用先验让算法自己学出表示。^{4242Representation Learning: A Review and New Perspectivesar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

自编码器（auto-encoder）是表征学习中最具代表性的一类无监督特征学习方法：它由编码器与解码器组成，通过要求网络从编码结果重建输入来施加约束，从而迫使中间层编码保留输入中最重要的信息，这个中间编码即被当作输入的特征表示使用。^{4242Representation Learning: A Review and New Perspectivesar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

在 Bengio、Courville 与 Vincent 的综述中，自编码器与概率模型、流形学习、深度网络并列，被列为无监督特征学习与深度学习的主要进展方向之一，说明自编码器在表征学习谱系中处于基础性位置。^{4242Representation Learning: A Review and New Perspectivesar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

表征学习已被应用到音乐领域，在复调音乐转写（polyphonic transcription）任务上显著超过当时的最好水平，在由 4 个数据集构成的标准基准上取得约 5% 到 30% 的相对误差改进，这是深度表征学习在真实信号任务上有效的早期证据之一。^{4242Representation Learning: A Review and New Perspectivesar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

该综述把「什么样的表示算是好的表示」作为开放问题提出，指出尽管通用先验下的表示学习已经取得进展，但如何设计出更强有力的表征学习算法、以及如何从理论上刻画好表示的性质，仍是长期未解的问题。^{4242Representation Learning: A Review and New Perspectivesar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}