回归建模

逻辑回归（logistic regression）是广义线性模型（generalized linear model, GLM）的一个特例：它保留线性预测子 β₀+β₁x₁+…+βₚxₚ，但通过联系函数把线性预测子映射到因变量的分布参数上，而不是像普通线性回归那样直接把线性预测子当作因变量。^{11图文详情——科普中国资源服务cloud.kepuchina.cn前往参考资料 ↓在新标签页中打开|161638 广义线性模型 | R语言教程math.pku.edu.cn前往参考资料 ↓在新标签页中打开}

广义线性模型由三部分构成：随机部分（因变量 Y 的条件分布 F(·;μ)）、系统部分（自变量的线性组合 β₀+β₁x₁+…+βₚxₚ）以及联系函数 g(·)，后者把分布参数（通常是均值 μ=EY）与线性组合连接起来，即 g(μ)=β₀+β₁x₁+…+βₚxₚ。^{161638 广义线性模型 | R语言教程math.pku.edu.cn前往参考资料 ↓在新标签页中打开}

在二分类逻辑回归中，因变量服从二项分布，联系函数取 logit 函数 g(p)=ln[p/(1−p)]，于是模型写作 p=1/(1+e^{−(β₀+β₁x₁+…+βₚxₚ)})，输出值被限制在 0 与 1 之间，可直接解释为事件发生的概率。^{11图文详情——科普中国资源服务cloud.kepuchina.cn前往参考资料 ↓在新标签页中打开|161638 广义线性模型 | R语言教程math.pku.edu.cn前往参考资料 ↓在新标签页中打开}

逻辑回归引入 logit 变换的动机在于取值区间的匹配：二分类因变量作为概率其取值限于 0–1，而线性预测子的取值范围是整个实数轴；把发生概率与未发生概率之比取对数（即发生比的对数，log-odds），既把取值范围扩展到全体实数，又常使变换后的因变量与自变量呈线性关系。^{11图文详情——科普中国资源服务cloud.kepuchina.cn前往参考资料 ↓在新标签页中打开}

逻辑回归的参数估计通常不采用最小二乘法，而采用最大似然法：因变量与残差服从二项分布而非正态分布，因此以似然函数最大化求解系数并进行检验。^{11图文详情——科普中国资源服务cloud.kepuchina.cn前往参考资料 ↓在新标签页中打开}

逻辑回归的因变量既可以是二分类的，也可以是多分类的；二分类形式最常用、最易解释，多分类情形可用 softmax 方法处理。^{11图文详情——科普中国资源服务cloud.kepuchina.cn前往参考资料 ↓在新标签页中打开}

逻辑回归的适用条件包括：因变量为二分类变量或事件发生率；自变量与 logit 概率之间呈线性关系；各观测对象之间相互独立。^{11图文详情——科普中国资源服务cloud.kepuchina.cn前往参考资料 ↓在新标签页中打开}

在通用统计软件与 GIS 工具中，逻辑回归被作为广义线性回归的「二进制（逻辑）」模型类型实现，与连续（高斯/OLS）模型、计数（泊松）模型并列；使用时要求因变量字段只含 1 和 0（或映射为 1/0 的两个文本取值），且取值必须有变化。^{1717广义线性回归 (GeoAnalytics Desktop)—ArcGIS Pro | 文档pro.arcgis.com前往参考资料 ↓在新标签页中打开}

逻辑回归与 大语言模型 等现代机器学习模型中的分类输出层在数学形式上有亲缘关系：softmax 回归可视为二分类逻辑回归向多类别的推广，但二者的估计与正则化实践差异很大，不宜简单等同。^{11图文详情——科普中国资源服务cloud.kepuchina.cn前往参考资料 ↓在新标签页中打开}

泊松回归是广义线性模型（GLM）的一个特例，专门用于对计数型响应变量建模；它假定响应变量服从泊松分布，并通过对数链接函数把线性预测子与事件发生率的均值联系起来。^{1818广义线性模型：指数族、链接函数和泊松回归 | Bohriumscipedia.bohrium.com前往参考资料 ↓在新标签页中打开|1919广义线性回归 (GeoAnalytics)—ArcGIS Pro | 文档pro.arcgis.com前往参考资料 ↓在新标签页中打开}

在泊松回归中，链接函数取自然对数，即 log(μ) = Xβ，因此系数 β_j 可解释为：在其他变量不变时，第 j 个解释变量每增加一个单位，事件发生率乘以 exp(β_j)，即一种乘性效应。^{1818广义线性模型：指数族、链接函数和泊松回归 | Bohriumscipedia.bohrium.com前往参考资料 ↓在新标签页中打开}

泊松回归的核心假设是条件均值等于条件方差（等离散），但实际计数数据常出现方差大于均值的过离散现象；此时常用负二项回归或准泊松方法进行修正，或改用零膨胀模型处理过多的零计数。^{1818广义线性模型：指数族、链接函数和泊松回归 | Bohriumscipedia.bohrium.com前往参考资料 ↓在新标签页中打开}

当不同观测单元的观测时长或暴露量不同时，泊松回归通过引入偏移项（offset）来建模事件发生率而非事件数，偏移项的系数固定为 1，从而保证不同暴露水平之间的比较是公平的。^{1818广义线性模型：指数族、链接函数和泊松回归 | Bohriumscipedia.bohrium.com前往参考资料 ↓在新标签页中打开}

泊松回归的参数估计通常采用迭代重加权最小二乘（IRLS）算法：每一步求解一个加权最小二乘问题，权重等于当前拟合的方差（泊松情形下为 μ̂_i），方差较大的观测被赋予较小权重，这体现了模型对高信噪比数据的偏好。^{1818广义线性模型：指数族、链接函数和泊松回归 | Bohriumscipedia.bohrium.com前往参考资料 ↓在新标签页中打开}

在 GIS 与空间分析工具（如 ArcGIS Pro 的广义线性回归工具）中，泊松回归被作为计数模型的默认选项，用于犯罪数量、疾病发生数等事件计数或固定分母比率的建模，且要求因变量为非负整数。^{1919广义线性回归 (GeoAnalytics)—ArcGIS Pro | 文档pro.arcgis.com前往参考资料 ↓在新标签页中打开}

马尔可夫链蒙特卡洛（Markov Chain Monte Carlo, MCMC）是贝叶斯回归建模中进行后验推断的核心计算手段：当后验分布无法解析求解时，通过构造以目标后验为平稳分布的马尔可夫链并从中抽样，用样本近似后验分布，进而得到参数的点估计与不确定性量化。^{2121针对偏态生物医学数据的稳健贝叶斯回归建模方法 - 生物通news.ebiotrade.com前往参考资料 ↓在新标签页中打开}

在针对偏态、厚尾且严格为正的生物医学数据的稳健贝叶斯回归中，研究者采用 log-symmetric 分布设定似然、精心设定先验，并使用 MCMC 完成后验推断，从而同时获得对异常值的稳健性、较精确的参数估计和全面的不确定性量化。^{2121针对偏态生物医学数据的稳健贝叶斯回归建模方法 - 生物通news.ebiotrade.com前往参考资料 ↓在新标签页中打开}

贝叶斯回归模型的比较与选择常借助信息准则与预测性指标完成；上述稳健贝叶斯回归研究即使用 AIC、BIC、DIC、ICOMP、WAIC 与 PSIS-LOO 等多种准则进行评估，并通过模拟实验与真实数据集验证方法的有效性与实用性。^{2121针对偏态生物医学数据的稳健贝叶斯回归建模方法 - 生物通news.ebiotrade.com前往参考资料 ↓在新标签页中打开}

INLA（Integrated Nested Laplace Approximation，集成嵌套拉普拉斯近似）由 Håvard Rue、Sara Martino 与 Nicolas Chopin 于 2009 年在《Journal of the Royal Statistical Society: Series B》上提出，是一种针对潜高斯模型（latent Gaussian model）的确定性贝叶斯推断方法，用嵌套拉普拉斯近似替代 MCMC 采样来逼近后验边缘分布。^{2222Approximate Bayesian inference for latent Gaussian models by using integrated nested Laplace approximationsdoi.org前往参考资料 ↓在新标签页中打开}

INLA 的核心思路是：把模型中的参数分为超参数（hyperparameters）与潜高斯场两部分，先对超参数的后验边缘分布做拉普拉斯近似，再在给定超参数的网格点上对潜变量做条件拉普拉斯近似，最后用数值积分把两层近似组合成每个潜变量与超参数的后验边缘密度。^{2222Approximate Bayesian inference for latent Gaussian models by using integrated nested Laplace approximationsdoi.org前往参考资料 ↓在新标签页中打开|2323Bayesian Computing with INLA: A Reviewdoi.org前往参考资料 ↓在新标签页中打开}

Rue 等人在原文中强调，INLA 的适用前提是模型能被表述为潜高斯模型：观测相互条件独立（或近似独立），且全部线性预测子可由一个服从高斯马尔可夫随机场（GMRF）先验的潜向量表示；这一框架覆盖了广义线性模型、广义线性混合模型、加性模型、时空模型与许多空间疾病制图模型。^{2222Approximate Bayesian inference for latent Gaussian models by using integrated nested Laplace approximationsdoi.org前往参考资料 ↓在新标签页中打开|2323Bayesian Computing with INLA: A Reviewdoi.org前往参考资料 ↓在新标签页中打开}

与 MCMC 相比，INLA 是确定性的，不依赖链的收敛诊断，因此通常能在秒级到分钟级完成过去需要长时间采样的模型拟合；Rue 等的论文与后续综述都把计算速度列为 INLA 相对 MCMC 的主要卖点。^{2222Approximate Bayesian inference for latent Gaussian models by using integrated nested Laplace approximationsdoi.org前往参考资料 ↓在新标签页中打开|2424An Introduction to INLA with Rr-inla.org前往参考资料 ↓在新标签页中打开}

INLA 的参考实现是 R 包 R-INLA，通过 inla() 函数以公式接口拟合模型，并支持 f() 项来声明空间随机效应、时间随机游走、BYM2 等结构化先验；该包不在 CRAN 主库上，需从 R-INLA 项目自己的仓库安装。^{2424An Introduction to INLA with Rr-inla.org前往参考资料 ↓在新标签页中打开}

Ferkingstad 与 Rue 曾指出，当超参数维度较高时，INLA 所需的网格点数随维度指数增长，标准实现因此难以处理超参数多于约 5–7 个的模型；后续工作通过 CCD（central composite design）积分点与简化拉普拉斯近似缓解了这一问题，但高维超参数仍是 INLA 的已知瓶颈。^{2424An Introduction to INLA with Rr-inla.org前往参考资料 ↓在新标签页中打开}

在空间与时空流行病学、生态学中，INLA 已成为拟合 BYM（Besag–York–Mollié）及其改进版 BYM2 模型、做疾病制图与相对风险估计的常用工具，Rue 等的原始论文即以空间疾病制图为主要示例之一。^{2222Approximate Bayesian inference for latent Gaussian models by using integrated nested Laplace approximationsdoi.org前往参考资料 ↓在新标签页中打开|2424An Introduction to INLA with Rr-inla.org前往参考资料 ↓在新标签页中打开}

INLA 与 贝叶斯回归建模 中常用的 MCMC（如 Stan、JAGS、NIMBLE）构成互补：前者适合潜高斯结构明确、需要快速反复拟合的场景，后者在模型超出潜高斯框架（如非线性常微分方程模型、复杂层次先验）时更灵活。^{2323Bayesian Computing with INLA: A Reviewdoi.org前往参考资料 ↓在新标签页中打开|2525Stan Reference Manualmc-stan.org前往参考资料 ↓在新标签页中打开}

INLA 方法已被扩展到部分超出原始潜高斯框架的模型，例如通过结合重要性抽样或 MCMC 处理非高斯超参数先验，以及用于联合建模的 multi-likelihood 扩展；这些扩展在 R-INLA 中以实验性功能提供。^{2424An Introduction to INLA with Rr-inla.org前往参考资料 ↓在新标签页中打开|2424An Introduction to INLA with Rr-inla.org前往参考资料 ↓在新标签页中打开}

普通最小二乘（OLS）估计量在经典线性回归假设（误差零均值、同方差、无自相关、解释变量非随机或与误差不相关、无完全共线性）下是线性无偏估计量，这一结论即高斯–马尔可夫定理；若进一步假定误差服从正态分布，OLS 同时是最大似然估计量。^{2626The Gauss-Markov Theoremonline.stat.psu.edu前往参考资料 ↓在新标签页中打开|2727Linear Regressionen.wikipedia.org前往参考资料 ↓在新标签页中打开}

OLS 的闭式解为 β̂ = (XᵀX)⁻¹Xᵀy；当 XᵀX 接近奇异（解释变量高度共线）时，直接求逆在数值上不稳定，实践中通常改用 QR 分解或奇异值分解求解，而不是显式构造逆矩阵。^{2727Linear Regressionen.wikipedia.org前往参考资料 ↓在新标签页中打开|2828The Elements of Statistical Learning (2nd ed.), Chapter 3hastie.su.domains前往参考资料 ↓在新标签页中打开}

在误差同方差且相互独立的假定下，OLS 系数估计的协方差矩阵为 σ²(XᵀX)⁻¹，其中 σ² 由残差平方和除以 n−p 估计（p 为含截距的参数个数）；据此构造的 t 统计量在正态误差下服从精确的 t 分布，可用于单个系数的显著性检验。^{2626The Gauss-Markov Theoremonline.stat.psu.edu前往参考资料 ↓在新标签页中打开|2727Linear Regressionen.wikipedia.org前往参考资料 ↓在新标签页中打开}

当误差存在异方差时，OLS 系数估计仍无偏但不再有效，且常规标准误有偏；此时常用异方差稳健（White/HC）标准误，或改用广义最小二乘（GLS）/可行广义最小二乘（FGLS）以提高效率。^{2727Linear Regressionen.wikipedia.org前往参考资料 ↓在新标签页中打开|2929Econometricsen.wikipedia.org前往参考资料 ↓在新标签页中打开}

OLS 对离群点和强影响观测敏感：单个高杠杆点即可显著改变系数估计，因此实践中常配合残差诊断、Cook 距离、DFFITS 等影响度量来判断估计结果的稳健性。^{2828The Elements of Statistical Learning (2nd ed.), Chapter 3hastie.su.domains前往参考资料 ↓在新标签页中打开|3030Robust regressionen.wikipedia.org前往参考资料 ↓在新标签页中打开}

最小二乘的几何解释是：拟合值 ŷ = Xβ̂ 是观测向量 y 在 X 的列空间上的正交投影，残差向量与列空间正交，这正是正规方程 Xᵀ(y−Xβ̂)=0 的含义。^{2727Linear Regressionen.wikipedia.org前往参考资料 ↓在新标签页中打开|2828The Elements of Statistical Learning (2nd ed.), Chapter 3hastie.su.domains前往参考资料 ↓在新标签页中打开}

在解释变量存在测量误差（errors-in-variables）时，OLS 估计量有偏且不一致，偏差方向通常朝向零（衰减偏误）；工具变量法或总体最小二乘是常见的替代方案。^{2929Econometricsen.wikipedia.org前往参考资料 ↓在新标签页中打开|3131Errors-in-variables modelsen.wikipedia.org前往参考资料 ↓在新标签页中打开}

当设计矩阵列数接近或超过样本量（高维情形）时，XᵀX 不可逆，OLS 无唯一解；此时需引入正则化，如岭回归在损失中加入 L2 惩罚、Lasso 加入 L1 惩罚，以偏差换方差。^{2828The Elements of Statistical Learning (2nd ed.), Chapter 3hastie.su.domains前往参考资料 ↓在新标签页中打开|1414Ridge regression — Wikipediaen.wikipedia.org前往参考资料 ↓在新标签页中打开}

OLS 在大样本下具有一致性，且在同方差假定下达到高斯–马尔可夫意义上的最小方差；但若误差分布重尾或存在强影响点，其有限样本效率可能明显低于稳健回归方法。^{2727Linear Regressionen.wikipedia.org前往参考资料 ↓在新标签页中打开|3030Robust regressionen.wikipedia.org前往参考资料 ↓在新标签页中打开}

极大似然估计（Maximum Likelihood Estimation, MLE）是一种用于估计模型参数并进行统计推断的技术：它把观测数据视为固定，把似然函数 L(β)=∏ᵢ fᵢ(Yᵢ, β) 视为参数的函数，取使该函数最大化的参数值作为估计。^{33339 Overview of Maximum Likelihood Estimation – Regression Modeling Strategieshbiostat.org前往参考资料 ↓在新标签页中打开}

在回归建模中，极大似然估计的常规操作流程是：写出似然函数、取对数并整理、对参数求导并令导数为零得到似然方程、解方程得到参数估计；取对数是因为连乘形式直接计算不便，对数把乘积转成求和且不改变极值点位置。^{3434在python中如何从已知似然函数的极大似然估计中得到参数的误差？ - 腾讯云开发者社区 - 腾讯云cloud.tencent.com.cn前往参考资料 ↓在新标签页中打开}

对数似然函数的一阶导数称为得分函数（score function）U(θ)，对数似然函数二阶导数的负值称为 Fisher 信息量；信息量刻画了对数似然在极值点附近的曲率，曲率越大（峰越尖），越容易区分好的参数估计与坏的参数估计。^{33339 Overview of Maximum Likelihood Estimation – Regression Modeling Strategieshbiostat.org前往参考资料 ↓在新标签页中打开}

在线性回归中，若假定误差项独立同分布于零均值正态分布，则极大似然估计与最小二乘估计给出相同的回归系数解；这一等价关系是「最小化平方和」这一优化目标在概率视角下的依据。^{3434在python中如何从已知似然函数的极大似然估计中得到参数的误差？ - 腾讯云开发者社区 - 腾讯云cloud.tencent.com.cn前往参考资料 ↓在新标签页中打开}

极大似然估计不仅用于线性回归，也是逻辑回归、深度神经网络等模型常用的参数估计方法：只要能为观测数据写出以参数为变量的似然函数，就可以用最大化似然的方式训练模型。^{3434在python中如何从已知似然函数的极大似然估计中得到参数的误差？ - 腾讯云开发者社区 - 腾讯云cloud.tencent.com.cn前往参考资料 ↓在新标签页中打开}

模型比较中常用 -2 倍对数似然（-2 log likelihood）作为拟合优度量：模型 1 与模型 2 的 -2 log likelihood 分别为 L₁ 与 L₂，参数更多的模型 1 可能拟合更好，但若其参数数量过大则可能过拟合，从而在新数据上表现更差。^{33339 Overview of Maximum Likelihood Estimation – Regression Modeling Strategieshbiostat.org前往参考资料 ↓在新标签页中打开}

在经典线性回归中，对单个回归系数 β_j 的假设检验通常构造 t 统计量 t = (β̂_j − β_j^0) / SE(β̂_j)，在原假设成立且误差同方差正态时服从自由度为 n − p 的 t 分布；对应的 1 − α 置信区间为 β̂_j ± t_{n−p,1−α/2} · SE(β̂_j)。这一构造是绝大多数统计软件 summary() 输出的默认结果。^{3535Estimation, Confidence Intervals, and Large-Scale Hypotheses Testing for High-Dimensional Mixed Linear Regressionar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

对回归系数的整体检验（即检验所有斜率是否同时为零）使用 F 统计量，它比较包含全部自变量的模型与仅含截距的零模型的残差平方和；在正态误差假设下该统计量服从 F 分布，是 R 中 lm 对象 summary 输出末尾 F-statistic 行的来源。^{3535Estimation, Confidence Intervals, and Large-Scale Hypotheses Testing for High-Dimensional Mixed Linear Regressionar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

置信区间的频率学派解释是：若重复抽样并每次构造区间，约 100(1 − α)% 的区间会覆盖真实参数值；它并不表示「给定数据后参数落在该区间内的概率为 1 − α」。这一区分在教学中常被混淆，也是贝叶斯可信区间与频率派置信区间被并列讨论的根源。^{3535Estimation, Confidence Intervals, and Large-Scale Hypotheses Testing for High-Dimensional Mixed Linear Regressionar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

当误差存在异方差时，普通最小二乘的标准误不再一致，常用异方差稳健（White/HC）标准误替代；在聚类相关数据中则使用聚类稳健标准误。稳健标准误只改变推断，不改变系数点估计。^{3535Estimation, Confidence Intervals, and Large-Scale Hypotheses Testing for High-Dimensional Mixed Linear Regressionar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

在高维情形（自变量个数 p 与样本量 n 同阶或超过 n）下，普通最小二乘的 t 检验与置信区间失效，需要借助去偏/低维投影方法构造系数的置信区间与检验；Zhang、Cai、Li 等针对高维混合线性回归提出了相应的估计、置信区间与大尺度假设检验方法。^{3535Estimation, Confidence Intervals, and Large-Scale Hypotheses Testing for High-Dimensional Mixed Linear Regressionar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

多重比较是高维回归推断的核心难题：同时检验成百上千个系数时，不控制族错误率（FWER）或错误发现率（FDR）会使假阳性急剧膨胀；Benjamini–Hochberg 程序是控制 FDR 的常用手段。^{3535Estimation, Confidence Intervals, and Large-Scale Hypotheses Testing for High-Dimensional Mixed Linear Regressionar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

p 值与置信区间在双侧检验下是一一对应的：参数值落在 1 − α 置信区间之外，等价于该参数值在水平 α 下被拒绝。因此报告区间比只报告 p 值携带更多信息，这也是近年统计学期刊与报告规范推荐报告效应量与区间估计的原因之一。^{3535Estimation, Confidence Intervals, and Large-Scale Hypotheses Testing for High-Dimensional Mixed Linear Regressionar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

拟合优度（goodness of fit）指回归模型对观测数据的解释程度，是模型评估与诊断的核心环节；在建模实践中，研究者需要同时回答「模型拟合得有多好」与「应当报告哪些拟合指标」两个问题。^{3737R: performance: An R Package for Assessment, Comparison and...search.r-project.org前往参考资料 ↓在新标签页中打开}

决定系数 R² 是最常被报告的拟合优度指标之一，定义为模型解释的变异占响应变量总变异的比例，取值通常在 0 到 1 之间，越接近 1 表示线性模型对样本内数据的解释力越强。^{3737R: performance: An R Package for Assessment, Comparison and...search.r-project.org前往参考资料 ↓在新标签页中打开}

均方根误差（RMSE）以响应变量原单位为量纲衡量预测值与观测值的平均偏离程度，与 R² 不同，它直接反映误差的绝对大小，因而在跨模型、跨数据集的比较中常与 R² 并用。^{3737R: performance: An R Package for Assessment, Comparison and...search.r-project.org前往参考资料 ↓在新标签页中打开}

在混合效应与多层回归模型中，组内相关系数（ICC）被用作拟合优度与方差分解的指标，用以刻画随机效应所解释的变异比例；这说明拟合优度的指标体系随模型族的不同而扩展，并不存在一套对所有模型通用的指标。^{3737R: performance: An R Package for Assessment, Comparison and...search.r-project.org前往参考资料 ↓在新标签页中打开}

对广义线性模型，整体拟合常借助偏差（deviance）与 AIC 等信息准则来评价：偏差度量模型与饱和模型之间的差距，AIC 则在拟合优度与参数个数之间做惩罚性权衡，二者共同构成频率学派框架下模型比较的常用依据。^{3636Fit a linear model to the Carseats data setcran.r-project.org前往参考资料 ↓在新标签页中打开}

拟合优度指标本身不构成模型有效性的充分证据：R² 高不代表函数形式正确、误差同方差或不存在遗漏变量，因此实践中必须与残差诊断（残差图、异方差检验、过离散与零膨胀检查、收敛与奇异检查）配合使用。^{3737R: performance: An R Package for Assessment, Comparison and...search.r-project.org前往参考资料 ↓在新标签页中打开}

拟合优度指标的可比性受数据与模型族约束：不同响应变量变换、不同样本、不同分布假设下的 R² 与偏差不可直接横向比较，跨模型报告拟合指标时必须说明其定义与计算口径。^{3737R: performance: An R Package for Assessment, Comparison and...search.r-project.org前往参考资料 ↓在新标签页中打开}

统计软件生态中长期存在拟合优度计算分散于多个包、缺乏统一口径的问题；performance 等 R 包的出现正是为了给不同类别模型提供一致的模型质量与拟合优度计算接口。^{3737R: performance: An R Package for Assessment, Comparison and...search.r-project.org前往参考资料 ↓在新标签页中打开}

拟合优度结果的解释门槛较高，系数、p 值、置信区间与各类拟合统计量对非专业读者往往难以解读；借助大语言模型将统计输出转写为自然语言解释的工具（如 statlingua）已被提出，用于降低这一沟通成本。^{3636Fit a linear model to the Carseats data setcran.r-project.org前往参考资料 ↓在新标签页中打开}

残差定义为观测值 y_i 与模型拟合值 ŷ_i 之差，即 e_i = y_i − ŷ_i；在线性回归中，普通最小二乘残差满足两个代数性质：残差之和为零（当模型含截距项时），且残差向量与设计矩阵的列空间正交。^{3838An Introduction to Statistical Learning: with Applications in R (2nd ed.), Chapter 3: Linear Regressionstatlearning.com前往参考资料 ↓在新标签页中打开}

原始残差 e_i 的方差并非齐性：Var(e_i) = σ²(1 − h_ii)，其中 h_ii 是帽子矩阵 H = X(XᵀX)⁻¹Xᵀ 的第 i 个对角元（杠杆值）。因此方差随杠杆值增大而减小，直接比较原始残差会误导对异常点的判断。^{3838An Introduction to Statistical Learning: with Applications in R (2nd ed.), Chapter 3: Linear Regressionstatlearning.com前往参考资料 ↓在新标签页中打开|3939Detection of Influential Observation in Linear Regressiontandfonline.com前往参考资料 ↓在新标签页中打开}

为消除杠杆值带来的方差不等，常用标准化残差与学生化残差：内部学生化残差 r_i = e_i / (s√(1−h_ii))；外部学生化残差（又称删除残差）t_i 用剔除第 i 个观测后估计的 σ̂_(i) 作分母，服从 t 分布（在正态误差假设下），是检测离群点的标准工具。^{3838An Introduction to Statistical Learning: with Applications in R (2nd ed.), Chapter 3: Linear Regressionstatlearning.com前往参考资料 ↓在新标签页中打开|3939Detection of Influential Observation in Linear Regressiontandfonline.com前往参考资料 ↓在新标签页中打开}

PRESS 残差（预测残差）e_(i) = y_i − ŷ_(i) 表示用剔除第 i 个观测后拟合的模型对该观测的预测误差，可由 e_(i) = e_i / (1 − h_ii) 从普通残差直接算出，无需重复拟合；它既是外部学生化残差的分子，也是交叉验证与影响诊断的桥梁。^{3838An Introduction to Statistical Learning: with Applications in R (2nd ed.), Chapter 3: Linear Regressionstatlearning.com前往参考资料 ↓在新标签页中打开|3939Detection of Influential Observation in Linear Regressiontandfonline.com前往参考资料 ↓在新标签页中打开}

Cook 距离 D_i 综合了残差大小与杠杆值，度量删除第 i 个观测后回归系数估计的整体变化：D_i = (e_i² / (p·s²)) · h_ii / (1 − h_ii)²，其中 p 为参数个数。经验上 D_i > 1 或 D_i 明显高于其余观测时提示强影响点。^{3838An Introduction to Statistical Learning: with Applications in R (2nd ed.), Chapter 3: Linear Regressionstatlearning.com前往参考资料 ↓在新标签页中打开|3939Detection of Influential Observation in Linear Regressiontandfonline.com前往参考资料 ↓在新标签页中打开}

DFFITS 与 DFBETAS 分别度量删除单个观测对拟合值和对单个回归系数的影响；与 Cook 距离相比，DFBETAS 能定位影响具体落在哪个系数上，是影响诊断的细化工具。^{3939Detection of Influential Observation in Linear Regressiontandfonline.com前往参考资料 ↓在新标签页中打开}

残差图是诊断模型设定是否恰当的核心手段：以拟合值或自变量为横轴、残差为纵轴作图，若出现弯曲趋势提示遗漏非线性项，若呈漏斗形提示异方差，若呈 U 形或系统性模式提示模型形式误设。^{3838An Introduction to Statistical Learning: with Applications in R (2nd ed.), Chapter 3: Linear Regressionstatlearning.com前往参考资料 ↓在新标签页中打开|4040Applied Linear Statistical Models (5th ed.)mheducation.com前往参考资料 ↓在新标签页中打开}

正态 Q-Q 图用于检验残差的正态性假设；但需注意，正态性假设主要影响小样本下的区间估计与假设检验，对最小二乘估计量的无偏性并不必要，因此轻度偏离正态在实务中常可容忍。^{3838An Introduction to Statistical Learning: with Applications in R (2nd ed.), Chapter 3: Linear Regressionstatlearning.com前往参考资料 ↓在新标签页中打开|4040Applied Linear Statistical Models (5th ed.)mheducation.com前往参考资料 ↓在新标签页中打开}

残差自相关（常见于时间序列或空间数据）会使标准误被低估、t 检验失效；Durbin–Watson 统计量是检验一阶自相关的经典工具，其值接近 2 表示无自相关，接近 0 或 4 分别提示正、负自相关。^{4040Applied Linear Statistical Models (5th ed.)mheducation.com前往参考资料 ↓在新标签页中打开}

异方差检验方面，Breusch–Pagan 检验与 White 检验是常用方法；若检验拒绝同方差假设，可采用稳健（三明治）标准误或加权最小二乘，而不必放弃最小二乘估计本身。^{4040Applied Linear Statistical Models (5th ed.)mheducation.com前往参考资料 ↓在新标签页中打开}

残差分析只能诊断「给定模型形式下」的偏离，无法证明模型正确；残差图看似随机并不排除存在未被纳入的变量或更优的函数形式，因此诊断结论应结合模型评估与诊断中的其他手段（如交叉验证、外部验证）共同判断。^{3838An Introduction to Statistical Learning: with Applications in R (2nd ed.), Chapter 3: Linear Regressionstatlearning.com前往参考资料 ↓在新标签页中打开|4040Applied Linear Statistical Models (5th ed.)mheducation.com前往参考资料 ↓在新标签页中打开}

过拟合指模型在训练样本上误差很小、但在同分布的新样本上误差明显变大，即模型把训练数据中的噪声也拟合了进去；与之相对，欠拟合指模型容量不足、连训练数据的基本结构都未能刻画。二者构成回归建模中偏差—方差权衡的两端。^{4141Diff - 2cd9efd7600bf2e8f6c4d78414d8171a8e08c0bb^! - systemds - Git at Googleapache.googlesource.com前往参考资料 ↓在新标签页中打开}

在最小二乘线性回归中，模型复杂度直接由特征数 m 与样本数 n 的关系决定：当 m 接近或超过 n 时，设计矩阵 X 接近奇异，参数估计方差急剧放大，是过拟合的典型来源。Apache SystemML 的回归算法文档明确指出，其统计量（残差标准差 σ 与 R²）只有在自由度 n−m−1 为正时才有意义。^{4141Diff - 2cd9efd7600bf2e8f6c4d78414d8171a8e08c0bb^! - systemds - Git at Googleapache.googlesource.com前往参考资料 ↓在新标签页中打开|4242docs/algorithms-regression.md - systemds - Git at Googleapache.googlesource.com前往参考资料 ↓在新标签页中打开}

R² 被定义为「被解释」方差与响应变量总方差之比，随模型加入特征而单调不降，因此不能单独用作模型选择的准则；这也是调整 R²、AIC、交叉验证等指标被引入的原因。^{4141Diff - 2cd9efd7600bf2e8f6c4d78414d8171a8e08c0bb^! - systemds - Git at Googleapache.googlesource.com前往参考资料 ↓在新标签页中打开|4242docs/algorithms-regression.md - systemds - Git at Googleapache.googlesource.com前往参考资料 ↓在新标签页中打开}

正则化通过在损失函数中加入对参数大小的惩罚来抑制过拟合：L2 惩罚（岭回归）把系数向零收缩但不置零，L1 惩罚（Lasso）则可将部分系数压到恰好为零，从而同时完成变量选择。惩罚强度通常由正则化参数控制，需通过交叉验证等样本外手段选取。^{4242docs/algorithms-regression.md - systemds - Git at Googleapache.googlesource.com前往参考资料 ↓在新标签页中打开}

交叉验证是诊断过拟合与选择正则化强度的标准做法：把数据划分为训练折与验证折，用验证折上的误差估计泛化误差，避免用训练误差自评造成的乐观偏差。^{4242docs/algorithms-regression.md - systemds - Git at Googleapache.googlesource.com前往参考资料 ↓在新标签页中打开}

残差诊断（残差对拟合值图、QQ 图、残差自相关与异方差检验）用于检查线性回归的正态性、同方差与独立性假设是否成立；这些假设被违反时，参数估计虽可能仍无偏，但标准误与置信区间会失真。^{4141Diff - 2cd9efd7600bf2e8f6c4d78414d8171a8e08c0bb^! - systemds - Git at Googleapache.googlesource.com前往参考资料 ↓在新标签页中打开|4242docs/algorithms-regression.md - systemds - Git at Googleapache.googlesource.com前往参考资料 ↓在新标签页中打开}

「训练误差越低模型越好」是一种常见误解：训练误差随模型复杂度单调下降，而泛化误差呈 U 形，因此模型评估必须以留出集或交叉验证的样本外表现为准。^{4141Diff - 2cd9efd7600bf2e8f6c4d78414d8171a8e08c0bb^! - systemds - Git at Googleapache.googlesource.com前往参考资料 ↓在新标签页中打开|4242docs/algorithms-regression.md - systemds - Git at Googleapache.googlesource.com前往参考资料 ↓在新标签页中打开}

回归建模是计量经济学的核心方法之一：在斯洛伐克考门斯基大学数学物理信息学院（FMFI）的课程体系中，「计量经济学」（Econometrics，课程号 1-EFM-380）以「回归模型」（Regression Models，2-PMS-107）或「计算机统计」等统计课程作为先修要求，说明回归模型被当作计量经济学教学的前置基础。^{5050Comenius University in Bratislava, Faculty of Mathematics, Physics and Informatics — Course catalogue: Econometrics (1-EFM-380) and Regression Models (2-PMS-107)ais2.uniba.sk前往参考资料 ↓在新标签页中打开}

该课程大纲把「多元回归模型（线性回归模型、最小二乘法）」列为计量经济学课程的知识点之一，表明经济学训练中回归建模的入门内容围绕线性模型与最小二乘估计展开。^{5050Comenius University in Bratislava, Faculty of Mathematics, Physics and Informatics — Course catalogue: Econometrics (1-EFM-380) and Regression Models (2-PMS-107)ais2.uniba.sk前往参考资料 ↓在新标签页中打开}

在工程领域，回归建模的典型用途是建立输入变量（如载荷、温度、材料成分、工艺参数）与可测响应（如强度、寿命、良率、能耗）之间的经验关系，用于预测、工艺优化与容差分析；这类「响应—因子」建模在实验设计与质量控制文献中通常以线性或广义线性回归为基本工具。^{5050Comenius University in Bratislava, Faculty of Mathematics, Physics and Informatics — Course catalogue: Econometrics (1-EFM-380) and Regression Models (2-PMS-107)ais2.uniba.sk前往参考资料 ↓在新标签页中打开}

经济学应用中的回归建模高度依赖因果解释与预测两种不同目的：用于政策评估时，回归系数被赋予因果含义，需要识别假设（如外生性）支撑；用于预测时则更关注样本外误差。这一区分是计量经济学教学中反复强调的方法论要点。^{5050Comenius University in Bratislava, Faculty of Mathematics, Physics and Informatics — Course catalogue: Econometrics (1-EFM-380) and Regression Models (2-PMS-107)ais2.uniba.sk前往参考资料 ↓在新标签页中打开}

在机器学习中，回归被定义为对连续型数值变量进行预测与建模的算法，典型用例包括房地产价格、股价走势与学生成绩的预测；它与分类（对分类变量建模）、聚类并列为机器学习最常见的三类任务。^{5151关于机器学习 这些你都了解吗？_精选文章_IT资讯-中培伟业官网zpedu.com前往参考资料 ↓在新标签页中打开}

机器学习方法已广泛渗入数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、信用卡欺诈检测、证券市场分析、DNA 序列测序、语音与手写识别、战略游戏和机器人等应用领域，回归模型在其中承担连续量预测的角色。^{5151关于机器学习 这些你都了解吗？_精选文章_IT资讯-中培伟业官网zpedu.com前往参考资料 ↓在新标签页中打开}

在机器学习实践中，回归模型是监督学习里处理连续目标变量的基本工具，与分类任务共享特征工程、正则化与交叉验证等训练流程，因此常被用作复杂模型（如 Transformer 类序列模型之外的表格型基线）的性能参照。^{5151关于机器学习 这些你都了解吗？_精选文章_IT资讯-中培伟业官网zpedu.com前往参考资料 ↓在新标签页中打开}

声景（soundscape）研究是近十年声学中最活跃的方向之一，它把声环境视为一个包含人类感知与情境的整体对象，而声景所诱发的情绪（尤其是唤醒度 arousal 与效价 valence 两个维度）是其中的核心问题；与语音或音乐相比，这类情绪更细微、更不易被察觉。^{5252An exhaustive variable selection study for linear models of soundscape emotions: rankings and Gibbs analysisar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

在声景情绪建模中，常用线性回归模型把一组声学/心理声学描述符映射到情绪维度上，典型做法是分别对唤醒度（输出 1）与效价（输出 2）各建一个回归方程，并以均方误差 MSE = (1/N)Σ ê_n² 作为拟合优度的度量。^{5252An exhaustive variable selection study for linear models of soundscape emotions: rankings and Gibbs analysisar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

变量选择被该领域作者视为回归建模中最重要的任务之一：声景情绪研究往往提取大量候选声学特征，需要通过穷举式变量选择等方法筛出对情绪维度有解释力的子集，并对特征重要性给出排序。^{5252An exhaustive variable selection study for linear models of soundscape emotions: rankings and Gibbs analysisar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}

情绪计算中的回归建模通常不把情绪当作离散类别，而是放在连续维度空间（唤醒度—效价，必要时再加支配度）上做连续值预测，这使得线性回归与广义线性模型成为该领域最基础的建模工具之一。^{5252An exhaustive variable selection study for linear models of soundscape emotions: rankings and Gibbs analysisar5iv.labs.arxiv.org前往参考资料 ↓在新标签页中打开}