线性回归不只是画直线：残差、区间估计与外推风险

线性回归假设目标的条件均值可以由特征的线性组合近似表示。它既可作为强基线，也可用于估计变量关系；但“预测得准”和“系数可解释”是两种目标，对数据生成过程的要求并不相同。

先写模型和问题单位

假设用设备运行小时数、环境温度和负载档位预测每日耗电量：ŷ=β₀+β₁x₁+β₂x₂+β₃x₃。每个系数描述其他变量保持不变时的平均变化，单位随特征而定。若“其他变量不变”在现实中不可能，系数不能作简单因果解释。

普通最小二乘优化什么

OLS选择参数，使观测值与拟合值之间的残差平方和最小。平方会更重地惩罚大误差，也让异常点拥有较强影响。scikit-learn线性模型指南同时提醒，特征近似线性相关时，系数会对目标中的随机误差非常敏感。

建立预测基线

from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_absolute_error

model = LinearRegression()
model.fit(X_train, y_train)
pred = model.predict(X_test)
print('MAE:', mean_absolute_error(y_test, pred))
print('intercept:', model.intercept_)
print('coefficients:', model.coef_)

测试集按真实使用方式划分：有时间顺序就向未来留出，有同一设备重复记录就按设备分组。先与预测训练集均值或中位数的朴素基线比较。

残差图比拟合线更会说话

置信区间与预测区间回答不同问题

均值响应的置信区间表达“给定特征下平均耗电量”的不确定性；单个新观测的预测区间还包含个体噪声，通常更宽。scikit-learn主要面向预测接口，需要统计推断时可使用statsmodels回归工具并检查其假设。

多重共线性让系数摇摆

运行小时与累计产量可能高度相关，模型能预测却无法稳定分摊两者贡献。查看相关结构、条件数和不同抽样下的系数变化；若目标是预测，可用Ridge收缩降低方差，若目标是解释，则应重新设计特征或收集能区分影响的数据。

外推会离开证据范围

训练数据只覆盖0至10小时运行，就不能因为直线能延伸而信任20小时预测。为每个关键特征保存训练范围与密度，线上遇到远离样本的输入时告警、拒绝或给出更宽不确定区间。多项式同样可能在边界外急剧发散。

系数不是自动得到的因果效应

遗漏变量、反向关系和选择偏差都能让相关系数看似合理。若要回答“降低温度是否会减少能耗”，需要实验、自然实验或因果假设，而不仅是回归表。预测项目可以不解释因果，但不能把相关结果包装成干预建议。

一条拟合线只总结了样本中的平均关系；残差、区间与数据范围决定这条线能承担多大责任。

回归报告最少包含什么

1. 目标、特征、单位和预测时点。
2. 数据划分与朴素基线。
3. MAE/RMSE及关键切片误差。
4. 残差、异常点与共线性检查。
5. 区间估计及适用假设。
6. 训练范围和外推处理。

设计矩阵把业务假设变成可计算结构

连续变量是否线性、类别如何编码、是否包含交互与非线性项，都写进设计矩阵。先画散点与条件分布，再决定对数、分段或样条变换；为了提高拟合随意尝试大量变换，会增加选择偏差。变量单位和基准类别进入报告，否则系数无法解释。

训练与评估流程要把缺失处理、标准化和特征生成放在同一管道，只在训练部分拟合。时间数据使用向前验证，分组数据按实体切分；随机交叉验证若让同一人的多条记录跨折，会低估泛化误差。

残差诊断决定该不该相信区间

观察残差随拟合值、时间和关键变量的形状，检查异方差、非线性、相关性与高杠杆点。单个异常点既可能是错误，也可能代表重要场景，不应为了漂亮结果自动删除。若假设不满足，可采用稳健标准误、变换或更合适模型，并说明区间解释如何变化。

预测区间包含新观测本身的噪声，通常比均值置信区间更宽。向业务提供点预测时同时给范围与适用区间，外推到训练范围之外要明确标记。对正则化模型，系数收缩提升稳定性，却改变传统显著性解释，应以预测验证为主。

部署后的回归模型也会漂移

监控输入范围、缺失率、残差和区间覆盖；标签延迟时先观察特征变化，但不把漂移指标直接当作误差。模型重新拟合要保留旧版、数据窗口和阈值，并用同一保留集比较。若业务政策改变了标签定义，建立新任务版本而不是把新旧数据无痕合并。

最后把系数解释限制在观测关系，因果主张需要实验或更强识别设计。线性回归的力量来自透明假设、可读残差和诚实区间，而不是一条看起来贴合的直线。

特征选择同样可能泄漏测试信息

依据全量数据的相关性、显著性或缺失率筛变量，再交叉验证，会让测试折影响模型。把所有选择步骤放入每个训练折，或预先用领域知识固定；尝试大量模型后只报告最好一次，也应使用嵌套验证或独立保留集评估选择偏差。

当目标是解释政策或干预效果时，预测管道还不够。混杂、选择、处理时点和反事实需要单独设计；随机实验、自然实验或明确的因果识别假设才支持效应结论。回归系数可以生成假设，但不能自动替代研究设计。

所有诊断图与区间都随数据版本保存，并在重新拟合后复核。