Archive

2025 / 11

2025/11/22 · 17 分钟阅读

浅谈岭回归与Armijo策略在梯度法中的表现

引言:岭回归及其闭式解 在实际的数据科学中,我们经常遇到病态(ill conditioned)的数据矩阵,即设计矩阵 \mathbf{X}^T\mathbf{X} 的条件数很大,导致最小二乘估计对噪声极其敏感。这种情况在高维数据、共线性特征或样本量不足时尤为常见。病态问题会导致模型参数估计不稳定、方