Archive

2025

2025/12/07 · 37 分钟阅读

能量稳定梯度流方法在深度学习中的实证评估:理论承诺与实践挑战

1. 引言 (Introduction) 1.1 研究背景 深度学习已成为人工智能领域最重要的技术之一,在图像识别、自然语言处理、语音识别等众多领域取得了突破性进展。深度神经网络的训练本质上是一个高维非凸优化问题,其目标是最小化损失函数: \min {w \in \mathbb{R}^n} L(w)

2025/11/22 · 17 分钟阅读

浅谈岭回归与Armijo策略在梯度法中的表现

引言:岭回归及其闭式解 在实际的数据科学中,我们经常遇到病态(ill conditioned)的数据矩阵,即设计矩阵 \mathbf{X}^T\mathbf{X} 的条件数很大,导致最小二乘估计对噪声极其敏感。这种情况在高维数据、共线性特征或样本量不足时尤为常见。病态问题会导致模型参数估计不稳定、方