常见的机器学习迭代方法有：

• 梯度下降、随机梯度下降、小批量随机梯度下降
• 动量法
• Adagrad
• RMSProp
• Adadelta
• Adam

下面主要介绍批量梯度下降（BGD）的工作原理：

假设损失函数 $f: \mathbb{R}^n \rightarrow \mathbb{R}$ 是连续可导的, 且 $x \in \mathbb{R}^n$, 对于给定绝对值足够小的数 $\epsilon$，根据泰勒展开公式，我们得到以下的近似

$f(x + \epsilon) \approx f(x) + \epsilon^T \nabla_x f(x) .$

这里 $\nabla_x f(x)$ 是函数 $f$ 在 $x$ 处的梯度。我们可以找一个常数 $\eta > 0$，使得 $||\eta \nabla_x f(x)||$ 足够小，那么可以将 $\epsilon$ 替换为 $-\eta \nabla_x f(x)$得到

$f(x - \eta \nabla_x f(x)) \approx f(x) - \eta ||\nabla_x f(x)||^2.$

如果梯度的模 $||\nabla_x f(x)|| \neq 0$，那么

$f(x - \eta \nabla_x f(x)) \lesssim f(x).$

因而，如果我们通过以下规则来更新 $x$：

$x \leftarrow x - \eta \nabla_x f(x))$

便可能使得 $f(x)$ 的值被降低来达到最小化损失函数的目的。假设我们有 $m$ 个样本 $D = \{(x_i, y_i)\}_i^m$, 可以定义了一个损失函数 $f(\theta) = \displaystyle \frac{1}{m} \sum_{i=1}^m ||g(x_i;\theta) - y_i||^2$, 这里 $g: \mathbb{R}^n \rightarrow \mathbb{R}^c$, 当 $c=1$ 对应于回归任务, 当 $c > 1$ 对应于 $c$ 分类任务. $g$ 可以是一个神经网络模型, 也可以是一个简单的的线性映射。为了最小化 $f(\theta)$, 我们可以使用 SGD 优化方法：

1. 设置学习率 $\eta$, 且初始化参数 $\theta$
2. 计算梯度 $\nabla f(\theta)$
3. 更新参数 $\theta$, 即 $\theta \leftarrow \theta - \eta \nabla f(\theta))$.
4. 直至满足中止条件, 结束迭代, 获得最终的参数值 $\hat{\theta}$.

当 $m$ 很大时，批量梯度下降效率很低，在实际的应用中一般使用小批量梯度下降优化方法。学习率 $\eta$ 对优化过程也十分重要，过大的学习率可能使得迭代无法收敛, 过小的学习率可能会导致训练速度过慢且陷入训练的平台期而无法获得理想的结果。