Empirical Risk Minimization

Ideal

理想情况：$g={\text{argmin}}_{h\in \mathcal{H}}R[h]$通过最小化 $R[h]$ 得到 $g$

期望风险最小化器 / Expected risk minimizer

• $g={\text{argmin}}_{h\in \mathcal{H}}{E}_{(X,Y)\sim p_{X,Y}}[\text{loss}(h(x),y)]$
• 我们希望找到一个在真实联合分布上最小化期望损失 的预测器，但是我们无法完全了解真实的联合分布
• 因此，我们需要寻找一种替代方法，即在可用的数据上最小化损失，并希望由此得到的模型能够很好地泛化到真实（未知）分布上。

经验风险最小化器 / Empirical risk minimizer

• ERM 的目标是找到一个假设 $\hat{h}$（或其参数 $\hat{\theta }$），使训练数据上的经验风险最小化
• 预测器 $h$ 在特定观测样本数据集 $D=\{(x_1,y_1),\dots ,(x_m,y_m)\}$ 上的期望损失也可以称为经验风险 $R_D[h]=\frac{1}{m}{\sum }_{i=1}^m[\text{loss}(h(x_i),y_i)]=\frac{1}{m}{\sum }_{i=1}^m\{h(x_i)\ne y_i\}$
  • 当使用 0-1 损失时，它就是训练错误率
• 通常，目标预测器通过以下方式找到： $\hat{h}={\text{argmin}}_{h\in \mathcal{H}}{R}_D[h]$
• Parameterize / 参数化 $h(\cdot ;\theta )\iff \theta$ ：表示一个函数 $h$，它的具体行为由参数 $\theta$ 决定
• $\hat{\theta }={\text{argmin}}_{\theta \in \Theta }{R}_D[\theta ]$

目标

• 机器学习的核心在于处理 表示（representation） 和 泛化（generalization）。
• 数据实例的表示（解释）以及在这些实例上评估的函数是所有机器学习系统的一部分。
• 泛化（预测）是系统在未见过的数据实例上表现良好的特性。
• 但我们的最终目标是期望风险最小化
  • 在经验风险最小化中，我们使用 ${\sum }_{i=1}^m\text{loss}(h(x_i),y_i;\theta )$ 来近似 $E[\text{loss}(h(x),y)]$
  • 什么时候是好的泛化？

i.i.d. （独立同分布）假设

• i.i.d. 是机器学习中的一个基本假设，它表示训练数据中的每个样本都是独立地从同一个潜在分布中抽取出来的