回归

MLE / 最大似然估计

• 似然：
• 参数是 $\theta$，而 $x$ 给定
• 我们需要找到符合的 $\theta$ 使得 $\widehat{\theta =\arg {\max }_{\theta }}\ln L_m(\theta ;x^1,\dots ,x^m)$
• Trick: log - 单调递增，不影响单调性

log-concave 对数凹函数

$$\log f(\alpha x+(1-\alpha )y)\ge \alpha \log f(x)+(1-\alpha )\log f(y)$$

• 一元高斯分布：已知方差 ${\sigma }^2$ 未知 $\mu$
  • 
  • 
  • 
  • 最大化 $l_m$ 就是最小化 $||\mathbf{X}\theta -\mathbf{y}|{|}^2$
  • 

MAE

MSE vs MAE

• MSE: ${\epsilon }^2$ - 敏感，对 outliers 学习突出
• MAE: $|\epsilon |$
• 
  • 在数值大的时候差值大