5.1 方差和偏差【stanford-cs329p】

---

Bias & Variance

• 在统计学习里面，我们用偏差和方差来衡量模型

Bias-Variance Decomposition

• 从 $y=f(x)+\phi$ 采样数据 $D={(x_1,y_1),…,(x_n,y_n))}$
• 从 $D$ 中通过MSE学习一个 $\hat{f}$，我们希望保证不管怎么从D里面采样，损失都不会很大，所以求一个期望

Reduce Bias & Variance

• 减少偏差
  • 一个更复杂的模型：增加层数，隐藏单元个数
  • Boosting
  • Stacking
• 减少方差
  • 一个更简单的模型
  • 正则
  • Bagging
  • Stacking
• 减少 $\sigma^2$（噪音）
  • 增加数据

Summary

• 降解模型泛化误差到偏差，方差和内在误差
• 集成学习能组合多个模型来降低偏差和方差

---