Notes From The Workbench

这篇笔记整理 SVM 的核心概念： 1. SVM 想找什么分类边界 2. $x$、$w$、$b$ 分别是什么 3. 为什么 $w$ 垂直于分类平面 4. 为什么 margin 是 $\frac{2}{\|w\|}$ 5. hard margin SVM 的优化目标 6. Lagrange multiplier 和 dual form 7. support v

这篇笔记适合第一次系统学习 Lagrange multiplier / Lagrangian / KKT 条件 的人。

这篇笔记整理了 ID3 决策树、entropy、information gain、inductive bias、continuous attribute，以及 Gini impurity 的核心概念。目标是用直观例子理解：决策树到底是怎么决定每一步该用哪个 feature split 的。

这篇笔记整理的是这几个概念之间的关系： 1. 为什么 $a\cdot b = \|a\|\|b\|\cos \theta$ 2. 为什么 dot product 为 0 表示两个向量垂直 3. cosine similarity 为什么就是 $\cos \theta$ 4. Pearson correlation 为什么可以理解成 mean cen

OMSCS CS7641 · Supervised Learning · Covertype 七分类笔记