文:丘延君|经管之家


CDA社区

    最近在看李航的《统计学习方法》,在看的过程中自己整理了一份笔记,整理这份笔记耗时一个月,中间稍有断续,希望对各位ML爱好者有帮助啦。

笔记的内容包括:

  • 1·书本某些证明的推导
  • 2·个人对某些问题的思考
  • 3·1-10章算法的R语言实现(自己根据书本的算法编了一批函数,这种尝试还是相当有趣的)
  • 4·用编写的函数重现了书本许多例题的求解过程,并以书本的例题核对编写的函数的正确性

编写这本笔记的初衷:

  • 1·网上有一些用python实现《统计学习方法》里算法的博文,奈何我并不会python
  • 2·找不到一本成册的便于阅读的学习笔记



下载链接:李航《统计学习方法》笔记——从原理到实现:基于R

......

笔记简介:

名称:李航《统计学习方法》笔记——从原理到实现:基于R

page:221

目录:

第一章  统计学习方法概论        6

1.6.2 泛化误差上界(P16-P17)        6

1.4.2 过拟合与模型选择(P11)        8

第二章  感知机        11

2.3.1 感知机学习算法的原始形式(P28-P29)        11

2.3.2 算法的收敛性(Novikoff定理)(P31-P33)        12

2.3.3 感知机学习算法的对偶形式(P33-P34)        14

2.3.1 感知机算法的原始形式(P28-P29)        15

2.3.3 感知机学习算法的对偶形式(P33-P34)        22

第三章   近邻法        26

3.2.2 距离度量(P39)        26

3.3.1 构造 树(P41-P42)        30

第四章  朴素贝叶斯算法        36

4.1.1 基本方法(P47-P48)        36

4.1.2 后验概率最大化的含义(P48-49)        36

4.2.1 极大似然估计(P49)        38

4.2.2 学习与分类算法(P50-51)        39

第五章  决策树        46

5.2.2 信息增益(P60-P61)        46

5.2.3 信息增益比(P63)        47

5.3.1 ID3算法/C4.5算法(P63-P65)        52

5.4 决策树的剪枝(P65-P67)        56

5.5.1 CART生成(P68-P71)        59

5.5.2 CART剪枝(P72-P73)        67

第六章  逻辑斯蒂回归与最大熵模型        73

6.1.3 逻辑斯蒂回归模型的参数估计(P79)        73

6.2.3 最大熵模型的学习(P83-P85)        91

6.2.4 极大似然估计(P87)        92

6.3.1 改进的迭代尺度算法(P89-P91)        93

第七章  支持向量机        94

7.1.3 间隔最大化(P101)        94

7.1.4 学习的对偶算法(P104)        96

7.2.3 支持向量(P113)        96

7.4 序列最小最优化算法(P126)        97

第八章  提升方法        112

8.1.2 Adaboost算法(P139)        112

8.2 AdaBoost算法的训练误差分析(P142-P145)        113

8.3.2 前向分步算法与AdaBoost(P145-P146)        114

8.4.3 梯度提升(P151)        116

8.1.3 AdaBoost的例子(P140)        117

第九章  EM算法及其推广        126

9.2 EM算法的收敛性(P161)        126

9.3.1 高斯混合模型(P163)        126

9.4 EM算法的推广(P167)        127

9.3.1 高斯混合模型的EM算法(165)        128

第十章  隐马尔可夫模型        132

10.2.2 前向算法(P175-P176)        132

10.2.3 后向算法(P178-P179)        133

10.4.2 维特比算法(P185)        135

10.2.4 一些概率与期望值的计算(P179-P180)        136

10.2.2 前向算法(P175-P177)        137

10.2.3 后向算法(P178)        143

10.2.4 一些概率与期望值的计算(P179-P178)        146

10.3.1 监督学习方法(P180)        151

10.3.2 Baum-Welch算法(P181-P184)        156

10.4.1 近似算法(P184)        162

10.4.2  维特比算法(P185-P186)        166

十一章  条件随机场        173

参考文献        174

附录1 例1.1的R实现/训练误差与预测误差的对比        177

附录2 线性可分/不可分感知机的R实现        179

附录3 离散特征的2维平衡kd树R代码        182

附录4 离散特征的朴素贝叶斯法R代码        186

附录5 决策树的实现的R代码        188

附录6 逻辑斯蒂回归及最大熵模型的R实现        192

附录7 基于SMO算法的支持向量机的R实现        200

附录8 提升算法的R代码        206

附录9 EM算法的R实现        209

附录10 HMM模型的R实现        211


 点击链接加入群【CDA社区-人工智能②】

原文链接:,转发请注明来源!

喜欢 | 1

登陆后发表文章

  • 1条回应给“李航《统计学习方法》笔记——从原理到实现:基于R”的评论