|
|
|
本書是機器學習領域內一部具有里程碑意義的著作。包括哥倫比亞大學、北京大學在內的多個國內外名校均有以該書為基礎開設的研究生課程。
全書內容豐富-視野寬闊-深入淺出地介紹了目前機器學習重要的理論和關鍵的演算法。
譯者序
前言
第1章引言1
1.1什麼是機器學習1
1.2機器學習可以解決什麼樣的問題2
1.3一些典型的學習任務2
1.4學習階段3
1.5學習情境4
1.6泛化5
第2章PAC學習框架7
2.1PAC學習模型7
2.2對有限假設集的學習保證——一致的情況11
2.3對有限假設集的學習保證——不一致的情況14
2.4泛化性16
2.4.1確定性與隨機性情境16
2.4.2貝葉斯誤差與雜訊17
2.5文獻評注18
2.6習題18
第3章Rademacher複雜度和VC-維23
3.1Rademacher複雜度23
3.2生長函數27
3.3VC-維28
3.4下界34
3.5文獻評注38
3.6習題39
第4章模型選擇46
4.1估計誤差和近似誤差46
4.2經驗風險最小化47
4.3結構風險最小化47
4.4交叉驗證50
4.5n-折交叉驗證52
4.6基於正則化的演算法53
4.7凸替換項損失54
4.8文獻評注57
4.9習題58
第5章支持向量機59
5.1線性分類59
5.2可分情況60
5.2.1原始優化問題60
5.2.2支持向量61
5.2.3對偶優化問題62
5.2.4留一法63
5.3不可分情況64
5.3.1原始優化問題65
5.3.2支持向量66
5.3.3對偶優化問題67
5.4間隔理論67
5.5文獻評注74
5.6習題74
第6章核方法77
6.1引言77
6.2正定對稱核79
6.2.1定義79
6.2.2再生核希爾伯特空間81
6.2.3性質82
6.3基於核的演算法85
6.3.1具有PDS核的SVM85
6.3.2表示定理86
6.3.3學習保證87
6.4負定對稱核88
6.5序列核90
6.5.1加權轉換器90
6.5.2有理核93
6.6近似核特徵映射96
6.7文獻評注100
6.8習題100
第7章boosting106
7.1引言106
7.2AdaBoost演算法107
7.2.1經驗誤差的界109
7.2.2與座標下降的關係110
7.2.3實踐中的使用方式112
7.3理論結果113
7.3.1基於VC-維的分析113
7.3.2L1-幾何間隔113
7.3.3基於間隔的分析115
7.3.4間隔最大化118
7.3.5博弈論解釋119
7.4L1-正則化120
7.5討論122
7.6文獻評注122
7.7習題124
第8章線上學習129
8.1引言129
8.2有專家建議的預測130
8.2.1錯誤界和折半演算法130
8.2.2加權多數演算法131
8.2.3隨機加權多數演算法132
8.2.4指數加權平均演算法135
8.3線性分類137
8.3.1感知機演算法137
8.3.2Winnow演算法143
8.4線上到批次處理的轉換145
8.5與博弈論的聯繫147
8.6文獻評注148
8.7習題149
第9章多分類153
9.1多分類問題153
9.2泛化界154
9.3直接型多分類演算法159
9.3.1多分類SVM159
9.3.2多分類boosting演算法160
9.3.3決策樹161
9.4類別分解型多分類演算法164
9.4.1一對多164
9.4.2一對一165
9.4.3糾錯輸出編碼166
9.5結構化預測演算法168
9.6文獻評注169
9.7習題170
第10章排序172
10.1排序問題172
10.2泛化界173
10.3使用SVM進行排序175
10.4RankBoost176
10.4.1經驗誤差界178
10.4.2與座標下降的關係179
10.4.3排序問題集成演算法的間隔界180
10.5二部排序181
10.5.1二部排序中的boosting演算法182
10.5.2ROC曲線下面積184
10.6基於偏好的情境184
10.6.1兩階段排序問題185
10.6.2確定性演算法186
10.6.3隨機性演算法187
10.6.4關於其他損失函數的擴展188
10.7其他的排序準則189
10.8文獻評注189
10.9習題190
第11章回歸191
11.1回歸問題191
11.2泛化界192
11.2.1有限假設集192
11.2.2Rademacher複雜度界193
11.2.3偽維度界194
11.3回歸演算法196
11.3.1線性回歸196
11.3.2核嶺回歸198
11.3.3支持向量回歸201
11.3.4Lasso204
11.3.5組範數回歸演算法206
11.3.6線上回歸演算法207
11.4文獻評注207
11.5習題208
第12章最大熵模型210
12.1密度估計問題210
12.1.1最大似然解210
12.1.2最大後驗解211
12.2添加特徵的密度估計問題212
12.3最大熵準則212
12.4最大熵模型簡介213
12.5對偶問題213
12.6泛化界216
12.7座標下降演算法217
12.8拓展218
12.9L2-正則化220
12.10文獻評注222
12.11習題223
第13章條件最大熵模型224
13.1學習問題224
13.2條件最大熵準則224
13.3條件最大熵模型簡介225
13.4對偶問題226
13.5性質227
13.5.1優化問題227
13.5.2特徵向量228
13.5.3預測228
13.6泛化界228
13.7邏輯回歸231
13.7.1優化問題231
13.7.2邏輯模型231
13.8L2-正則232
13.9對偶定理的證明23
