|
|
|
本書將説明讀者掌握開發有效學習系統所需的流程、模式和策略，通過簡單的故事、圖片和Python示例來向讀者傳達機器學習的基本思想。
即使讀者是一名初學者，只要具備一些Python程式設計基礎，不管大學數學水準如何，都能輕鬆閱讀本書並有所收穫。
譯者序
序
前言
作者簡介
第一部分機器學習入門
第1章機器學習概論 2
1.1歡迎來到機器學習的世界 2
1.2範圍、術語、預測和資料 3
1.2.1特徵 4
1.2.2目標值和預測值 5
1.3讓機器開始機器學習 6
1.4學 統舉例 8
1.4.1預測類別：分類器舉例 8
1.4.2預測值：回歸器舉例 9
1.5評估機器學 統 10
1.5.1準確率 10
1.5.2資源消耗 11
1.6創建機器學 統的過程 12
1.7機器學習的假設和現實 13
1.8本章參考閱讀資料 15
1.8.1本書內容 15
1.8.2章節注釋 16
第2章相關技術背景 18
2.1程式設計環境配置 18
2.2數學語言的必要性 18
2.3用於解決機器學習問題的軟體 19
2.4概率 20
2.4.1基本事件 21
2.4.2獨立性 22
2.4.3條件概率 23
2.4.4概率分佈 24
2.5線性組合、加權和以及點積 27
2.5.1加權平均 29
2.5.2平方和 31
2.5.3誤差平方和 32
2.6幾何視圖：空間中的點 33
2.6.1直線 33
2.6.2直線拓展 37
2.7標記法和加1技巧 41
2.8漸入佳境：突破線性和非線性 42
2.9NumPy與“數學無所不在” 45
2.10浮點數問題 49
2.11本章參考閱讀資料 50
2.11.1本章小結 50
2.11.2章節注釋 51
第3章預測類別：分類入門 52
3.1分類任務 52
3.2一個簡單的分類資料集 53
3.3訓練和測試：請勿應試教育 55
3.4評估：考試評分 58
3.5簡單分類器#1： 近鄰分類器、遠距離關係和假設 59
3.5.1定義相似性 60
3.5.2k?- 近鄰中的k 61
3.5.3答案組合 61
3.5.4k?- 近鄰、參數和非參數方法 61
3.5.5建立一個k?- 近鄰分類模型 62
3.6簡單分類器#2：樸素貝葉斯分類器、概率和違背承諾 64
3.7分類器的簡單評估 66
3.7.1機器學習的性能 66
3.7.2分類器的資源消耗 67
3.7.3獨立資源評估 73
3.8本章參考閱讀資料 77
3.8.1局限性和尚未解決的問題 77
3.8.2本章小結 77
3.8.3章節注釋 77
3.8.4練習題 79
第4章預測數值：回歸入門 80
4.1一個簡單的回歸資料集 80
4.2 近鄰回歸和匯總統計 82
4.2.1中心度量方法：中位數和均值 83
4.2.2構建一個k?- 近鄰回歸模型 85
4.3線性回歸和誤差 86
4.3.1地面總是不平坦的：為什麼需要斜坡 86
4.3.2傾斜直線 89
4.3.3執行線性回歸 91
4.4優化：選擇 答案 92
4.4.1隨機猜測 92
4.4.2隨機調整 93
4.4.3智能調整 94
4.4.4計算的捷徑 94
4.4.5線性回歸的應用 95
4.5回歸器的簡單評估和比較 95
4.5.1均方根誤差 95
4.5.2機器學習的性能 96
4.5.3回歸過程中的資源消耗 96
4.6本章參考閱讀資料 98
4.6.1局限性和尚未解決的問題 98
4.6.2本章小結 99
4.6.3章節注釋 99
4.6.4練習題 99
第二部分通用評估技術
第5章機器學習演算法的評估和比較分析 102
5.1評估和大道至簡的原則 102&
5.2機器學習階段的術語 103
5.2.1有關機器的重新討論 104
5.2.2 規範的闡述 106
5.3過擬合和欠擬合 109
5.3.1合成資料和線性回歸 109
5.3.2手動操控模型的複雜度 111
5.3.3金鳳花姑娘（“恰到好處”原則）：視覺化過擬合、欠擬合和“ 擬合” 112
5.3.4簡單性 115
5.3.5關於過擬合必須牢記的注意事項 116
5.4從誤差到成本 116
5.4.1損失 116
5.4.2成本 117
5.4.3評分 118
5.5（重新）抽樣：以少勝多 119
5.5.1交叉驗證 119
5.5.2分層抽樣 122
5.5.3重複的訓練-測試集拆分 124
5.5.4一種 好的方法和混排 127
5.5.5留一交叉驗證 131
5.6分解：將誤差分解為偏差和方差 132
5.6.1資料的方差 133
5.6.2模型的方差 133
5.6.3模型的偏差 134
5.6.4結合所有的因素 134
5.6.5偏差-方差權衡示例 135
5.7圖形視覺化評估和比較 139
5.7.1學習曲線：到底需要多少資料 139
5.7.2複雜度曲線 141
5.8使用交叉驗證比較機器學習模型 143
5.9本章參考閱讀資料 144
5.9.1本章小結 144
5.9.2章節注釋 144
5.9.3練習題 146
第6章評估分類器 147
6.1基線分類器 147
6.2準確率以外：分類器的其他度量指標 149
6.2.1從混淆矩陣中消除混淆 151
6.2.2錯誤的方式 151
6.2.3基於混淆矩陣的度量指標 152
6.2.4混淆矩陣編碼 154
6.2.5處理多元類別：多元類別平均 156
6.2.6F1分數 158
6.3ROC曲線 159
6.3.1ROC模式 161
6.3.2二元分類ROC 162
6.3.3AUC：（ROC）曲線下的面積 165
6.3.4多元分類機器學習模型、“一對其他”和ROC 166
6.4多元分類的另一種方法：“一對一” 168
6.4.1“一對一”方法 168
6.4.2多元分類AUC第二部分：尋找單一值 170
6.5 率-召回率曲線 173
6.5.1關於 率-召回率權衡的說明 173
6.5.2構建 率-召回率曲線 174
6.6累積回應和提升曲線 174
6.7 複雜的分類器評估：第二階段 177
6.7.1二元分類 177
6.7.2一個新穎的多元分類問題 182
6.8本章參考閱讀資料 187
6.8.1本章小結 187
6.8.2章節注釋 187
6.8.3練習題 189
第7章評估回歸器 190
7.1基線回歸器 191
7.2回歸器的其他度量指標 192
7.2.1創建自訂的評估指標 192
7.2.2其他內置的回歸度量指標 193
7.2.3R2 194
7.3誤差圖和殘差圖 199
7.3.1誤差圖 199
7.3.2殘差圖 202
7.4標準化初探 205
7.5使用 複雜的方法評估回歸係數：第二階段 209
7.5.1多個度量指標的交叉驗證結果 210
7.5.2交叉驗證結果匯總 213
7.5.3殘差 214
7.6本章參考閱讀資料 216
7.6.1本章小結 216
7.6.2章節注釋 216
7.6.3練習題 218
第三部分 多方法和其他技術
第8章 多分類方法 220
8.1重溫分類知識 220
8.2決策樹 222
8.2.1樹構建演算法 224
8.2.2讓我們開始吧：決策樹時間 227
8.2.3決策樹中的偏差和方差 230
8.3支援向量分類器 230
8.3.1執行支持向量分類器 233
8.3.2SVC中的偏差和方差 236
8.4邏輯回歸 238
8.4.1投注幾率 239
8.4.2概率、幾率和對數幾率 241
.4.3實現操作：邏輯回歸版本 245
8.4.4邏輯回歸：空間奇異性 247
8.5判別分析 248
8.5.1協方差 249
8.5.2方法 259
8.5.3執行判別分析 260
8.6假設、偏差和分類器 262
8.7分類器的比較：第三階段 264
8.8本章參考閱讀資料 267
8.8.1本章小結 267
8.8.2章節注釋 267
8.8.3練習題 270
第9章 多回歸方法 271
9.1懲罰框中的線性回歸：正則化 272
9.1.1正則化回歸概述 272
9.1.2執行正則化回歸 276
9.2支持向量回歸 277
9.2.1鉸鏈損失 277
9.2.2從線性回歸到正則化回歸再到支持向量回歸 280
>9.2.3實踐應用：支持向量回歸風格 282
9.3分段常數回歸 282
9.3.1實施分段常數回歸器 284
9.3.2模型實現的一般說明 285
9.4回歸樹 287
9.5回歸器比較：第三階段 288
9.6本章參考閱讀資料 291
9.6.1本章小結 291
9.6.2章節注釋 291
9.6.3練習題 292
第10章手動特徵工程：運算元據的樂趣和意義 293
10.1特徵工程的術語和動機 293
10.1.1為什麼選擇特徵工程 294
10.1.2何時開始特徵工程 294
10.1.3特徵工程是如何發生的 296
10.2特徵選擇和資料簡化：清除垃圾 296
10.3特徵縮放 297
10.4離散化 300
10.5分類編碼 303
10.5.1資料的編碼技術 303
10.5.2編碼的另一種方式以及無截距的奇怪情況 306
10.6關係和相互作用 312
10.6.1手動特徵構造 312
10.6.2相互作用 314
10.6.3使用轉換器添加特徵 319
10.7對輸入空間和目標的相關操作 320
10.7.1對輸入空間的相關操作 321
10.7.2對目標的相關操作 323
10.8本章參考閱讀資料 325
10.8.1本章小結 325
10.8.2章節注釋 326
10.8.3練習題 326
第11章調整超參數和管道技術 328
11.1模型、參數、超參數 329
11.2調整超參數 330
11.2.1關於電腦科學和機器學習術語的說明 331
11.2.2關於完整搜索的示例 331
11.2.3使用隨機性在大海撈針 337
11.3遞迴的神奇世界：嵌套交叉驗證 337
11.3.1重溫交叉驗證 338
11.3.2作為模型的網格搜索 339
11.3.3交叉驗證中嵌套的交叉驗證 340
11.3.4關於嵌套交叉驗證的注釋 341
11.4管道技術 344
11.4.1一個簡單的管道 344
11.4.2 複雜的管道 346
11.5管道和調參相結合 347
11.6本章參考閱讀資料 348
11.6.1本章小結 348
11.6.2章節注釋 348
11.6.3練習題 349
第四部分 主題
第12章組合機器學習模型 352
12.1集成 352
12.2投票集成 354
12.3裝袋法和隨機森林 355
12.3.1自舉 355
12.3.2從自舉到裝袋法 358
12.3.3隨機森林 360
12.4提升方法 362
12.4.1提升方法的核心理念 362
12.4.2提升方法實現細節 363
12.5各種樹集成方法的比較 365
12.6本章參考閱讀資料 368
12.6.1本章小結 368
12.6.2章節注釋 368
12.6.3練習題 370
第13章提供特徵工程的模型 371
13.1特徵選擇 373
13.1.1基於度量特徵的“單步篩選”方法 374
13.1.2基於模型的特徵選擇 384
13.1.3將特徵選擇與機器學習管道相集成 387
13.2基於核的特徵構造 389
13.2.1核激勵因數 389
13.2.2手動核方法 394
13.2.3核方法和核選項 398
13.2.4核化支援向量分類器：支持向量機 401
13.2.5關於SVM的建議和示例 403
13.3主成分分析：一種無監督技術 404
13.3.1預熱：中心化資料 405
13.3.2尋找不同的 線路 406
13.3.3 次執行PCA 407
13.3.4PCA的內部原理 410
13.3.5結局：對一般PCA的評論 415
13.3.6核心PCA和流形方法 415
13.4本章參考閱讀資料 419
13.4.1本章小結 419
13.4.2章節注釋 419
13.4.3練習題 424
第14章領域特徵工程：領域特定的機器學習 425
14.1處理文本 426
14.1.1對文本進行編碼 427
14.1.2文本學習的示例 432
14.2聚類 434
14.3處理圖像 436
14.3.1視覺詞袋 436
14.3.2圖像資料 437
14.3.3端到端系統 438
14.3.4全域視覺詞袋轉換器的完整代碼 444
14.4本章參考閱讀資料 447
14.4.1本章小結 447
14.4.2章節注釋 447
14.4.3練習題 448
第1 5章連接、擴展和未來的研究方向 450
15.1優化 450
15.2基於原始資料的線性回歸 453
15.2.1線性回歸的方法和分析 453
15.2.2線性回歸的視覺化視圖 456
15.3基於原始資料構建邏輯回歸 456
15.3.1採用0-1編碼的邏輯回歸 458
15.3.2加1減1編碼的邏輯回歸 459
15.3.3邏輯回歸的視覺化視圖 461
15.4基於原始資料的SVM 461
15.5神經網路 462
15.5.1線性回歸的神經網路視圖 463
15.5.2邏輯回歸的神經網路視圖 465
15.5.3 基本神經網路 466
15.6概率圖模型 467
15.6.1抽樣 468
15.6.2線性回歸的概率圖模型視圖 469
15.6.3邏輯回歸的概率圖模型視圖 472
15.7本章參考閱讀資料 474
15.7.1本章小結 474
15.7.2章節注釋 474
15.7.3練習題 475
附錄mlwpy.py程式清單 476
