|
|
|
《Python和Dask資料科學》詳盡介紹使用Dask進行資料準備、資料清理、探索性資料分析和資料視覺化，最後介紹使用Dask進行機器學習。通過提供真實的資料、豐富的案例，幫助讀者儘快瞭解和掌握Dask的用法。每個知識點都提供了相應的程式碼片段，幫助讀者通過實踐強化對知識的理解。每章的開頭和結尾對該章的主要內容進行概括和總結。
《Python和Dask資料科學》還提供了示例代碼和資料集的下載地址。可以在論壇裡對《Python和Dask資料科學》發表評論，提出技術問題，從作者和其他用戶那裡得到幫助和提高。《Python和Dask資料科學》是迄今為止最詳盡介紹使用Dask進行資料科學工作的書籍。
Jesse C. Daniel具有5年使用Python編寫應用程式的經驗，其中包括從事PyData堆疊(Pandas、NumPy、SciPy和scikit-learn)的工作3年。Jesse于2016年進入丹佛大學，擔任商業資訊和分析學的副教授，講授Python資料科學課程。他目前領導著丹佛當地的一家科技公司的資料科學家團隊。
第Ⅰ部分 可擴展計算的基礎
第1章 可擴展計算的重要性 3
1.1 Dask的優勢 4
1.2 有向無環圖 9
1.3 橫向擴展、併發和恢復 13
1.3.1 縱向擴展和橫向擴展 14
1.3.2 併發和資源管理 16
1.3.3 從失敗中恢復 17
1.4 本書使用的資料集 18
1.5 本章小結 19
第2章 Dask入門 21
2.1 DataFrame API初探 22
2.1.1 Dask對象的中繼資料 22
2.1.2 使用compute方法運行計算任務 25
2.1.3 使用persist簡化複雜計算 27
2.2 DAG的視覺化 28
2.2.1 使用Dask延遲物件查看DAG 28
2.2.2 帶有迴圈和集合的複雜DAG的視覺化 29
2.2.3 使用persist簡化DAG 32
2.3 任務調度 35
2.3.1 延遲計算 35
2.3.2 數據當地語系化 36
2.4 本章小結 38
第II部分 使用Dask DataFrame處理結構化資料
第3章 介紹Dask DataFrame 41
3.1 為什麼使用DataFrame 42
3.2 Dask和Pandas 43
3.2.1 管理DataFrame分區 45
3.2.2 “混洗”介紹 48
3.3 Dask DataFrame的局限性 49
3.4 本章小結 50
第4章 將數據讀入DataFrame 53
4.1 從文字檔讀取數據 54
4.1.1 Dask資料類型 59
4.1.2 為Dask DataFrame創建資料模式 61
4.2 從關聯式資料庫中讀取資料 65
4.3 從HDFS和S3中讀取數據 68
4.4 讀取Parquet格式的資料 72
4.5 本章小結 74
第5章 DataFrame的清理和轉換 75
5.1 使用索引和軸 77
5.1.1 從DataFrame中選擇列 77
5.1.2 從DataFrame中刪除列 79
5.1.3 DataFrame中列的重命名 81
5.1.4 從DataFrame中選擇行 81
5.2 處理缺失值 83
5.2.1 對DataFrame中的缺失值計數 83
5.2.2 刪除含有缺失值
的列 85
5.2.3 填充缺失值 85
5.2.4 刪除缺少資料的行 86
5.2.5 使用缺失值輸入多個列 87
5.3 資料重編碼 89
5.4 元素運算 93
5.5 過濾和重新索引DataFrame 95
5.6 DataFrame的連接 97
5.6.1 連接兩個DataFrame 98
5.6.2 合併兩個DataFrame 101
5.7 將資料寫入文字檔和Parquet檔 103
5.7.1 寫入含分隔符號的文字檔 103
5.7.2 寫入Parquet 文件 104
5.8 本章小結 105
第6章 聚合和分析DataFrame 107
6.1 描述性統計資訊 108
6.1.1 什麼是描述性統計資訊 108
6.1.2 使用Dask計算描述性統計資訊 110
6.1.3 使用describe方法進行描述性統計 114
6.2 內置的彙總函式 115
6.2.1 什麼是相關性 115
6.2.2 計算Dask DataFrame的相關性 117
6.3 自訂彙總函式 121
6.3.1 使用t檢驗測試分類變數 121
6.3.2 使用自訂彙總函式來實現Brown-Forsythe檢驗 123
6.4 滾動(視窗)功能 134
6.4.1 為滾動函數準備資料 135
6.4.2 將rolling方法應用到一個視窗函數 136
6.5 本章小結 137
第7章 使用Seaborn對DataFrame進行視覺化 139
7.1 prepare-reduce-collect-plot模式 141
7.2 視覺化散點圖與規則圖的延伸關係 143
7.2.1 使用Dask和Seaborn創建散點圖 143
7.2.2 在散點圖中添加線性回歸線 146
7.2.3 在散點圖中添加非線性回歸線 147
7.3 使用小提琴圖視覺化分類關係 149
7.3.1 使用Dask和Seaborn創建小提琴圖 150
7.3.2 從Dask DataFrame隨機採樣資料 152
7.4 使用熱圖視覺化兩個分類關係 154
7.5 本章小結 157
第8章 用Datashader對位置資料視覺化 159
8.1 什麼是Datashader？它是如何工作的？ 160
8.1.1 Datashader渲染流程的五個階段 161
8.1.2 使用Datashader進行視覺化 165
8.2 將位置資料繪製為互動式熱圖 166
8.2.1 準備用於地圖平鋪的地理資料 166
8.2.2 創建互動式熱圖 167
8.3 本章小結 169
第III部分 擴展和部署Dask
第9章 使用Bag和Arrays 173
9.1 使用Bag讀取和解析非結構化資料 175
9.1.1 從Bag中選擇和查看資料 176
9.1.2 常見的解析錯誤和解決辦法 176
9.1.3 使用分隔符號 177
9.2 轉換、過濾和合併元素 184
9.2.1 使用map函數轉換元素 184
9.2.2 使用filter函數過濾Bag 186
9.2.3 計算Bag的描述統計量 189
9.2.4 使用foldby方法創建彙總函式 190
9.3 從Bag中創建Arrays和DataFrame 192
9.4 使用Bag和NLTK進行並行文本分析 193
9.4.1 二元分析的基礎 194
9.4.2 提取token和過濾停頓詞 194
9.4.3 分析二元組 198
9.5 本章小結 200
第10章 使用Dask-ML進行機器學習 201
10.1 使用Dask-ML建立線性模型 202
10.1.1 準備二進位向量化資料 204
10.1.2 使用Dask-ML建立Logistic回歸模型 210
10.2 評估和調整Dask-ML模型 211
10.2.1 用計分法評估Dask-ML模型 211
10.2.2 使用Dask-ML構建朴貝葉斯分類器 212
10.2.3 自動調整超參數 213
10.3 持續的Dask-ML模型 215
10.4 本章小結 217
第11章 擴展和部署Dask 219
11.1 使用Docker在Amazon AWS上創建Dask集群 220
11.1.1 入門 221
11.1.2 生成安全金鑰 222
11.1.3 創建ECS集群 224
11.1.4 配置集群的網路 227
11.1.5 在Elastic檔案系統中創建共用資料驅動 231
11.1.6 在Elastic ContainerRepository中為Docker鏡像分配空間 236
11.1.7 為調度器、工作節點和Notebook創建和部署鏡像 237
11.1.8 連接到集群 244
11.2 在集群上運行和監視Dask作業 246
11.3 在AWS上清理Dask集群 250
11.4 本章小結 252
附錄A 軟體的安裝 253
