|
|
|
隨著雲計算、大資料、物聯網、人工智慧和區塊鏈等IT技術的發展與應用，資訊技術不斷驅動社會生產方式的變革，人類進入機器智慧時代。近年來，大資料處理技術已經廣泛地滲透到各行各業，大資料分析與應用的教學工作也逐漸成為高校中的重中之重，這是大資料時代下的必然趨勢。
本書從實際應用出發，結合具體案例及應用場景，深入淺出地介紹大資料處理預備知識、Python技術基礎、大資料處理常用模組、大資料獲取技術、大資料處理演算法以及文本挖掘與應用等。從環境搭建到資料獲取視覺化，從資料預處理到特徵選擇與模型訓練，再從模型調優到測試評估。通過本書，讀者可掌握大資料處理中的知識體系和技能，在各領域開展大資料處理與研究工作。
本書實例短小精練，便於學習，讀者能夠在短時間內掌握相關知識點及其應用。本書主要面向高等學校從事大資料處理和分析的本科生和研究生，亦可作為高等學校大資料處理相關課程的教材。此外，本書提供配套的套裝軟體、實例代碼和資料檔案。
第1章大資料處理預備知識.1
1.1人類的驕傲1
1.2大數據思維1
1.3大資料的關鍵技術2
1.4機器學習3
1.5訓練集與測試集4
1.6特徵表示4
1.7文檔的相似度計算5
1.8貝葉斯定理6
1.9信息熵7
1.10正確率、率與召回率7
1.11ROC曲線.8
1.12大資料隱私與安全9
1.13練習10
第2章Python技術基礎11
2.1Python開發環境的搭建11
2.2常用操作符12
2.3語句規範13
2.4變數與資料13
2.5控制語句14
2.6資料結構16
2.7函數21
2.8可變物件與不可變物件23
2.9物件導向程式設計24
2.10練習31
第3章大資料處理常用模組.32
3.1NumPy32
3.2Pandas.36
3.3Matplotlib.41
3.4練習50
第4章大資料獲取技術53
4.1網路爬蟲概述53
4.2Requests基礎.54
4.3XPath與Lxml57
4.4網頁採集60
4.5分頁採集61
4.6練習63
第5章大資料處理演算法及應用64
5.1回歸64
5.2決策樹73
5.3K近鄰.80
5.4支持向量機84
5.5神經網路87
5.6樸素貝葉斯91
5.7聚類94
5.8關聯規則98
5.9PCA降維.102
5.10機器學習流程106
5.11練習118
第6章文本挖掘與應用121
6.1文本挖掘流程121
6.2NLTK121
6.3TextBlob.130
6.4Jieba134
6.5SnowNLP139
6.6規則運算式..143
6.7詞雲150
6.8LDA主題模型.152
6.9練習156
第7章大資料應用案例157
7.1泰坦尼克生存預測157
7.2基於用戶評論的智慧音箱市場分析166
7.3有事找政府12345.171
7.4基於網貸評論的用戶輿情挖掘172
參考文獻.178
