|
|
|
本書是一本集數據分析、數據挖掘、機器學習為一體，面向商業實戰的養成式學習手冊。為有志從事數據科學工作的讀者提供系統化的學習路徑，使讀者掌握數據科學的理念、思路與分析步驟。本書力圖淡化技術，對於方法的介紹也盡量避免涉及過多的數學內容，而且都輔以圖形進行形象地展現。本書將不同演算法看作功能各異的工具，比如用於煮飯的悶鍋、用於炒菜的炒鍋，每種工具的操作方式都應該遵循相應的說明書，因此對於每種演算法我們強調其假設、適用條件與商業數據分析主題的匹配。我們在實踐教學中發現，業務經驗豐富和有較好商業模式理解能力的學員，在掌握數據科學的技能方面具有明顯的優勢。這主要是因為這類學員有較強的思辨能力和分析能力，學習的目的性和質量意識較強，不只是簡單地模仿和套用數學公式，所以本書也注重對讀者思辯能力和分析能力的培養。
常國珍，資料科學專家和金融技術專家。北京大學會計學博士，中國大資料產業生態聯盟專家委員會委員。
2005年進入資料科學領域，先後在亞信、德勤等企業從事電信、金融行業資料採擷工作，現就職於中銀消費金融有限公司資料管理部。專注于消費金融領域的資料治理、客戶智慧與風險智慧。
趙仁乾，資料科學家，在電信大資料和機器學習領域有豐富的實踐經驗。
現就職於北京電信規劃設計院任高級經濟師，負責通信、ICT專案工程與業務諮詢，專注電信市場資料分析，重點研究方向包括離網用戶挖掘、市場細分與精准行銷、移動網路價值區域分析、大資料及人工智慧運營規劃等。
張秋劍，大資料專家和金融行業技術專家，上海師範大學電腦科學技術碩士。
現任星環科技金融事業部總監，大資料技術架構行業顧問專家，雲析學院發起人，AICUG社區聯合發起人，曾在IEEE等期刊發表多篇論文。目前主要為銀行、證券和保險等行業客戶提供大資料平臺及人工智慧平臺的整體規劃和專案建設等工作。
前言
第1章 資料科學家的武器庫
1.1資料科學的基本概念
1.2數理統計技術
1.2.1描述性統計分析
1.2.2統計推斷與統計建模
1.3資料採擷的技術與方法
1.4描述性資料採擷演算法示例
1.4.1聚類分析——客戶細分
1.4.2關聯規則分析
1.5預測性資料採擷演算法示例
1.5.1決策樹
1.5.2KNN演算法
1.5.3Logistic回歸
1.5.4神經網路
1.5.5支持向量機
1.5.6集成學習
1.5.7預測類模型講解
1.5.8預測類模型評估概述
第2章 Python概述
2.1Python概述
2.1.1Python簡介
2.1.2Python與資料科學
2.1.3Python2與Python3
2.2Anaconda Python的安裝、使用
2.2.1下載與安裝
2.2.2使用Jupyter Notebook
2.2.3使用Spyder
2.2.4使用conda或pip管理協力廠商庫
第3章 資料科學的Python程式設計基礎
3.1Python的基底資料型別
3.1.1字串(str)
3.1.2浮點數和整數（float、int）
3.1.3布林值（Bool：True/False）
3.1.4其他
3.2Python的基本資料結構
3.2.1列表（list）
3.2.2元組（tuple）
3.2.3集合（set）
3.2.4字典（dict）
3.3Python的程式控制
3.3.1三種基本的程式設計結構簡介
3.3.2順承結構
3.3.3分支結構
3.3.4迴圈結構
3.4Python的函數與模組
3.4.1Python的函數
3.4.2Python的模組
3.5Pandas讀取結構化資料
3.5.1讀取數據
3.5.2寫出數據
第4章 描述性統計分析與繪圖
4.1描述性統計進行資料探索
4.1.1變數度量類型與分佈類型
4.1.2分類變數的統計量
4.1.3連續變數的分佈與集中趨勢
4.1.4連續變數的離散程度
4.1.5資料分佈的對稱與高矮
4.2製作報表與統計製圖
4.3製圖的步驟
第5章 資料整合和資料清洗
5.1數據整合
5.1.1行列操作
5.1.2條件查詢
5.1.3橫向連接
5.1.4縱向合併
5.1.5排序
5.1.6分組匯總
5.1.7拆分、堆疊列
5.1.8賦值與條件賦值
5.2數據清洗
5.2.1重複值處理
5.2.2缺失值處理
5.2.3雜訊值處理
5.3RFM方法在客戶行為分析上的運用
5.3.1行為特徵提取的RFM方法論
5.3.2使用RFM方法計算變數
5.3.3資料整理與彙報
第6章 資料科學的統計推斷基礎
6.1基本的統計學概念
6.1.1總體與樣本
6.1.2統計量
6.1.3點估計、區間估計和中心極限定理
6.2假設檢驗與單樣本t檢驗
6.2.1假設檢驗
6.2.2單樣本t檢驗
6.3雙樣本t檢驗
6.4方差分析（分類變數和連續變數關係檢驗）
6.4.1單因素方差分析
6.4.2多因素方差分析
6.5相關分析（兩連續變數關係檢驗）
6.5.1相關係數
6.5.2散點矩陣圖
6.6卡方檢驗（二分類變數關係檢驗）
6.6.1列聯表
6.6.2卡方檢驗
第7章 客戶價值預測：線性回歸模型與診斷
7.1線性回歸
7.1.1簡單線性回歸
7.1.2多元線性回歸
7.1.3多元線性回歸的變數篩選
7.2線性回歸診斷
7.2.1殘差分析
7.2.2強影響點分析
7.2.3多重共線性分析
7.2.4小結線性回歸診斷
7.3正則化方法
7.3.1嶺回歸
7.3.2LASSO回歸
第8章 Logistic回歸構建初始信用評級
8.1Logistic回歸的相關關係分析
8.2Logistic回歸模型及實現
8.2.1Logistic回歸與發生比
8.2.2Logistic回歸的基本原理
8.2.3在Python中實現Logistic回歸
8.3Logistic回歸的極大似然估計
8.3.1極大似然估計的概念
8.3.2Logistics回歸的極大似然估計
8.4模型評估
8.4.1模型評估方法
8.4.2ROC曲線的概念
8.4.3在Python中實現ROC曲線
第9章 使用決策樹進行初始信用評級
9.1決策樹概述
9.2決策樹演算法
9.2.1ID3建樹演算法原理
9.2.2C4.5建樹演算法原理
9.2.3CART建樹演算法原理
9.2.4決策樹的剪枝
9.3在Python中實現決策樹
9.3.1建模
9.3.2模型評估
9.3.3決策樹的視覺化
9.3.4參數搜索調優
第10章 神經網路
10.1神經元模型
10.2單層感知器
10.3BP神經網路
10.4多層感知器的scikitlearn代碼實現
第11章 分類器入門：最近鄰域與樸素貝葉斯
11.1KNN演算法
11.1.1KNN演算法原理
11.1.2在Python中實現KNN演算法
11.2樸素貝葉斯分類
11.2.1貝葉斯公式
11.2.2樸素貝葉斯分類原理
11.2.3樸素貝葉斯的參數估計
11.2.4在Python中實現樸素貝葉斯
第12章 高級分類器：支持向量機
12.1線性可分與線性不可分
12.2線性可分支援向量機
12.2.1函數間隔和幾何間隔
12.2.2學習策略
12.2.3對偶方法求解
12.2.4線性可分支援向量機例題
12.3線性支援向量機與軟間隔最大化
12.4非線性支援向量機與核函數
12.4.1核函數
12.4.2非線性支援向量機的學習
12.4.3示例與Python實現
12.5使用支援向量機的案例
第13章 連續變數的特徵選擇與轉換
13.1方法概述
13.2主成分分析
13.2.1主成分分析簡介
13.2.2主成分分析原理
13.2.3主成分分析的運用
13.2.4在Python中實現主成分分析
13.3基於主成分的冗餘變數篩選
13.4因數分析
13.4.1因數分析模型
13.4.2因數分析演算法
13.4.3在Python中實現因數分析
第14章 客戶分群與聚類
14.1聚類演算法概述
14.2聚類演算法基本概念
14.2.1變數標準化與分佈形態轉換
14.2.2變數的維度分析
14.3聚類模型的評估
14.4層次聚類
14.4.1層次聚類原理
14.4.2層次聚類在Python中的實現
14.5基於劃分的聚類
14.5.1k means聚類原理
14.5.2k means聚類
