|
|
|
增強型分析是資料科學的未來，本書講解了如何通過前沿的大資料技術和AI技術實現智慧的資料分析和業務決策，即增強型分析。
本書的三位作者是來自德勤、前華為和前IBM的資深資料科學家，在大資料和AI領域至少都有10年以上的工作經驗，他們將各自多年來在“構建資料採擷模型，解決實際業務問題”方面積累的經驗全部總結在了這本書中。
全書的內容由兩條主線貫穿：
技術主線：一方面講解了預測模型、序列分析、預測分析、Prescriptive分析等前沿資料處理技術，一方面講解了CNN、RNN和GNN等前沿的AI技術如何為資料分析賦能。
業務主線：在數位化轉型的大時代背景下，如何通過資料分析實現智慧行銷、智慧風險管控，實現由初級的“主動行銷”到“被動行銷”，再到“全管道協同行銷”等行銷手段的升級應用。
本書的重點聚焦在本質內容上，即資料處理、演算法及模型、“模型洞見到業務決策”的分析等。
全書共8章：
第1章：作者結合自己的從業經驗介紹了資料科學家的職業生涯發展、工作模式和工作方法要點等內容，為有志成為資料科學家的讀者指明了道路和方向；
第2章：從描述性分析的角度講解了資料探索、資料預處理衍生指標加工方面的技巧；
第3章：介紹了預測類模型構建時的新方法、新思路、新工具；
第4章：講解了序列分析的相關內容，包括序列模式、序列規則、序列預測等的挖掘與應用，用實例的方式說明瞭演算法的原理、特點和使用技巧；
第5章：介紹了人工智慧下一個階段的重點領域，即如何應用資料分析做出優決策；
第6~8章：通過與傳統模型的對比，介紹了CNN、RNN、GNN等演算法的原理，通過大量的實例說明瞭這些AI技術在資料分析與決策領域的用法和實際效果。
彭鴻濤
德勤企業諮詢總監兼首席資料科學家，德勤全球AI團隊核心成員，德勤數位化轉型、智慧行銷、智慧風控、客戶體驗等核心諮詢服務方案的資深顧問。
2008年加入SPSS並與跨國家團隊一起進行Analytical Decision Management決策自動化工具的開發，與國內外團隊一起構建了SPSS在不同應用領域的解決方案，其中某些方案現已成長為IBM的知名解決方案；2014年加入IBM GBSC部門，領導資料分析團隊，針對不同客戶設計和實施資料分析的方案；2016年加入IBM GBS GBS Cognitive Business Decision Support擔任CTO和首席資料科學家，領導團隊開發實施了有一定行業影響力的人工智慧應用；2017年加入德勤企業諮詢擔任金融服務總監及首席資料科學家，領導團隊開拓數位化轉型背景下的新型諮詢服務方案，期間高品質交付大型銀行的數位化轉型及實施相關專案並得到客戶高度認可。
張宗耀
上海全應科技有限公司資深資料科學家，前華為企業智慧部門資深資料科學家，前IBM SPSS 演算法元件團隊資深演算法工程師。
2009年加入IBM SPSS演算法元件團隊，負責Statistic和Modeler產品的升級和維護；2012年開始大資料演算法元件的設計和開發，為分散式分析引擎提供了核心計算單元，主導完成開發了分散式平臺下的廣義線性模型、自動建模演算法、ADMM優化演算法等，打造了分析引擎平臺以及SPSS Modeler產品的具競爭力演算法模組；2015年開始投入Spark分散式框架的演算法設計和開發，主導完成開發了生存分析演算法、時間序列相關演算法等，豐富了SPSS產品的核心演算法元件。2016年加入華為，先後就職于華為的資料採擷團隊，以及企業智慧部門的機器學習服務團隊和工業解決方案團隊，負責演算法、機器學習、即時預測、資料分析，以及行業解決方案的設計、開發和部署相關的工作。
聶磊
陝西萬禾數位科技有限公司CTO，前IBM SPSS 資深資料科學家，前IBM Watson Analytics資料分析引擎技術主管及架構師。
2008 年加入IBM Analytical Decision Management團隊，主導開發了業務規則引擎和基於優化技術的預測性維護解決方案；2014年加入IBM Watson Analytics團隊，擔任技術主管兼架構師，主導了IBM Watson Analytics資料分析引擎基於Spark技術的轉換，極大提高了平臺的計算能力；2017年擔任IBM Cognos Analytics團隊架構師，主持了自動化技術的引入。
推薦序一
推薦序二
前言
第1章 資料科學家的成長之路 1
1.1 演算法與資料科學家 1
1.1.1 資料科學、人工智慧、機器學習等 2
1.1.2 室內活動還是室外活動 3
1.2 資料科學家不斷成長的幾個階段 3
1.2.1 演算法——如何構建資料分析模型 5
1.2.2 用法——如何回頭看模型 6
1.2.3 業務——如何產生更大價值 7
1.2.4 戰略——如何更廣 8
1.3 資料科學家的工作模式與組織結構 9
1.3.1 資料驅動還是業務驅動 9
1.3.2 資料科學家團隊的組織結構 9
1.4 資料科學家的工作方法要點 10
第2章 大資料探索及預處理 13
2.1 大資料探索 13
2.1.1 數數值型別 13
2.1.2 連續型資料的探索 14
2.1.3 分類型資料的探索 19
2.1.4 示例：資料探索 20
2.2 數據預處理 26
2.2.1 數據清洗 26
2.2.2 數據變換 29
2.2.3 數據歸約 41
2.3 衍生指標的加工 44
2.3.1 衍生指標概述 45
2.3.2 將數值轉化為百分位數 45
2.3.3 把類別變數替換為數值 46
2.3.4 多變數組合 47
2.3.5 從時間序列中提取特徵 47
第3章 預測模型的新技術 49
3.1 集成學習 49
3.1.1 Averaging方法 49
3.1.2 Boosting方法 51
3.2 Gradient Tree Boosting介紹 53
3.2.1 梯度與梯度下降 53
3.2.2 Gradient Tree Boosting演算法的原理 55
3.3 Gradient Tree Boosting的改進方向 57
3.3.1 Gradient Tree Boosting的使用要點 57
3.3.2 Regularization 59
3.3.3 XGBoost介紹 60
3.4 模型的最佳參數設置 60
3.5 投票決定最終預測結果 65
3.6 讓模型在訓練結束後還能被更新 66
3.6.1 暖開機 67
3.6.2 增量學習 67
3.7 多輸出預測 68
3.7.1 Binary Relevance 69
3.7.2 Classifier Chain 70
3.7.3 Ensemble Classifier Chain 70
3.8 案例：如何給客戶從數百個產品中尋找合適的產品 71
3.8.1 問題提出 72
3.8.2 建模思路 72
3.8.3 模型訓練及應用 73
第4章 序列分析 76
4.1 通過客戶行為研究做出服務策略 76
4.2 頻繁項集、關聯規則的挖掘 77
4.2.1 基本概念 77
4.2.2 頻繁或稀疏項集的挖掘 78
4.2.3 關聯規則的挖掘 86
4.3 序列模式的挖掘以及應用 88
4.3.1 換種視角觀察項間的順序 88
4.3.2 “事無巨細”還是“事有巨細” 89
4.3.3 序列挖掘的相關演算法介紹 92
4.3.4 示例：挖掘購買物品的序列模式 96
4.4 序列規則的挖掘以及應用 101
4.4.1 將頻繁序列通過業務解讀轉換為行動指南 101
4.4.2 序列規則的挖掘實現行動指南 102
4.4.3 序列規則的挖掘演算法 102
4.4.4 示例：通過客戶購買產品的序列推薦合適的產品 104
4.5 序列預測的挖掘以及應用 107
4.5.1 序列規則與序列預測的關係 107
4.5.2 序列預測演算法的介紹 108
4.5.3 示例：客戶下一步會做什麼 110
第5章 應用資料分析做出最優決策 114
5.1 Prescriptive分析概述 114
5.1.1 業務分析的3個層次 115
5.1.2 為什麼需要Prescriptive分析 116
5.1.3 什麼時候需要Prescriptive分析 117
5.2 確定因素和非確定因素下的決策分析 118
5.3 What-If分析和Goal Seeking分析 121
5.4 優化技術介紹 122
5.4.1 資料採擷演算法中常用的優化技術 122
5.4.2 優化問題求解工具介紹 127
5.4.3 CVXPY優化工具在機器學習演算法中的應用 130
5.4.4 應用優化技術尋找最優產品推薦 134
5.5 模擬分析 135
5.5.1 蒙特卡洛的介紹 135
5.5.2 採用蒙特卡洛方法進行重採樣 137
5.6 瑪律可夫鏈及瑪律可夫決策過程 143
5.6.1 瑪律可夫過程及瑪律可夫鏈 145
5.6.2 瑪律可夫決策過程及應用工具 148
5.6.3 應用瑪律可夫決策過程研究行銷策略及客戶生命週期價值 151
第6章 深入探討CNN 155
6.1 換個角度討論CNN 155
6.1.1 卷積是在做什麼 156
6.1.2 人臉檢測與人臉識別 159
6.1.3 深度學習意味著什麼 165
......
