|
|
|
本書圍繞Hadoop生態圈相關系統介紹大資料處理架構。
全書共11章，其中，第1、2章主要帶領大家認識Hadoop以及學會搭建Hadoop集群；第3～5章講解分散式檔案系統（HDFS）、分散式運算框架MapReduce以及分散式協調服務；第6章講解Hadoop 2.0新特性含YARN和高可用特性;第7～10章主要講解Hadoop生態圈的相關輔助系統括Hive、Flume、Azkaban和Sqoop;第11章是一個綜合專案——流量日誌資料分析系統，目的是教會大家如何利用Hadoop生態圈技術構建大資料系統架構行開發，同時加深對Hadoop技術的理解。
本書可作為高等院校本、專科電腦相關專業，資訊管理等相關專業的大資料課程教材，也可供相關技術人員參考，是一本適合廣大電腦程式設計愛好者的讀物。
第1章初識Hadoop1
1.1大數據概述1
1.1.1什麼是大數據1
1.1.2大資料的特徵2
1.1.3研究大資料的意義3
1.2大資料的應用場景4
1.2.1行業的應用4
1.2.2金融行業的應用4
1.2.3行業的應用5
1.3Hadoop概述6
1.3.1Hadoop的前世今生6
1.3.2Hadoop的優勢7
1.3.3Hadoop的生態體系7
1.3.4Hadoop的版本9
1.4本章小結11
1.5課後1
第2章搭建Hadoop集群13
2.1安裝準備13
2.1.1虛擬機器安裝13
2.1.2虛擬機器克隆22
2.1.3Linux系統網路配置24
2.1.4SSH服務配置28
2.2Hadoop集群搭建31
2.2.1Hadoop集群部署模式31
2.2.2JDK安裝32
2.2.3Hadoop安裝33
2.2.4Hadoop集群配置35
2.3Hadoop集群測試38
2.3.1格式化檔案系統38目錄Hadoop大資料技術原理與應用2.3.2啟動和關閉Hadoop集群39
2.3.3通過UI查看Hadoop運行狀態41
2.4Hadoop集群初體驗43
2.5本章小結46
2.6課後6
第3章HDFS分散式檔案系統48
3.1HDFS的簡介48
3.1.1HDFS的演變48
3.1.2HDFS的基本概念50
3.1.3HDFS的特點51
3.2HDFS的架構和原理52
3.2.1HDFS存儲架構52
3.2.2HDFS文件讀寫原理53
3.3HDFS的Shell作55
3.3.1HDFS Shell介紹55
3.3.2案例——Shell定時採集資料到HDFS58
3.4HDFS的Java API作62
3.4.1HDFS Java API介紹62
3.4.2案例——使用Java API作HDFS63
3.5本章小結68
3.6課後9
第4章MapReduce分散式運算框架70
4.1MapReduce概述70
4.1.1MapReduce核心思想70
4.1.2MapReduce程式設計模型71
4.1.3MapReduce程式設計實例——詞頻統計72
4.2MapReduce工作原理73
4.2.1MapReduce工作過程73
4.2.2MapTask工作原理74
4.2.3ReduceTask工作原理75
4.2.4Shuffle工作原理76
4.3MapReduce程式設計組件77
4.3.1InputFormat組件77
4.3.2Mapper組件78
4.3.3Reducer組件78
4.3.4Partitioner組件80
4.3.5Combiner組件80
4.3.6OutputFormat組件81
4.4MapReduce運行模式82
4.5MapReduce性能優化策略84
4.6MapReduce經典案例——倒排索引86
4.6.1案例分析86
4.6.2案例實現89
4.7MapReduce經典案例——數據去重93
4.7.1案例分析93
4.7.2案例實現93
4.8MapReduce經典案例——TopN96
4.8.1案例分析96
4.8.2案例實現97
4.9本章小結100
4.10課後00
第5章Zookeeper分散式協調服務102
5.1初識Zookeeper102
5.1.1Zookeeper簡介102
5.1.2Zookeeper的特性103
5.1.3Zookeeper集群角色103
5.2資料模型104
5.2.1資料存儲結構104
5.2.2Znode的類型105
5.2.3Znode的屬性105
5.3Zookeeper的Watch機制106
5.3.1Watch機制的簡介106
5.3.2Watch機制的特點106
5.3.3Watch機制的通知狀態和事件類型107
5.4Zookeeper的選舉機制107
5.4.1選舉機制的簡介107
5.4.2選舉機制的類型108
5.5Zookeeper分散式集群部署109
5.5.1Zookeeper安的安裝109
5.5.2Zookeeper相關配置109
5.5.3Zookeeper服務的啟動和關閉112
5.6Zookeeper的Shell作113
5.6.1Zookeeper Shell介紹113
5.6.2通過Shell命令作Zookeeper113
5.7Zookeeper的Java API作119
5.7.1Zookeeper Java API介紹119
5.7.2通過Java API作Zookeeper120
5.8Zookeeper典型應用場景122
5.8.1數據發佈與訂閱122
5.8.2統一命名服務123
5.8.3分散式鎖123
5.9本章小結123
5.10課後24
第6章Hadoop 2.0新特性125
6.1Hadoop 2.0與提升125
6.2YARN資源管理框架125
6.2.1YARN體系結構125
6.2.2YARN工作流程127
6.3HDFS的高可用128
6.3.1HDFS的高可用架構128
6.3.2搭建Hadoop高可用集群129
6.4本章小結134
6.5課後35
第7章Hive資料倉庫136
7.1資料倉庫簡介136
7.1.1什麼是資料倉庫136
7.1.2資料倉庫的結構137
7.1.3資料倉庫的資料模型138
7.2Hive簡介140
7.2.1什麼是Hive140
7.2.2Hive系統架構141
7.2.3Hive工作原理141
7.2.4Hive資料模型142
7.3Hive的安裝143
7.3.1Hive安裝模式簡介143
7.3.2嵌入模式144
7.3.3本地模式和遠端模式145
7.4Hive的管理147
7.4.1CLI方式147
7.4.2遠端服務148
7.5Hive內置資料類型150
7.6Hive資料模型作151
7.6.1Hive資料庫作151
7.6.2Hive內部表作153
7.6.3Hive外部表作157
7.6.4Hive分區表作158
7.6.5Hive桶表作163
7.7Hive數據作166
7.8本章小結170
7.9課後70
第8章Flume日誌採集系統172
8.1Flume概述172
8.1.1Flume簡介172
8.1.2Flume運行機制172
8.1.3Flume日誌採集系統結構圖173
8.2Flume基本使用175
8.2.1Flume系統要求175
8.2.2Flume安裝配置175
8.2.3Flume入門使用177
8.3Flume採集方案配置說明181
8.3.1Flume Sources181
8.3.2Flume Channels184
8.3.3Flume Sinks186
8.4Flume的可靠性保證189
8.4.1負載均衡189
8.4.2容錯移轉195
8.5Flume攔截器196
8.6案例——日誌採集198
8.6.1案例分析198
8.6.2案例實現199
8.7本章小結204
8.8課後05
第9章工作流管理器（Azkaban）206
9.1工作流管理器概述206
9.1.1工作流調度系統背景206
9.1.2常用工作流管理器介紹206
9.2Azkaban概述207
9.2.1Azkaban特點208
9.2.2Azkaban組成結構208
9.2.3Azkaban部署模式209
9.3Azkaban部署210
9.3.1Azkaban資源準備210
9.3.2Azkaban安裝配置212
9.3.3Azkaban啟動測試220
9.4Azkaban使用224
9.4.1Azkaban工作流相關概念224
9.4.2案例演示——依賴任務調度管理226
9.4.3案例演示——MapReduce任務調度管理232
9.4.4案例演示——HIVE腳本任務調度管理235
9.5本章小結237
9.6課後37
第10章Sqoop資料移轉239
10.1Sqoop概述239
10.1.1Sqoop簡介239
10.1.2Sqoop原理240
10.2Sqoop安裝配置241
10.3Sqoop指令介紹242
10.4Sqoop數據導入244
10.4.1MySQL表數據導入HDFS245
10.4.2增量導入247
10.4.3MySQL表數據導入Hive248
10.4.4MySQL表數據子集導入249
10.5Sqoop數據匯出251
10.6本章小結253
10.7課後53
第11章綜合專案——流量日誌資料分析系統255
11.1系統概述255
11.1.1系統背景介紹255
11.1.2系統架構設計255
11.1.3系統預覽256
11.2模組開發——資料獲取257
11.2.1使用Flume搭建日誌採集系統257
11.2.2日誌資訊說明258
11.3模組開發——資料預處理258
11.3.1分析預處理的資料258
11.3.2實現資料的預處理259
11.4模組開發——資料倉庫開發268
11.4.1設計資料倉庫268
11.4.2實現資料倉庫269
11.5模組開發——資料分析273
11.5.1流量分析273
11.5.2人均流覽量分析274
11.6模組開發——資料匯出275
11.7模組開發——日誌分析系統報表展示276
11.7.1搭建日誌分析系統277
11.7.2實現報表能285
11.7.3能模組展示290
11.8本章小結290
