|
|
|
本書共11章，分為三篇。基礎篇（第1~3章），介紹了Storm背景、基本原理、安裝部署、核心概念和數據流模型。
實戰篇（第4~9章），通過6個典型的應用案例和代碼示例，結合實踐技巧和理論知識，深入講解了如何使用Storm設計大型數據應用系統。技巧篇（第10~11章），重點介紹了Storm的高級特性、運維監控和性能調優等，並結合生產系統的性能優化、運維經驗和使用技巧等方面進行講解，旨在提升讀者的實際操作經驗。
前言
基礎篇
第1章認識Storm
1.1什麼是實時流計算
1.1.1實時流計算背景
1.1.2實時計算應用場景
1.1.3實時計算處理流程
1.1.4實時計算框架
1.2Storm是什麼
1.2.1Storm出現的背景
1.2.2Storm簡介
1.2.3Storm的設計思想
1.2.4Storm與Hadoop的角色和組件比較
1.3Storm核心組件
1.3.1主節點Nimbus
1.3.2工作節點Supervisor
1.3.3協調服務組件ZooKeeper
1.3.4其他核心組件
1.4Storm的特性
1.5Storm的功能
1.6本章小結
第2章開始使用Storm
2.1環境准備
2.1.1系統配置
2.1.2安裝ZooKeeper集群
2.2啟動模式
2.2.1本地模式
2.2.2分布式模式
2.3安裝部署Storm集群
2.3.1安裝Storm依賴庫
2.3.2安裝Storm集群
2.3.3啟動Storm集群
2.3.4停止Storm集群
2.4創建Topology並向集群提交任務
2.4.1創建Topology
2.4.2向集群提交任務
2.5本章小結
第3章核心概念和數據流模型
3.1Tuple元組
3.1.1Tuple描述
3.1.2Tuple的生命周期
3.2Spout數據源
3.2.1Spout介紹
3.2.2Spout實例
3.3Bolt消息處理者
3.3.1Bolt介紹
3.3.2Bolt實例
3.4Topology拓撲
3.4.1Topology實例
3.4.2Topology運行
3.5Stream消息流和StreamGrouping消息流組
3.5.1Stream消息流
3.5.2StreamGrouping消息流組
3.6Task任務
3.7Worker工作者進程
3.8Worker、Task、Executor三者之間的關系
3.9事務
3.10數據流模型
3.10.1數據流模型簡介
3.10.2Storm數據流模型
3.11本章小結
實戰篇
第4章實例1：移動互聯--語音「實時牆」
4.1業務背景
4.1.1案例背景
4.1.2設計目標
4.1.3數據格式
4.1.4硬件配置
4.2系統架構與模塊設計
4.2.1整體架構
4.2.2數據采集
4.2.3數據實時處理
4.2.4存儲設計
4.2.5Web實時展示
4.2.6硬件部署圖
4.3核心模塊實現
4.3.1實時處理業務邏輯實現
4.3.2Web展示實現
4.3.3最終效果呈現
4.4本章小結
第5章實例2：運營商--網絡流量流向實時分析
5.1業務背景
5.1.1案例背景
5.1.2設計目標
5.1.3數據規模預估
5.1.4數據格式
5.1.5統計分析需求
5.2系統架構與模塊設計
5.2.1整體架構
5.2.2數據源
5.2.3日志采集
5.2.4數據存儲
5.2.5數據處理
5.2.6目標存儲和擴展服務
5.2.7結果Web展示
5.3核心模塊實現
5.3.1模擬數據實現
5.3.2日志采集和存儲實現
5.3.3數據處理實現
5.3.4Web展示實現
5.4本章小結
第6章實例3：交通--基於GPS的實時路況分析
6.1業務背景
6.1.1案例背景
6.1.2設計目標
6.1.3數據格式
6.1.4實時路況分析方法
6.2系統架構和模塊設計
6.3核心模塊的實現
6.3.1安裝Kafka集群
6.3.2Flume整合Kafka
6.3.3實時處理數據
6.3.4Web頁面展示
6.4本章小結
第7章實例4：互聯網--數據質量實時監控
7.1業務背景
7.1.1案例背景
7.1.2設計目標
7.1.3數據格式
7.2系統架構與模塊設計
7.2.1整體架構
7.2.2結果Web展示
7.3核心模塊實現
7.3.1模擬數據
7.3.2實時處理業務邏輯的實現
7.3.3Web界面實現
7.3.4最終效果圖
7.4本章小結
第8章實例5：交通--超速頻發路段監控
8.1業務背景
8.1.1案例背景
8.1.2數據類型
8.2系統架構和模塊設計
8.3核心模塊實現
8.3.1實現入口類Main
8.3.2數據源SocketSpout的實現
8.3.3實時處理MapSearchBolt和SpeedProcessBolt的實現
8.3.4目標存儲DataBaseLoadBolt的實現
8.4本章小結
第9章實例6：互聯網--廣告實時流量統計
9.1廣告實時流量統計系統架構
9.1.1廣告數據
9.1.2詳細需求描述
9.1.3系統架構
9.2表結構與模塊設計
9.2.1表結構設計
9.2.2功能模塊設計
9.3核心模塊實現
9.3.1部署物理集群環境
9.3.2Kafka生產者邏輯的實現
9.3.3使用Stormkafka實現業務邏輯
9.3.4使用HBase存儲並實現統計
9.4本章小結
技巧篇
第10章Storm常見故障及解決方法
10.1安裝部署故障
10.1.1「nojzmqinjava.library.path」異常
10.1.2「Noruletomaketarget」異常
10.1.3「cannotaccessorg.zeromq.ZMQ」異常
10.1.4缺少pkgconf?ig異常
10.1.5「java.lang.Unsatisf?iedLinkError」異常
10.1.6「java.lang.NoClassDefFoundError：clojure.core.protocols$」異常
10.1.7「Error：cannotlinkwithluuid，installuuiddev」異常
10.1.8「badinterpreter：Nosuchf?ileordirectory」異常
10.1.9「org.zeromq.ZMQException：Invalidargument」異常
10.2啟動故障
10.2.1「java.io.FileNotFoundException」異常
10.2.2「java.io.EOFException」異常
10.3運行時故障
10.3.1「Nimbushostisnotset」異常
10.3.2「AlreadyAliveException（msg：xxxisalreadyactive）」異常
10.3.3無法序列化log4j.Logger異常
10.3.4「Failingmessage」異常
10.3.5「java.io.NotSerializableException」異常
10.3.6「java.lang.NoClassDefFoundError」異常
10.3.7「java.net.NoRouteToHostException」異常
10.3.8「java.net.UnknownHostException」異常
10.3.9重復defaults.yaml資源文件異常
10.3.10「KeeperException$NoNodeException」異常
10.3.11「AfatalerrorhasbeendetectedbytheJavaRuntimeEnvironment」錯誤
10.3.12「java.lang.ArrayIndexOutOfBoundsException」異常
10.3.13DRPC空指針異常
10.3.14StormThrift讀取數據報錯
10.4本章小結
第11章Storm使用技巧和最佳實踐
11.1核心組件使用要點
11.1.1Spout和Bolt
11.1.2ZooKeeper集群盡量獨立
11.1.3Thrift服務的應用場景
11.1.4序列化機制的使用場景
11.2集群配置技巧
11.2.1默認參數配置
11.2.2日志信息
11.2.3合理配置JVM參數
11.3集群運維技巧
11.3.1Storm計算結果的存儲位置
11.3.2Storm集群動態增刪節點
11.3.3關閉Storm相關進程
11.3.4StormUI顯示內容的問題
11.4項目開發技巧
11.4.1使用assembly插件打包
11.4.2依賴JAR沖突
11.5保證消息的可靠處理
11.5.1消息失敗后的處理
11.5.2主動干預可靠性
11.5.3處理重復的Tuple
11.6理解DRPC原語
11.6.1DRPC工作流
11.6.2LinearDRPCTopologyBuilder實現類
11.6.3DRPC的兩種模式
11.7快速理解一致性事務
11.7.1Trident框架的使用
11.7.2Trident框架的細節
11.7.3事務性Spout
11.7.4狀態State
11.8本章小結
