|
|
|
本書不會是純源碼分析的書籍。首先，我把工作實踐中遇到的許多經驗寫入了書中，第7章便屬於純實踐型的經驗總結。其次，本書會是一個比較「新」的書，這里的「新」並不是指所分析的代碼版本新，而是包含了HDFS未來的一些比較棒的功能特性，以及Hadoop社區目前在做的一些事情。在這本書中，你會看到許多與社區相關的JIRA，了解如何從社區上找到問題的解決辦法。期待本書能給你帶來更多的啟發。
林意群，唯品會上海研發中心數據平台與應用部研發工程師，Apache Hadoop committer，主要專注於HDFS模塊的研究。對大數據處理、分布式計算興趣濃厚，在實際工作中努力鑽研，分享了大量技術文章，貢獻了很多實踐經驗。
前言
第一部分 核心設計篇
第1章 HDFS的數據存儲
1.1 HDFS內存存儲
1.1.1 HDFS內存存儲原理
1.1.2 Linux 虛擬內存盤
1.1.3 HDFS的內存存儲流程分析
1.1.4 LAZY_PERSIST內存存儲的使用
1.2 HDFS異構存儲
1.2.1 異構存儲類型
1.2.2 異構存儲原理
1.2.3 塊存儲類型選擇策略
1.2.4 塊存儲策略集合
1.2.5 塊存儲策略的調用
1.2.6 HDFS異構存儲策略的不足之處
1.2.7 HDFS存儲策略的使用
1.3 小結
第2章 HDFS的數據管理與策略選擇
2.1 HDFS緩存與緩存塊
2.1.1 HDFS物理層面緩存塊
2.1.2 緩存塊的生命周期狀態
2.1.3 CacheBlock、UnCacheBlock場景觸發
2.1.4 CacheBlock、UnCacheBlock緩存塊的確定
2.1.5 系統持有的緩存塊列表如何更新
2.1.6 緩存塊的使用
2.1.7 HDFS緩存相關配置
2.2 HDFS中心緩存管理
2.2.1 HDFS緩存適用場景
2.2.2 HDFS緩存的結構設計
2.2.3 HDFS緩存管理機制分析
2.2.4 HDFS中心緩存疑問點
2.2.5 HDFS CacheAdmin命令使用
2.3 HDFS快照管理
2.3.1 快照概念
2.3.2 HDFS中的快照相關命令
2.3.3 HDFS內部的快照管理機制
2.3.4 HDFS的快照使用
2.4 HDFS副本放置策略
2.4.1 副本放置策略概念與方法
2.4.2 副本放置策略的有效前提
2.4.3 默認副本放置策略的分析
2.4.4 目標存儲好壞的判斷
2.4.5 chooseTargets的調用
2.4.6 BlockPlacementPolicyWithNodeGroup繼承類
2.4.7 副本放置策略的結果驗證
2.5 HDFS內部的認證機制
2.5.1 BlockToken認證
2.5.2 HDFS的Sasl認證
2.5.3 BlockToken認證與HDFS的Sasl認證對比
第二部分 細節實現篇
第三部分 解決方案篇
附錄 如何向開源社區提交自己的代碼
