|
|
|
本書從雲存儲的需求出發講述物件存儲的原理，循序漸進地建立起一個分散式物件存儲的架構，並且將軟體實現出來。
全書共8章，分別涉及物件存儲簡介、可擴展分散式系統、中繼資料服務、資料校驗和去重、資料冗餘處理、中斷點續傳、資料壓縮和資料維護等。本書選擇用來實現分散式物件存儲軟體的程式設計語言是當前流行的Go語言。
本書適合從事雲存儲方面工作的工程師或架構師，也適合想要學習和實現分散式物件存儲的讀者。
胡世傑，上海交通大學畢業，目前在七牛雲任職技術專家，是私有雲存儲服務的負責人。他是分散式對象存儲系統專家，在該領域擁有多年的架構、開發和部署經 驗，精通C、C++、Perl、Python、Ruby、Go等多種編程語言，熟悉ElasticSearch、RabbitMQ等開源軟體。除了自己寫 作，他還致力於技術書籍的翻譯，是《JavaScript面向對象精要》《Python和HDF5大數據應用》《Python高性能編程》等圖書的譯者。
第1章物件存儲簡介1
1.1和傳統網路存儲的區別1
1.1.1資料的管理方式2
1.1.2訪問資料的方式2
1.1.3物件存儲的優勢3
1.2單機版物件存儲的架構4
1.2.1REST介面4
1.2.2物件PUT流程5
1.2.3物件GET流程5
1.3Go語言實現6
1.4功能測試10
1.5小結12
第2章可擴展的分散式系統15
2.1什麼是分散式系統15
2.2介面和資料存儲分離的架構16
2.2.1REST介面17
2.2.2RabbitMQ消息設計18
2.2.3物件PUT流程19
2.2.4物件GET流程20
2.3Go語言實現21
2.3.1資料服務21
2.3.2介面服務23
2.3.3rabbitmq包34
2.4功能測試38
2.5小結41
第3章中繼資料服務45
3.1什麼是中繼資料45
3.1.1系統定義的中繼資料45
3.1.2用戶自訂的中繼資料45
3.1.3散列值和散列函數46
3.2加入中繼資料服務的架構47
3.2.1REST介面48
3.2.2ES介面51
3.2.3物件PUT流程54
3.2.4物件GET流程55
3.3Go語言實現55
3.3.1介面服務55
3.3.2es包63
3.4功能測試68
3.5小結74
第4章資料校驗和去重77
4.1何為去重77
4.1.1需要資料校驗的原因78
4.1.2實現資料校驗的方法79
4.2給資料服務加入緩存功能79
4.2.1資料服務的REST介面80
4.2.2物件PUT流程80
4.3Go語言實現82
4.3.1介面服務82
4.3.2資料服務87
4.4功能測試98
4.5去重導致的性能問題101
4.6小結102
第5章資料冗餘和即時修復105
5.1資料冗餘的概念105
5.1.1資料丟失和資料不可用105
5.1.2數據冗餘106
5.1.3物件存儲系統的資料冗餘策略107
5.2資料冗餘的實現108
5.2.1REST介面108
5.2.2物件PUT流程108
5.2.3物件GET流程109
5.3Go語言實現111
5.3.1介面服務111
5.3.2資料服務126
5.4功能測試131
5.5小結135
第6章中斷點續傳139
6.1為什麼物件存儲需要支援中斷點續傳139
6.1.1中斷點下載流程139
6.1.2中斷點上傳流程140
6.1.3介面服務的REST介面142
6.1.4資料服務的REST介面144
6.2Go語言實現145
6.2.1介面服務145
6.2.2資料服務158
6.3功能測試160
6.4小結165
第7章資料壓縮169
7.1用gzip實現物件存儲和下載時的資料壓縮170
7.1.1存儲時的資料壓縮170
7.1.2下載時的資料壓縮171
7.1.3介面服務的REST介面172
7.2Go語言實現172
7.2.1介面服務172
7.2.2資料服務174
7.3功能測試176
7.4小結180
第8章資料維護183
8.1物件存儲系統的資料維護工作183
8.1.1對象版本留存183
8.1.2資料定期檢查和修復184
8.1.3資料服務的REST介面185
8.2Go語言實現185
8.2.1刪除過期中繼資料185
8.2.2刪除沒有中繼資料引用的物件資料188
8.2.3物件資料的檢查和修復191
8.3功能測試193
8.4小結202
