|
|
|
本書全面介紹了雲計算與大資料的基礎知識和主要技術。全書共11章，主要內容包括雲計算概述、大資料技術概述、虛擬化技術、資料中心、平行計算與集群技術、雲存儲技術、OpenStack、Hadoop、Spark、Storm以及雲計算模擬，本書注重實用，實驗豐富，理論緊密聯繫實際，使讀者可以系統全面地瞭解雲計算與大資料技術。
本書可作為高等院校雲計算、大資料相關課程的教材，也可以作為電腦相關專業的專業課或選修課教材，同時也可以作為從事雲計算與大資料技術相關工作的人員的參考用書。
第1章 雲計算概述1
1.1 什麼是雲計算1
1.1.1 雲計算的定義1
1.1.2 雲計算的概念模型2
1.1.3 雲計算的特點3
1.2 雲計算技術發展背景3
1.3 典型的雲計算基礎架構7
1.4 雲計算的主要服務模式9
1.4.1 基礎設施即服務IaaS9
1.4.2 平臺即服務PaaS10
1.4.3 軟體即服務SaaS11
1.4.4 三種服務模式之間的關係12
1.5 雲計算的主要部署模式13
1.6 雲計算是商業模式的創新14
1.7 典型的雲計算產品15
1.7.1 Amazon的AWS15
1.7.2 Windows Azure Platform16
1.7.3 IBM藍雲解決方案17
1.7.4 阿裡雲18
1.8 雲計算技術的新發展20
1.9 的雲計算產業現狀23
1.9.1 政府推動雲計算產業發展23
1.9.2 雲計算產業高速發展24
習題25
第2章 大資料技術概述26
2.1 大資料技術的產生26
2.1.1 大資料的基本概念26
2.1.2 大資料產生的原因26
2.1.3 大資料概念的提出28
2.1.4 第四範式——大資料對科學研究產生的影響30
2.1.5 雲計算與大資料的關係31
2.2 大資料的4V特徵31
2.3 大資料的主要應用及行業推動力量32
2.3.1 大資料的主要應用32
2.3.2 企業推動大資料行業發展32
2.3.3 政府推動大資料行業發展33
2.4 大資料的關鍵技術34
2.5 典型的大資料計算架構35
習題35
第3章 虛擬化技術36
3.1 虛擬化技術簡介36
3.1.1 虛擬化技術的概念36
3.1.2 虛擬化技術的分類38
3.1.3 虛擬化技術的優勢和劣勢42
3.1.4 虛擬化技術與雲計算43
3.2 虛擬化技術原理43
3.2.1 虛擬機器技術原理43
3.2.2 CPU虛擬化原理44
3.2.3 記憶體虛擬化原理46
3.2.4 網路虛擬化原理47
3.3 常見的虛擬化技術解決方案47
3.3.1 OpenStack47
3.3.2 KVM48
3.3.3 Hyper-V49
3.3.4 VMware49
3.3.5 Xen50
3.3.6 Docker51
3.4 常見虛擬化技術的應用實踐52
3.4.1 虛擬化環境的搭建53
3.4.2 克隆虛擬機器54
3.4.3 虛擬機器做快照56
習題59
第4章 資料中心60
4.1 資料中心的概念60
4.1.1 資料中心的定義、作用及分類60
4.1.2 資料中心的發展歷程61
4.1.3 資料中心的組成及建設原則65
4.1.4 雲計算、大資料時代的資料中心發展趨勢66
4.2 資料中心的基本單元——伺服器66
4.3 資料中心選址69
4.4 資料中心的能耗69
4.4.1 資料中心能耗評估70
4.4.2 資料中心的主要節能措施71
習題72
第5章 平行計算與集群技術73
5.1 平行計算概述73
5.1.1 平行計算的概念73
5.1.2 平行計算的層次75
5.1.3 平行電腦的發展75
5.1.4 平行計算與分散式運算77
5.1.5 平行計算與雲計算78
5.2 雲計算基礎架構——集群技術79
5.2.1 集群的基本概念79
5.2.2 集群系統的分類80
5.2.3 集群檔案系統80
5.3 平行計算的分類81
5.3.1 按Flynn分類81
5.3.2 按應用的計算特徵分類82
5.3.3 按結構模型分類83
5.4 平行計算相關技術84
5.4.1 平行計算的關鍵技術84
5.4.2 平行計算的性能估算86
5.5 並行程式設計——MPI程式設計87
5.5.1 MPI簡介87
5.5.2 一個簡單的MPI程式實現88
5.5.3 MPI消息90
5.5.4 MPI的消息傳遞過程90
5.5.5 MPI常用基本函數91
5.5.6 有消息傳遞的並行程式91
習題93
第6章 雲存儲技術94
6.1 雲存儲概述94
6.1.1 雲存儲的概念94
6.1.2 雲存儲系統的結構95
6.1.3 雲存儲的實現基礎96
6.1.4 雲存儲的特性98
6.2 雲存儲與雲計算99
6.3 雲存儲的應用100
6.3.1 個人級雲存儲的應用100
6.3.2 企業級雲存儲的應用100
6.4 雲存儲發展的關注點101
習題102
第7章OpenStack——功能強大的IaaS平臺103
7.1 OpenStack架構103
7.2 計算服務模組Nova104
7.3 網路服務模組Neutron107
7.3.1 Neutron的主要組件107
7.3.2 Neutron網路109
7.4 塊存儲服務模組Cinder110
7.5 物件存儲服務模組Swift111
7.6 身份認證模組Keystone115
7.7 鏡像模組Glance119
7.8 儀錶盤服務模組Horizon121
7.9 監控計量服務模組Ceilometer122
習題123
第8章 Hadoop——分散式大資料開發平臺124
8.1 Hadoop簡介124
8.1.1 Hadoop與分散式開發技術124
8.1.2 Hadoop的體系架構125
8.1.3 Hadoop集群的架構127
8.2 分散式檔案系統HDFS129
8.2.1 分散式檔案系統概述129
8.2.2 HDFS的架構及讀寫流程131
8.3 分散式運算框架MapReduce133
8.3.1 MapReduce程式設計模型133
8.3.2 MapReduce資料流程135
8.3.3 MapReduce任務運行流程136
8.4 列式資料庫HBase138
8.4.1 HBase列資料庫介紹139
8.4.2 理解HBase的表結構139
8.5 搭建Hadoop開發環境142
8.5.1 相關準備工作143
8.5.2 JDK的安裝配置143
8.5.3 下載、解壓Hadoop並配置Hadoop環境變數144
8.5.4 修改Hadoop設定檔145
8.5.5 將配置好的Hadoop檔複製到其他結點並格式化146
8.5.6 啟動、停止Hadoop146
8.5.7 運行測試程式WordCount147
習題148
第9章 Spark—基於記憶體的大資料計算框架149
9.1 Spark概述149
9.2 Spark的運行機制150
9.3 Spark的運行模式152
