|
|
|
本書介紹了在當前大資料、人工智慧的背景下，使用資料虛擬化技術實現多源異構資料集成的方法。
本書共9章，首先，分析了當前多源異構資料分析面臨的問題以及傳統方法的局限。其次，介紹了資料虛擬化的相關概念、資料虛擬化體系架構、關鍵技術，以及利用資料虛擬化伺服器構建虛擬化層的方法及原則。最後，通過案例介紹了如何使用資料虛擬化實現海量多源異構資料的管理，並對資料虛擬化進行了未來展望。本書適合高校、科研院所的相關人士閱讀。
劉媛妮，博士，重慶郵電大學副教授，2011年7月在北京郵電大學網路技術研究院獲得電腦科學與技術專業博士學位。主要研究方向為網路安全、資料虛擬化、區塊鏈。工作期間主持國家自然科學基金專案、重慶市教委專案各一項，參與重慶市自然科學基金重點專案以及國家自然科學基金專案多項，發表SCI/EI檢索論文20餘篇，申請專利10餘項，軟體著作權5項。
趙國鋒，教授，博士生導師，重慶郵電大學未來網路研究中心主任。主要研究方向為互聯網技術、網路測試與測量。承擔及主持、省部級科研專案20餘項，發表論文100餘篇，申請專利6項。
李昕，博士，副教授，2007年起至今任教於北京郵電大學網路技術研究院網路與交換技術國家重點實驗室，目前擔任北京郵電大學教育部重點實驗室副主任、中國互聯網協會特聘青年專家。主要研究方向為軟體定義網路、軟體定義廣域網路、天地一體內容分發網路。
李楊，北京理工大學電腦應用專業博士，助理研究員，美國北卡羅來納大學訪問學者。主要研究領域為容遲網路、無線自組織網路、物聯網、大資料等。參與國家“863”計畫專案、“973”計畫專案、自然科學基金專案等9項，參與國家“十三五”規劃與智慧城市建設頂層設計工作，在國內外刊物上發表論文10餘篇，申請國家技術發明專利4項。
程新洲，教授級高級工程師，中國聯通網路技術研究院大資料研發中心總監，下一代互聯網寬頻業務應用國家工程實驗室大資料開放實驗室主任，中國聯通集團專家級戰略人才，北京郵電大學兼職教授，研究生導師，IEEEISCIT、ICSINC等國際會議技術委員會主席。主要從事大資料研究及應用相關工作，先後獲各級創新獎、科學技術獎等20餘項。在國內外期刊或會議上發表論文80餘篇，申請專利30餘項。
李明欣，工學博士，教授級高級工程師，系統分析師，現擔任重慶聯通網路管理與維護中心總經理。主要研究方向為大資料、物聯網和移動通信等。先後獲得技術領域獎項20餘項，國內外發表論文20餘篇，申請國內外發明專利20餘項，其中4項獲得國際專利授權，5項獲得中國專利授權。
第 1 章 概述 1
1.1 背景 1
1.1.1 大資料時代下的資料增長 1
1.1.2 上層應用對資料服務的需求 4
1.2 DaaS 8
1.2.1 DaaS 的歷史 8
1.2.2 DaaS 的定義 10
1.2.3 服務 11
1.2.4 服務的分類 13
1.2.5 資料服務 14
1.2.6 資料服務及其架構 16
1.2.7 資料服務的關鍵技術 18
1.2.8 DaaS 的特點 19
1.3 DaaS 面臨的問題 19
參考文獻 21
第 2 章 多源異構資料處理關鍵技術 22
2.1 多源異構資料的產生與收集 22
2.1.1 多源異構資料的產生 22
2.1.2 多源異構資料的收集 24
2.2 多源異構資料的存儲 46
2.2.1 多源異構資料的類型 46
2.2.2 多源異構資料存儲的關鍵技術 47
2.3 資料倉庫 72
2.3.1 資料倉庫的定義及特點 73
數據虛擬化：多源異構資料集成之道
2.3.2 資料倉庫的體系結構 74
2.4 多源異構資料的組織管理 77
2.5 多源異構資料的分析 87
2.5.1 分類演算法 88
2.5.2 回歸演算法 94
2.5.3 聚類演算法 98
2.5.4 關聯規則演算法 99
2.5.5 神經網路演算法 102
2.6 資料分析平臺 113
2.6.1 Hadoop 114
2.6.2 Spark 116
2.6.3 Storm 117
2.6.4 機器學習框架 120
參考文獻 122
第 3 章 數據虛擬化 124
3.1 背景 124
3.2 數據虛擬化概述 126
3.2.1 資料虛擬化的定義 128
3.2.2 資料虛擬化及其相關概念 129
3.3 資料虛擬化的技術優點 133
3.4 資料虛擬化的不同實現方式 137
3.5 資料虛擬化的應用 138
參考文獻 144
第 4 章 資料虛擬化系統架構 146
4.1 資料虛擬化系統架構概述 146
4.2 資料虛擬化系統詳細模型 149
4.2.1 應用層 150
4.2.2 數據虛擬化層 150
4.2.3 來源資料層 151
4.3 資料虛擬化研究的問題 152
參考文獻 156
第 5 章 數據虛擬化平面 159
5.1 資料映射層 159
5.1.1 源表格、虛擬表格、映射、封裝的定義 159
5.1.2 虛擬表格和映射的例子 165
5.2 中繼資料組織層 174
5.2.1 中繼資料的基本概念 174
5.2.2 中繼資料的組織方法 178
5.3 資料服務層 188
5.3.1 虛擬表格的發佈 188
5.3.2 虛擬表格和資料建模 193
5.3.3 資料安全：認證和授權 215
5.4 查詢回應層 217
5.4.1 緩存技術 217
5.4.2 查詢優化 224
參考文獻 235
第 6 章 資料虛擬化的管理平面 237
6.1 源表格、封裝表格、虛擬表格的同步 237
6.2 中繼資料組織層的管理 238
6.3 虛擬表格或資料服務組合、更新過程的維護 240
6.4 查詢回應層的監控、處理和管理 242
參考文獻 245
第 7 章 資料虛擬化系統的設計 247
7.1 對現有系統部署資料虛擬化 247
7.1.1 部署資料虛擬化的步驟 247
7.1.2 醫療資料倉庫引入資料虛擬化 249
7.2 設計和開發新的資料虛擬化系統 251
參考文獻 265
第 8 章 資料虛擬化的應用案例 266
8.1 背景介紹 266
8.1.1 FITS 267
8.1.2 流式資料處理平臺 268
8.1.3 圖形資料庫 269
數據虛擬化：多源異構資料集成之道
8.1.4 圖劃分技術 270
8.2 天文中繼資料即時歸檔系統設計 272
8.2.1 中繼資料採集模組 273
8.2.2 中繼資料處理模組 275
8.2.3 中繼資料存儲模組 284
8.3 系統功能測試 286
8.3.1 實驗環境 286
8.3.2 功能測試 288
參考文獻 290
第 9 章 資料虛擬化的未來 292
9.1 資料虛擬化的未來--Rick F.van der Lans 的理解 293
9.1.1 新的以及增強的查詢優化技術 293
9.1.2 探索新的硬體技術 294
9.1.3 不斷擴展的設計模型 295
9.1.4 資料品質的特性 297
9.1.5 對資料訪問下推模型的支援 299
9.1.6 資料虛擬化、ETL 以及複製之間的協作 300
9.2 資料虛擬化的未來--全域資料網路 301
9.2.1 被授權的消費者從無處不在的資料訪問獲益 301
9.2.2 IT 的後臺管理系統變為雲 302
9.2.3 資料虛擬化的未來是一個全域資料網路 302
9.2.4 小結 303
9.3 資料虛擬化的未來--多種資料處理方法的結合 303
9.4 資料虛擬化的未來--在虛擬化的世界中佔據一席之地 305
9.4.1 使用資料虛擬化最大化資料的回報 306
9.4.2 透過表像看問題 307
參考文獻 308
中英文對照表 309
名詞索引 313
