大數據：技術(shù)與應用實(shí)踐指南（第2版）簡(jiǎn)介，目錄書(shū)摘

　　1、趙剛博士在信息化領(lǐng)域耕耘10余年，對大數據的認識深刻且系統。
　　2、闡述的視角放在了大數據的技術(shù)應用上，對于想利用大數據的讀者非常具有參考價(jià)值。
　　3、結合應用實(shí)踐，詳細闡述了傳統信息系統與大數據平臺的整合策略，大數據應用實(shí)踐的流程和方法，并介紹了主要的大數據應用產(chǎn)品和解決方案。

　　大數據是互聯(lián)網(wǎng)、移動(dòng)應用、社交網(wǎng)絡(luò )和物聯(lián)網(wǎng)等技術(shù)發(fā)展的必然趨勢，大數據應用成為當前*為熱門(mén)的信息技術(shù)應用領(lǐng)域。本書(shū)由淺入深，首先概述性地分析了大數據的發(fā)展背景、基本概念，從業(yè)務(wù)的角度分析了大數據應用的主要業(yè)務(wù)價(jià)值和業(yè)務(wù)需求，在此基礎上介紹大數據的技術(shù)架構和關(guān)鍵技術(shù)，結合應用實(shí)踐，詳細闡述了傳統信息系統與大數據平臺的整合策略，大數據應用實(shí)踐的流程和方法，并介紹了主要的大數據應用產(chǎn)品和解決方案。*后，對大數據面臨的挑戰和未來(lái)的趨勢進(jìn)行了展望。第2版，對于這幾年的發(fā)展做一個(gè)補充。

　　趙剛，博士。北京賽智時(shí)代信息技術(shù)咨詢(xún)有限公司（CIOManage）創(chuàng )始人。歷任國內著(zhù)名信息化咨詢(xún)公司賽迪顧問(wèn)股份有限公司高級副總裁、首席信息化咨詢(xún)顧問(wèn)，國內計算機系統集成一級資質(zhì)企業(yè)北京賽迪時(shí)代信息產(chǎn)業(yè)股份有限公司總經(jīng)理、首席架構師，2012年獲得中國電子信息產(chǎn)業(yè)發(fā)展研究院十大“賽迪學(xué)者”稱(chēng)號，兼任中國信息化推進(jìn)聯(lián)盟專(zhuān)家、中國電子學(xué)會(huì )高級會(huì )員。
　　近兩年，主持和參與過(guò)的信息化咨詢(xún)和集成項目有：國家新一代信息技術(shù)應用戰略研究、亞太地區智慧城市指標體系研究、中國－歐盟信息社會(huì )研究、天津市智慧城市規劃、國土資源部分布式國土資源信息共享服務(wù)平臺、國家圖書(shū)館文津館智能搜索集群平臺、公安部虛擬化數據平臺、中海油企業(yè)級數據中心和災備中心規劃、國藥集團私有云計算平臺規劃、北京市物聯(lián)網(wǎng)應用示范項目初步設計、鄂爾多斯市人口基礎數據庫建設等。
　　在信息化領(lǐng)域耕耘10余年，服務(wù)的政府、企業(yè)客戶(hù)超過(guò)100家，發(fā)表文章若干篇，著(zhù)有專(zhuān)著(zhù)《IT管理體系－戰略、管理和服務(wù)》，參與編寫(xiě)《智慧城市：規劃、建設和評估》、《信息化基本知識》、《信息系統審計》等。

第1章  大數據的概念和發(fā)展背景 1
1．1  大數據的發(fā)展背景 1
1．2  大數據的概念和特征 4
1．2．1  大數據的概念 4
1．2．2  大數據的特征 4
1．3  大數據的產(chǎn)生 5
1．3．1  數據產(chǎn)生由企業(yè)內部向企業(yè)外部擴展 5
1．3．2  數據產(chǎn)生從Web 1．0向Web 2．0、從互聯(lián)網(wǎng)向移動(dòng)互聯(lián)網(wǎng)擴展 6
1．3．3  數據產(chǎn)生從計算機/互聯(lián)網(wǎng)（IT）向物聯(lián)網(wǎng)（IOT）擴展 7
1．4  數據的量級 7
1．4．1  數據大小的量級 7
1．4．2  大數據的量級 8
1．5  大量不同的數據類(lèi)型 8
1．5．1  按照數據結構分類(lèi) 9
1．5．2  按照產(chǎn)生主體分類(lèi) 12
1．5．3  按照數據作用方式分類(lèi) 13
1．6  大數據的速度 14
1．7  大數據的應用價(jià)值 14
1．8  大數據的挑戰 15
1．8．1  業(yè)務(wù)視角不同帶來(lái)的挑戰 15
1．8．2  技術(shù)架構不同帶來(lái)的挑戰 15
1．8．3  管理策略不同帶來(lái)的挑戰 16
第2章  大數據應用的業(yè)務(wù)需求 17
2．1  大數據應用的業(yè)務(wù)流程 17
2．1．1  產(chǎn)生數據 18
2．1．2  聚集數據 18
2．1．3  分析數據 19
2．1．4  利用數據 19
2．2  大數據應用的業(yè)務(wù)價(jià)值 19
2．2．1  發(fā)現大數據的潛在價(jià)值 20
2．2．2  發(fā)現動(dòng)態(tài)行為數據的價(jià)值 20
2．2．3  實(shí)現大數據整合創(chuàng )新的價(jià)值 20
2．3  各行業(yè)大數據應用的個(gè)性需求 21
2．3．1  互聯(lián)網(wǎng)與電子商務(wù)行業(yè) 21
2．3．2  零售業(yè) 26
2．3．3  金融業(yè) 28
2．3．4  政府 31
2．3．5  醫療業(yè) 34
2．3．6  能源業(yè) 35
2．3．7  制造業(yè) 37
2．3．8  電信運營(yíng)業(yè) 38
2．3．9  交通業(yè) 40
2．4  企業(yè)級大數據應用的共性需求 42
2．4．1  客戶(hù)分析 42
2．4．2  績(jì)效分析 46
2．4．3  欺詐和風(fēng)險評估 47
2．5  以銀行客戶(hù)分析為例，分析一個(gè)大數據的應用場(chǎng)景 48
第3章  大數據應用的總體架構和關(guān)鍵技術(shù) 51
3．1  總體架構 51
3．1．1  業(yè)務(wù)目標 51
3．1．2  架構設計原則 52
3．1．3  總體架構參考模型 55
3．1．4  總體架構的特點(diǎn) 58
3．2  大數據存儲和處理技術(shù) 59
3．2．1  Hadoop：分布式存儲和計算平臺 59
3．2．2  HDFS：分布式文件系統 65
3．2．3  MapReduce：分布式計算框架 72
3．2．4  NoSQL：分布式數據庫 98
3．2．5  MPP：大規模并行處理系統 113
3．2．6  Spark：輕量級的分布式內存計算系統 117
3．2．7  S4和Storm：流計算框架 126
3．2．8  大數據存儲和處理技術(shù)的比較分析 132
3．3  大數據查詢(xún)和分析技術(shù) 133
3．3．1  Hive：基本的Hadoop查詢(xún)和分析 134
3．3．2  Hive 2．0：Hive的優(yōu)化和升級 144
3．3．3  實(shí)時(shí)互動(dòng)的SQL：Impala和drill 147
3．3．4  基于PostgreSQL的SQL on Hadoop 153
3．4  大數據高級分析和可視化技術(shù) 154
3．4．1  傳統數據倉庫與聯(lián)機分析處理技術(shù) 154
3．4．2  大數據對傳統分析的挑戰 157
3．4．3  大數據挖掘與高級分析 157
3．4．4  大數據挖掘與高級分析庫 162
3．4．5  非結構化復雜數據分析 163
3．4．6  實(shí)時(shí)預測分析 170
3．4．7  開(kāi)源可視化工具：R語(yǔ)言 177
3．4．8  可視化技術(shù) 185
3．5  以銀行客戶(hù)分析為例的大數據應用體系架構 194
第4章  大數據與企業(yè)級應用的整合策略 196
4．1  大數據傳輸、接入、整合和流程管理平臺 197
4．1．1  數據傳輸 197
4．1．2  數據接入 203
4．1．3  數據整合 207
4．1．4  流程管理 208
4．2  大數據與存儲架構的整合 212
4．2．1  傳統存儲架構比較 212
4．2．2  大數據平臺的存儲架構的選擇 214
4．2．3  集群存儲的發(fā)展 214
4．2．4  基于HDFS的集群存儲 216
4．2．5  固態(tài)硬盤(pán)（SSD）對內存計算的支持 218
4．2．6  軟件定義存儲（SDS） 218
4．2．7  超融合架構（HCI） 220
4．3  大數據與網(wǎng)絡(luò )架構的發(fā)展 220
4．3．1  統一的以太網(wǎng)結構 222
4．3．2  軟件定義網(wǎng)絡(luò )（SDN） 223
4．3．3  網(wǎng)絡(luò )功能虛擬化（NFV） 226
4．4  大數據與虛擬化技術(shù)的整合 228
4．5  大數據與Docker技術(shù) 230
4．5．1  Docker概述 230
4．5．2  Docker原理與總體架構 231
4．5．3  Docker與應用程序開(kāi)發(fā)與管理 237
4．6  大數據與云計算 240
4．7  大數據安全 242
4．8  以銀行客戶(hù)分析為例，分析一個(gè)大數據的平臺整合 244
第5章  大數據應用的實(shí)踐方法與案例 246
5．1  實(shí)踐方法論 246
5．1．1  業(yè)務(wù)需求定義 247
5．1．2  數據應用現狀分析與標桿比較 248
5．1．3  大數據應用架構規劃和設計 249
5．1．4  大數據技術(shù)切入與實(shí)施 250
5．1．5  大數據試用和評估 251
5．1．6  大數據應用推廣 252
5．2  技術(shù)應用案例 252
5．2．1  Amazon和Google 252
5．2．2  Yahoo 255
5．2．3  Amazon 257
5．2．4  Facebook 259
5．2．5  Twitter 263
5．2．6  淘寶網(wǎng) 264
5．3  以銀行客戶(hù)分析為例的實(shí)施案例分析 266
5．3．1  銀行基于大數據的客戶(hù)分析的業(yè)務(wù)需求 266
5．3．2  銀行基于大數據的客戶(hù)分析的現狀與標桿比較 267
5．3．3  銀行基于大數據的客戶(hù)分析的應用架構規劃與設計 269
5．3．4  銀行基于大數據的數據分析的實(shí)施、試點(diǎn)和推廣 269
第6章  大數據應用的主流解決方案 270
6．1  產(chǎn)業(yè)鏈 270
6．1．1  國際大數據產(chǎn)業(yè)生態(tài) 270
6．1．2  國內大數據產(chǎn)業(yè)生態(tài) 273
6．2  主流廠(chǎng)商解決方案 274
6．2．1  Cloundera 275
6．2．2  Hortonworks 276
6．2．3  MapR 277
6．2．4  IBM 278
6．2．5  Oracle 280
6．2．6  EMC 281
6．2．7  Intel 282
6．2．8  SAP 283
6．2．9  Teradata 285
第7章  大數據應用的未來(lái)挑戰和趨勢 286
7．1  隱私保護 286
7．1．1  法律保護 287
7．1．2  技術(shù)保護 289
7．1．3  理念革新 290
7．2  技術(shù)標準 291
7．2．1  ISO大數據標準化進(jìn)展 291
7．2．2  大數據基準和基準測試 293
7．2．3  大數據處理分析標準套件 296
7．3  大數據治理 296
7．3．1  數據治理框架 297
7．3．2  數據質(zhì)量管理 298
7．3．3  大數據的組織、角色和責任 299
7．4  適應商業(yè)社會(huì )的未來(lái)趨勢 300
7．4．1  從產(chǎn)品推銷(xiāo)向數據營(yíng)銷(xiāo)的轉變 300
7．4．2  從流程驅動(dòng)到分析驅動(dòng)的轉變 300
7．4．3  從私有資源到公共服務(wù)的轉變 301