Hadoop大數據處理技術(shù)基礎與實(shí)踐簡(jiǎn)介，目錄書(shū)摘

編輯推薦:熱門(mén)技術(shù)
院校關(guān)注
市場(chǎng)空白
專(zhuān)家團隊
廣泛調研
內容基礎
循序漸進(jìn)
資源豐富
本書(shū)的體系結構及內容做了精心的設計，實(shí)現理論指導實(shí)踐、實(shí)踐提升理論的良性循環(huán)。按照“模塊理論－模塊實(shí)踐”這一思路進(jìn)行編排，通過(guò)不斷地螺旋迭代逐漸讓學(xué)生掌握Hadoop的體系架構及各組件的功能及相應典型案例。在內容編寫(xiě)方面，注意難點(diǎn)分散、循序漸進(jìn)；在實(shí)例選取方面，注意實(shí)用性強、針對性強。

內容簡(jiǎn)介:全書(shū)共有12章，從Hadoop起源開(kāi)始，介紹了Hadoop的安裝和配置，并對Hadoop的組件分別進(jìn)行了介紹，包括HDFS分布式存儲系統，MapReduce計算框架，海量數據庫HBase，Hive數據倉庫，Pig、ZooKeeper管理系統等知識，最后對Hadoop實(shí)時(shí)數據處理技術(shù)作了簡(jiǎn)單介紹，旨在讓讀者了解當前的其它的大數據處理技術(shù)。本書(shū)除了對Hadoop的理論進(jìn)行說(shuō)明之外，還對如何使用各組件進(jìn)行了介紹，但介紹的只是基礎的使用，沒(méi)有涉及到底層的高級內容，所以本書(shū)只是起一個(gè)引導作用，旨在讓讀者了解Hadoop并能夠使用Hadoop的基本功能，并不是學(xué)習Hadoop的完全手冊。
本書(shū)適用于高等院校的學(xué)生；是云計算專(zhuān)業(yè)、物聯(lián)網(wǎng)專(zhuān)業(yè)及云計算與大數據專(zhuān)業(yè)的核心基礎課程，也是計算機相關(guān)專(zhuān)業(yè)的一門(mén)新增專(zhuān)業(yè)課或選修課；適合于零售及云計算與大數據技術(shù)相關(guān)的培訓班等使用。

作者簡(jiǎn)介:　安俊秀，女，教授，西安交通大學(xué)攻讀計算機科學(xué)與技術(shù)專(zhuān)業(yè)，獲工學(xué)碩士學(xué)位。中國計算機學(xué)會(huì )高級會(huì )員；中國電子學(xué)會(huì )高級會(huì )員；成都市科技攻關(guān)計劃評審專(zhuān)家；成都軍區項目評審專(zhuān)家；汕尾市科技顧問(wèn)團首席顧問(wèn)。

　　在科研工作方面，一直從事云計算與大數據、信息智能搜索與計算社會(huì )方面的研究工作。近五年來(lái)就此發(fā)表論文40余篇，其中**作者20余篇，核心期刊以上占15余篇。主編或參與完成專(zhuān)著(zhù)3部、教材4部，6部由***出版社出版。獲得國家發(fā)明專(zhuān)利2項（2014授權），實(shí)用新型專(zhuān)利授權12項。獲得軟件著(zhù)作權13項?？蒲许椖?0項，其中作為項目負責人承擔省部級項目3項；作為主研人員參與***項目6項、省級項目6項。

目錄:Hadoop基礎與實(shí)踐
第1章Hadoop概述
1．1 Hadoop來(lái)源和動(dòng)機
1．2 Hadoop體系架構
1．3 Hadoop與分布式開(kāi)發(fā)
1．4 Hadoop行業(yè)應用案例分析
1．4．1 Hadoop在門(mén)戶(hù)網(wǎng)站的應用
1．4．2 Hadoop在搜索引擎中的應用
1．4．3 Hadoop在電商平臺中的應用
1．5小結
第2章Hadoop安裝與配置管理
2．1 實(shí)驗準備
2．2 配置一個(gè)單節點(diǎn)環(huán)境
2．2．1 運行一個(gè)虛擬系統CentOS
2．2．2 配置網(wǎng)絡(luò )
2．2．3創(chuàng )建新的用戶(hù)組和用戶(hù)
2．2．4上傳文件到CentOS并配置Java、Hadoop環(huán)境
2．2．5 修改Hadoop2．2配置文件
2．2．6修改CentOS主機名
2．2．7綁定hostname與IP
2．2．8關(guān)閉防火墻
2．3節點(diǎn)之間的免密碼通信
2．3．1什么是SSH
2．3．2 拷貝虛擬機節點(diǎn)
2．3．3 配置SSH免密碼登錄
2．4 Hadoop的啟動(dòng)和測試
2．4．1 格式化文件系統
2．4．2啟動(dòng)HDFS
2．4．3 啟動(dòng)Yarn
2．4．4 管理JobHistory Server
2．4．5 集群驗證
2．4．6 需要了解的默認配置
2．5動(dòng)態(tài)管理節點(diǎn)
2．5．1 動(dòng)態(tài)增加和刪除datanode
2．5．2 動(dòng)態(tài)修改TaskTracker
2．6小結
第3章HDFS技術(shù)
3．1HDFS的特點(diǎn)
3．2HDFS架構
3．2．1數據塊
3．2．2元數據節點(diǎn)與數據節點(diǎn)
3．2．3輔助元數據節點(diǎn)
3．2．4安全模式
3．2．5負載均衡
3．2．6垃圾回收
3．3HDFS Shell命令
3．3．1文件處理命令
3．3．2dfsadmin命令
3．3．3namenode命令
3．3．4fsck命令
3．3．5pipes命令
3．3．6job命令
3．4HDFS中Java API的使用
3．4．1上傳文件
3．4．2新建文件
3．4．3查看文件詳細信息
3．4．4下載文件
3．5RPC通信
3．5．1反射機制
3．5．2代理模式與動(dòng)態(tài)代理
3．5．3Hadoop RPC機制與源碼分析
3．6小結
第4章Map/Reduce技術(shù)
4．1 什么是Map/Reduce
4．2 Map/Reduce編程模型
4．2．1 MapReduce編程模型簡(jiǎn)介
4．2．2 Map/Reduce簡(jiǎn)單模型
4．2．3 Map/Reduce復雜模型
4．2．4 Map/Reduce編程實(shí)例–WordCount
4．3 Map/Reduce數據流
4．3．1分片、格式化數據源（InputFormat）
4．3．2 Map過(guò)程
4．3．3 Shuffle過(guò)程
4．3．4 Reduce過(guò)程
4．3．5文件寫(xiě)入（OutputFormat）
4．4 Map/Reduce任務(wù)流程
4．4．1 MRv2基本組成
4．4．2 Yarn基本組成
4．4．3 任務(wù)流程
4．5 Map/Reduce的Streaming和Pipe
4．5．1 Hadoop Streaming
4．5．2 Hadoop Pipe
4．6 Map/Reduce性能調優(yōu)
4．7Map/Reduce實(shí)戰
4．7．1 快速入門(mén)
4．7．2簡(jiǎn)單使用Eclipse插件
4．8小結
第5章Hadoop I/O操作
5．1HDFS數據完整性
5．1．1校驗和
5．1．2DataBlockScanner
5．2基于文件的數據結構
5．2．1SequenceFile存儲
5．2．2MapFile
5．2．3SequenceFile轉換為MapFile
5．3壓縮
5．3．1Codec
5．3．2本地庫
5．3．3如何選擇壓縮格式
5．4序列化
5．4．1Writable接口
5．4．2WritableComparable
5．4．3Hadoop writable基本類(lèi)型
5．4．4自定義writable類(lèi)型
5．5小結
第6章海量數據庫HBase技術(shù)
6．1 初識HBase
6．2 HBase表視圖
6．2．1概念視圖
6．2．2物理視圖
6．3HBase物理存儲模型
6．4安裝HBase
6．4．1HBase單節點(diǎn)安裝
6．4．2HBase偽分布式安裝
6．4．3HBase完全分布式安裝
6．5HBaseShell
6．5．1general一般操作
6．5．2ddl操作
6．5．3dml操作
6．5．4小結
6．6小結
第7章ZooKeeper技術(shù)
7．1 分布式協(xié)調技術(shù)
7．2 實(shí)現者
7．3 角色
7．4 ZooKeeper數據模型
7．4．1Znode
7．4．2ZooKeeper中的時(shí)間
7．4．3ZooKeeper節點(diǎn)屬性
7．4．4watch觸發(fā)器
7．5 ZooKeeper集群安裝
7．6 ZooKeeper主要Shell操作
7．7 典型運用場(chǎng)景
7．7．1數據發(fā)布與訂閱
7．7．2統一命名服務(wù)（Name Service）
7．7．3分布通知/協(xié)調（Distribution of notification/coordination）
7．8小結
第8章分布式數據倉庫技術(shù)Hive
8．1 Hive出現原因
8．2 Hive服務(wù)組成
8．3 Hive安裝
8．3．1 Hive基本安裝
8．3．2 MySQL安裝
8．3．3 Hive配置
8．4 Hive Shell介紹
8．5HiveQL詳解
8．5．1 Hive管理數據方式
8．5．2 Hive表DDL操作
8．5．3 Hive表DML操作
8．6小結
第9章分布式數據分析工具Pig
9．1 Pig的安裝和配置
9．2 Pig基本概念
9．3 Pig保留關(guān)鍵字
9．4使用Pig
9．4．1 Pig命令行選項
9．4．2 Pig的兩種運行模式
9．4．3 Pig相關(guān)Shell命令詳解
9．4．4Pig程序運行方式
9．4．5 Pig輸入與輸出
9．5模式（Schemas）
9．6 Pig相關(guān)函數詳解
9．7小結
第10章 Hadoop與RDBMS數據遷移工具Sqoop
10．1 Sqoop基本安裝
10．2 Sqoop配置
10．3 Sqoop相關(guān)功能
10．4 Hive、Pig和Sqoop三者之間的關(guān)系
10．5小結
第11章Hadoop1．x與Hadoop2．x的比較
11．1 Hadoop發(fā)展歷程
11．2 Hadoop1．x與Hadoop2．x之間的差異
11．2．1 Hadoop1與Hadoop2體系結構對比
11．2．2 Hadoop1與Hadoop2之間配置差異
11．2．3 Hadoop2的Yarn框架
11．2．4 HDFS聯(lián)邦機制（Federation）
11．3小結
第12章Hadoop實(shí)時(shí)數據處理技術(shù)
12．1 Storm-Yarn
12．1．1 Apache Storm組成結構
12．1．2 Storm數據流
12．1．3 Storm-Yarn產(chǎn)生背景
12．1．4 Storm-Yarn功能介紹
12．2 Apache Spark
12．2．1 Apache Spark組成結構
12．2．2 Apache Spark擴展功能
12．3 Storm與Spark的比較
12．4小結
附錄一：使用Eclipse提交Hadoop任務(wù)相關(guān)錯誤解決
附錄二：常用Pig內置函數簡(jiǎn)介