Hadoop大數據開(kāi)發(fā)基礎簡(jiǎn)介，目錄書(shū)摘

編輯推薦:

本書(shū)采用了以任務(wù)為導向的教學(xué)模式，按照解決實(shí)際任務(wù)的工作流程路線(xiàn)，逐步展開(kāi)介紹相關(guān)的理論知識點(diǎn)，推導生成可行的解決方案，落實(shí)在任務(wù)實(shí)現環(huán)節。
全書(shū)大部分章節緊扣任務(wù)需求展開(kāi)，不堆積知識點(diǎn)，著(zhù)重于解決問(wèn)題時(shí)思路的啟發(fā)與方案的實(shí)施。通過(guò)從任務(wù)需求到實(shí)現這一完整工作流程的體驗，幫助讀者真正理解與消化Hadoop大數據技術(shù)。
書(shū)中案例全部源于企業(yè)真實(shí)項目，可操作性強，引導讀者融會(huì )貫通，并提供源代碼等相關(guān)學(xué)習資源，幫助讀者快速掌握大數據相關(guān)技能。

內容簡(jiǎn)介:本書(shū)以任務(wù)為導向，較為全面地介紹了Hadoop大數據技術(shù)的相關(guān)知識。全書(shū)共6章，具體內容包括Hadoop介紹、Hadoop集群的搭建及配置、Hadoop基礎操作、MapReduce編程入門(mén)、MapReduce進(jìn)階編程、項目案例：電影網(wǎng)站用戶(hù)性別預測。本書(shū)的2～5章包含了實(shí)訓與課后練習，通過(guò)練習和操作實(shí)踐，幫助讀者鞏固所學(xué)的內容。
本書(shū)可以作為高校大數據技術(shù)類(lèi)專(zhuān)業(yè)的教材，也可作為大數據技術(shù)愛(ài)好者的自學(xué)用書(shū)。

作者簡(jiǎn)介:

張良均，高 級信息系統項目管理師，泰迪杯全國大學(xué)生數據挖掘競賽（www.tipdm.org）發(fā)起人。華南師范大學(xué)、廣東工業(yè)大學(xué)兼職教授，廣東省工業(yè)與應用數學(xué)學(xué)會(huì )理事。兼有大型高科技企業(yè)和高校的工作經(jīng)歷，主要從事大數據挖掘及其應用的策劃、研發(fā)及咨詢(xún)培訓。全國計算機技術(shù)與軟件專(zhuān)業(yè)技術(shù)資格（水平）考試繼續教育和CDA數據分析師培訓講師。發(fā)表數據挖掘相關(guān)論文數二十余篇，已取得國家發(fā)明專(zhuān)利12項，主編《Hadoop大數據分析與挖掘實(shí)戰》《Python數據分析與挖掘實(shí)戰》《R語(yǔ)言數據分析與挖掘實(shí)戰》等多本暢銷(xiāo)圖書(shū)，主持并完成科技項目9項。獲得SAS、SPSS數據挖掘認證及Hadoop開(kāi)發(fā)工程師證書(shū)，具有電力、電信、銀行、制造企業(yè)、電子商務(wù)和電子政務(wù)的項目經(jīng)驗和行業(yè)背景。

目錄:一章　Hadoop介紹　1
1．1　Hadoop概述　1
1．1．1　Hadoop簡(jiǎn)介　1
1．1．2　Hadoop的發(fā)展歷史　2
1．1．3　Hadoop的特點(diǎn)　3
1．2　Hadoop核心　4
1．2．1　分布式文件系統——HDFS　4
1．2．2　分布式計算框架——MapReduce　7
1．2．3　集群資源管理器——YARN　9
1．3　Hadoop生態(tài)系統　12
1．4　Hadoop應用場(chǎng)景　14
小結　15
二章　Hadoop集群的搭建及配置　16
任務(wù)2．1　安裝及配置虛擬機　17
2．1．1　創(chuàng )建Linux虛擬機　17
2．1．2　設置固定IP　25
2．1．3　遠程連接虛擬機　27
2．1．4　虛擬機在線(xiàn)安裝軟件　29
2．1．5　任務(wù)實(shí)現　32
任務(wù)2．2　安裝Java　32
2．2．1　在Windows下安裝Java　33
2．2．2　在Linux下安裝Java　35
2．2．3　任務(wù)實(shí)現　36
任務(wù)2．3　搭建Hadoop完全分布式集群　36
2．3．1　修改配置文件　36
2．3．2　克隆虛擬機　41
2．3．3　配置SSH免密碼登錄　43
2．3．4　配置時(shí)間同步服務(wù)　44
2．3．5　啟動(dòng)關(guān)閉集群　46
2．3．6　監控集群　47
小結　50
實(shí)訓　50
實(shí)訓1　為Hadoop集群增加一個(gè)節點(diǎn)　50
實(shí)訓2　編寫(xiě)Shell腳本同步集群時(shí)間　51
課后練習　51
第3章　Hadoop基礎操作　53
任務(wù)3．1　查看Hadoop集群的基本信息　54
3．1．1　查詢(xún)集群的存儲系統信息　55
3．1．2　查詢(xún)集群的計算資源信息　58
任務(wù)3．2　上傳文件到HDFS目錄　59
3．2．1　了解HDFS文件系統　59
3．2．2　掌握HDFS的基本操作　62
3．2．3　任務(wù)實(shí)現　65
任務(wù)3．3　運行MapReduce任務(wù)　67
3．3．1　了解Hadoop官方的示例程序包　67
3．3．2　提交MapReduce任務(wù)給集群運行　68
任務(wù)3．4　管理多個(gè)MapReduce任務(wù)　71
3．4．1　查詢(xún)MapReduce任務(wù)　72
3．4．2　中斷MapReduce任務(wù)　74
小結　76
實(shí)訓　77
實(shí)訓1　統計文件中所有單詞的平均長(cháng)度　77
實(shí)訓2　查詢(xún)與中斷MapReduce任務(wù)　77
課后練習　78
第4章　MapReduce編程入門(mén)　80
任務(wù)4．1　使用Eclipse創(chuàng )建MapReduce工程　81
4．1．1　下載與安裝Eclipse　81
4．1．2　配置MapReduce環(huán)境　82
4．1．3　新建MapReduce工程　84
任務(wù)4．2　通過(guò)源碼初識MapReduce編程　86
4．2．1　通俗理解MapReduce原理　86
4．2．2　了解MR實(shí)現詞頻統計的執行流程　88
4．2．3　讀懂官方提供的WordCount源碼　89
任務(wù)4．3　編程實(shí)現按日期統計訪(fǎng)問(wèn)次數　94
4．3．1　分析思路與處理邏輯　94
4．3．2　編寫(xiě)核心模塊代碼　95
4．3．3　任務(wù)實(shí)現　97
任務(wù)4．4　編程實(shí)現按訪(fǎng)問(wèn)次數排序　99
4．4．1　分析思路與處理邏輯　99
4．4．2　編寫(xiě)核心模塊代碼　100
4．4．3　任務(wù)實(shí)現　102
小結　104
實(shí)訓　104
實(shí)訓1　獲取成績(jì)表的高分記錄　104
實(shí)訓2　對兩個(gè)文件中的數據進(jìn)行合并與去重　105
課后練習　107
第5章　MapReduce進(jìn)階編程　110
任務(wù)5．1　篩選日志文件并生成序列化文件　111
5．1．1　MapReduce輸入格式　111
5．1．2　MapReduce輸出格式　113
5．1．3　任務(wù)實(shí)現　113
任務(wù)5．2　Hadoop Java API讀取序列化日志文件　115
5．2．1　FileSystem API管理文件夾　115
5．2．2　FileSystem API操作文件　119
5．2．3　FileSystem API讀寫(xiě)數據　121
5．2．4　任務(wù)實(shí)現　123
任務(wù)5．3　優(yōu)化日志文件統計程序　124
5．3．1　自定義鍵值類(lèi)型　124
5．3．2　初步探索Combiner　128
5．3．3　淺析Partitioner　130
5．3．4　自定義計數器　132
5．3．5　任務(wù)實(shí)現　134
任務(wù)5．4　Eclipse提交日志文件統計程序　137
5．4．1　傳遞參數　137
5．4．2　Hadoop輔助類(lèi)ToolRunner　139
5．4．3　Eclipse自動(dòng)打包并提交任務(wù)　140
小結　144
實(shí)訓　144
實(shí)訓1　統計全球每年的高氣溫和低氣溫　144
實(shí)訓2　篩選氣溫在15～25℃之間的數據　145
課后練習　146
第6章　項目案例：電影網(wǎng)站用戶(hù)性別預測　151
任務(wù)6．1　認識KNN算法　152
6．1．1　KNN算法簡(jiǎn)介　152
6．1．2　KNN算法原理及流程　152
任務(wù)6．2　數據預處理　154
6．2．1　獲取數據　154
6．2．2　數據變換　155
6．2．3　數據清洗　160
6．2．4　劃分數據集　163
任務(wù)6．3　實(shí)現用戶(hù)性別分類(lèi)　167
6．3．1　實(shí)現思路　167
6．3．2　代碼實(shí)現　169
任務(wù)6．4　評價(jià)分類(lèi)結果的準確性　179
6．4．1　評價(jià)思路　179
6．4．2　實(shí)現分類(lèi)評價(jià)　180
6．4．3　尋找優(yōu)K值　184
小結　188
參考文獻　189