云計算環(huán)境下Spark大數據處理技術(shù)與實(shí)踐簡(jiǎn)介，目錄書(shū)摘

編輯推薦:

以云計算與大數據融合的視角闡述了云計算環(huán)境下Spark大數據處理與相應的算法實(shí)現
結合經(jīng)典案例，詳解云計算環(huán)境下Spark大數據處理生態(tài)圈，包括系統結構、大數據存儲、批處理、流計算、交互式數據分析、并行機器學(xué)習架構與算法等技術(shù)
掌握云計算環(huán)境下Spark大數據處理的架構搭建和算法實(shí)現過(guò)程等關(guān)鍵技術(shù)，擴展大數據從業(yè)人員的理論與實(shí)踐能力

內容簡(jiǎn)介:本書(shū)圍繞互聯(lián)網(wǎng)重大的技術(shù)革命：云計算、大數據進(jìn)行闡述。云計算環(huán)境下大數據處理構建是國民經(jīng)濟發(fā)展的信息基礎設施，發(fā)展自主的云計算核心技術(shù)，擁有自己的信息基礎設施，當前正處于重要的機遇期。
本書(shū)重點(diǎn)在大數據與云計算的融合，給出了大數據與云計算的一些基本概念，并以Spark為開(kāi)發(fā)工具，全面講述云環(huán)境下的Spark大數據技術(shù)部署與典型案例算法實(shí)現，最后介紹了國內經(jīng)典Spark大數據與云計算融合的架構與算法。
本書(shū)適合云計算環(huán)境下Spark大數據技術(shù)人員、Spark MLlib機器學(xué)習技術(shù)人員，也適合高等院校和培訓機構相關(guān)專(zhuān)業(yè)的師生教學(xué)參考。

作者簡(jiǎn)介:鄧立國，東北大學(xué)計算機應用博士畢業(yè)。2005年開(kāi)始在沈陽(yáng)師范大學(xué)軟件學(xué)院、教育技術(shù)學(xué)院任教，主要研究方向：數據挖掘、知識工程、大數據處理、云計算、分布式計算等。以第1作者發(fā)表學(xué)術(shù)論文30多篇（26篇EI），主編教材 1 部，主持科研課題6項，經(jīng)費10余萬(wàn)元，多次獲得校級科研優(yōu)秀獎，作為九三社員提出的智慧城市提案被市政府采納，研究成果被教育廳等單位采用。

目錄:第1章  大數據處理概述 1
1.1  大數據處理技術(shù)概述 1
1.1.1  什么是大數據 1
1.1.2  大數據來(lái)源 2
1.1.3  大數據應用價(jià)值 3
1.1.4  大數據技術(shù)特點(diǎn)和研究?jì)热?4
1.1.5  大數據計算與系統 5
1.2  數據挖掘及其相關(guān)領(lǐng)域應用 9
1.2.1  數據挖掘概述 9
1.2.2  數據挖掘與機器學(xué)習 11
1.2.3  數據挖掘與數據庫 11
1.2.4  數據挖掘與統計學(xué) 12
1.2.5  數據挖掘與決策支持 12
1.2.6  數據挖掘與云計算 13
1.3  大數據應用 13
1.3.1  大數據應用案例 13
1.3.2  大數據應用場(chǎng)景 14
1.3.3  大數據應用平臺方案案例 21
1.4  并行計算簡(jiǎn)介 23
1.5  Hadoop介紹 24
1.6  本章小結 26
第2章  云計算時(shí)代 27
2.1  云計算概述 27
2.1.1  云計算概念 27
2.1.2  云計算發(fā)展簡(jiǎn)史 28
2.1.3  云計算實(shí)現機制 30
2.1.4  云計算服務(wù)形式 31
2.1.5  云計算時(shí)代的數據庫NoSQL 32
2.2  云計算發(fā)展動(dòng)力源泉 34
2.3  云計算技術(shù)分析 34
2.3.1  編程模式 34
2.3.2  海量數據云存儲技術(shù) 37
2.3.3  海量數據管理技術(shù) 38
2.3.4  虛擬化技術(shù) 39
2.3.5  分布式計算 41
2.3.6  云監測技術(shù) 41
2.4  并行計算與云計算關(guān)系 43
2.4.1  并行計算與云計算 44
2.4.2  MapReduce 45
2.5  云計算發(fā)展優(yōu)勢 51
2.6  向云實(shí)現遷移 53
2.7  本章小結 55
第3章  大數據與云計算關(guān)系 56
3.1  云計算與大數據關(guān)系 56
3.2  大數據與云計算的融合是認識世界的新工具 57
3.3  大數據隱私保護是大數據云快速發(fā)展和運用的重要前提 59
3.3.1  云計算的安全隱私 60
3.3.2  大數據的安全隱私 60
3.4  大數據成就云計算價(jià)值 62
3.5  數據向云計算遷移 63
3.6  大數據清洗 64
3.7  云計算時(shí)代的數據集成技術(shù) 66
3.8  云推薦 67
3.9  本章小結 68
第4章  Spark大數據處理基礎 69
4.1  Spark大數據處理技術(shù) 69
4.1.1  Spark系統概述 69
4.1.2  Spark生態(tài)系統BDAS（伯利克分析棧） 70
4.1.3  Spark的用武之地 71
4.1.4  Spark大數據處理框架 72
4.1.5  Spark運行模式分類(lèi)及術(shù)語(yǔ) 73
4.2  Spark 2.0.0安裝配置 74
4.2.1  在Linux集群上安裝與配置Spark 74
4.2.2  Spark Shell 81
4.2.3  Spark RDD 88
4.2.4  Shark（Hive on Spark大型的數據倉庫系統） 91
4.3  Spark配置 92
4.3.1  環(huán)境變量 92
4.3.2  系統屬性 93
4.3.3  配置日志 95
4.3.4  Spark 硬件配置 95
4.4  Spark模式部署概述 96
4.5  Spark Streaming實(shí)時(shí)計算框架 98
4.6  Spark SQL 查詢(xún)、DataFrames分布式數據集和Datasets API 101
4.7  Spark起始點(diǎn) 102
4.7.1  SparkSession 102
4.7.2  SQLContext 103
4.7.3  創(chuàng )建DataFrame 104
4.7.4  無(wú)類(lèi)型的Dataset操作（aka DataFrame Operations） 105
4.7.5  編程執行SQL查詢(xún)語(yǔ)句 111
4.7.6  創(chuàng )建Dataset 112
4.7.7  和RDD互操作 115
4.8  Spark數據源 125
4.8.1  通用加載/保存函數 125
4.8.2  Parquet文件 127
4.8.3  JSON數據集 135
4.8.4  Hive表 136
4.8.5  用JDBC連接其他數據庫 143
4.9  Spark性能調優(yōu) 144
4.10  分布式SQL引擎 145
4.11  本章小結 146
第5章  Spark MLlib機器學(xué)習算法實(shí)現 147
5.1  Spark MLlib基礎 147
5.1.1  機器學(xué)習 148
5.1.2  機器學(xué)習分類(lèi) 148
5.1.3  機器學(xué)習常見(jiàn)算法 149
5.1.4  Spark MLlib機器學(xué)習庫 152
5.1.5  基于Spark常用的算法舉例分析 156
5.2  Spark MLlib矩陣向量 159
5.2.1  Breeze創(chuàng )建函數 159
5.2.2  Breeze元素訪(fǎng)問(wèn) 161
5.2.3  Breeze元素操作 162
5.2.4  Breeze數值計算函數 165
5.2.5  Breeze求和函數 166
5.2.6  Breeze布爾函數 167
5.2.7  Breeze線(xiàn)性代數函數 168
5.2.8  Breeze取整函數 169
5.2.9  Breeze三角函數 170
5.2.10  BLAS向量運算 170
5.3  Spark MLlib線(xiàn)性回歸算法 171
5.3.1  線(xiàn)性回歸算法理論基礎 171
5.3.2  線(xiàn)性回歸算法 172
5.3.3  Spark MLlib Linear Regression源碼分析 174
5.4  Spark MLlib邏輯回歸算法 183
5.4.1  邏輯回歸算法 184
5.4.2  Spark MLlib Logistic Regression源碼分析 186
5.5  Spark MLlib樸素貝葉斯分類(lèi)算法 199
5.5.1  樸素貝葉斯分類(lèi)算法 200
5.5.2  樸素貝葉斯Spark MLlib源碼 203
5.6  Spark MLlib決策樹(shù)算法 217
5.6.1  決策樹(shù)算法 217
5.6.2  決策樹(shù)實(shí)例 220
5.7  Spark MLlib KMeans聚類(lèi)算法 227
5.7.1  KMeans聚類(lèi)算法 227
5.7.2  Spark MLlib KMeans源碼分析 228
5.7.3  MLlib KMeans實(shí)例 235
5.8  Spark MLlib FPGrowth關(guān)聯(lián)規則算法 236
5.8.1  基本概念 236
5.8.2  FPGrowth算法 237
5.8.3  Spark MLlib FPGrowth源碼分析 241
5.9  Spark MLlib協(xié)同過(guò)濾推薦算法 244
5.9.1  協(xié)同過(guò)濾概念 244
5.9.2  相似度度量 245
5.9.3  協(xié)同過(guò)濾算法按照數據使用分類(lèi) 246
5.9.4  Spark MLlib協(xié)同過(guò)濾算法實(shí)現 247
5.9.5  Spark MLlib電影評級推薦 252
5.10  Spark MLlib神經(jīng)網(wǎng)絡(luò )算法 261
5.11  本章小結 264