Spark MLlib機器學(xué)習實(shí)踐（第2版）簡(jiǎn)介，目錄書(shū)摘

編輯推薦:　　MLlib是Apache Spark機器學(xué)習庫。本書(shū)入門(mén)簡(jiǎn)單，實(shí)例豐富，詳解協(xié)同過(guò)濾、線(xiàn)性回歸、分類(lèi)、決策樹(shù)、保序回歸、聚類(lèi)、關(guān)聯(lián)、數據降維、特征提取和轉換等MLlib主要算法，用實(shí)例說(shuō)明MLlib大數據機器學(xué)習算法的運用。

內容簡(jiǎn)介:　　Spark作為新興的、應用范圍*為廣泛的大數據處理開(kāi)源框架引起了廣泛的關(guān)注，它吸引了大量程序設計和開(kāi)發(fā)人員進(jìn)行相關(guān)內容的學(xué)習與開(kāi)發(fā)，其中MLlib是Spark框架使用的核心。本書(shū)是一本細致介紹Spark MLlib程序設計的圖書(shū)，入門(mén)簡(jiǎn)單，示例豐富。
　　本書(shū)分為13章，從Spark基礎安裝和配置開(kāi)始，依次介紹MLlib程序設計基礎、MLlib的數據對象構建、MLlib中RDD使用介紹，各種分類(lèi)、聚類(lèi)、回歸等數據處理方法，*后還通過(guò)一個(gè)完整的實(shí)例，回顧了前面的學(xué)習內容，并通過(guò)代碼實(shí)現了一個(gè)完整的分析過(guò)程。
　　本書(shū)理論內容由淺而深，采取實(shí)例和理論相結合的方式，講解細致直觀(guān)，適合Spark MLlib初學(xué)者、大數據分析和挖掘人員，也適合高校和培訓學(xué)習相關(guān)專(zhuān)業(yè)的師生教學(xué)參考。

作者簡(jiǎn)介:　　王曉華，高校資深計算機專(zhuān)業(yè)講師,主要研究方向為云計算、數據挖掘；曾主持和參與多項國家和省級科研課題，發(fā)表過(guò)多篇論文，有一項專(zhuān)利。

目錄:第1章 星星之火 1
1.1 大數據時(shí)代 1
1.2 大數據分析時(shí)代 2
1.3 簡(jiǎn)單、優(yōu)雅、有效——這就是Spark 3
1.4 核心——MLlib 4
1.5 星星之火，可以燎原 6
1.6 小結 6
第2章 Spark安裝和開(kāi)發(fā)環(huán)境配置 7
2.1 Windows單機模式Spark安裝和配置 7
2.1.1 Windows 7安裝Java 7
2.1.2 Windows 7安裝Scala 10
2.1.3 Intellij IDEA下載和安裝 13
2.1.4 Intellij IDEA中Scala插件的安裝 14
2.1.5 HelloJava——使用Intellij IDEA創(chuàng )建Java程序 18
2.1.6 HelloScala——使用Intellij IDEA創(chuàng )建Scala程序 21
2.1.7 *后一腳——Spark單機版安裝 26
2.2 經(jīng)典的WordCount 29
2.2.1 Spark實(shí)現WordCount 29
2.2.2 MapReduce實(shí)現WordCount 31
2.3 小結 34
第3章 RDD詳解 35
3.1 RDD是什么 35
3.1.1 RDD名稱(chēng)的秘密 35
3.1.2 RDD特性 36
3.1.3 與其他分布式共享內存的區別 37
3.1.4 RDD缺陷 37
3.2 RDD工作原理 38
3.2.1 RDD工作原理圖 38
3.2.2 RDD的相互依賴(lài) 38
3.3 RDD應用API詳解 39
3.3.1 使用aggregate方法對給定的數據集進(jìn)行方法設定 39
3.3.2 提前計算的cache方法 42
3.3.3 笛卡爾操作的cartesian方法 43
3.3.4 分片存儲的coalesce方法 44
3.3.5 以value計算的countByValue方法 45
3.3.6 以key計算的countByKey方法 45
3.3.7 除去數據集中重復項的distinct方法 46
3.3.8 過(guò)濾數據的filter方法 47
3.3.9 以行為單位操作數據的flatMap方法 47
3.3.10 以單個(gè)數據為目標進(jìn)行操作的map方法 48
3.3.11 分組數據的groupBy方法 48
3.3.12 生成鍵值對的keyBy方法 49
3.3.13 同時(shí)對兩個(gè)數據進(jìn)行處理的reduce方法 50
3.3.14 對數據進(jìn)行重新排序的sortBy方法 51
3.3.15 合并壓縮的zip方法 52
3.4 小結 53
第4章 MLlib基本概念 54
4.1 MLlib基本數據類(lèi)型 54
4.1.1 多種數據類(lèi)型 54
4.1.2 從本地向量集起步 55
4.1.3 向量標簽的使用 56
4.1.4 本地矩陣的使用 58
4.1.5 分布式矩陣的使用 59
4.2 MLlib數理統計基本概念 62
4.2.1 基本統計量 62
4.2.2 統計量基本數據 63
4.2.3 距離計算 64
4.2.4 兩組數據相關(guān)系數計算 65
4.2.5 分層抽樣 67
4.2.6 假設檢驗 69
4.2.7 隨機數 70
4.3 小結 71
第5章 協(xié)同過(guò)濾算法 72
5.1 協(xié)同過(guò)濾 72
5.1.1 協(xié)同過(guò)濾概述 72
5.1.2 基于用戶(hù)的推薦 73
5.1.3 基于物品的推薦 74
5.1.4 協(xié)同過(guò)濾算法的不足 75
5.2 相似度度量 75
5.2.1 基于歐幾里得距離的相似度計算 75
5.2.2 基于余弦角度的相似度計算 76
5.2.3 歐幾里得相似度與余弦相似度的比較 77
5.2.4 *個(gè)例子——余弦相似度實(shí)戰 77
5.3 MLlib中的交替*小二乘法（ALS算法） 80
5.3.1 *小二乘法（LS算法）詳解 81
5.3.2 MLlib中交替*小二乘法（ALS算法）詳解 82
5.3.3 ALS算法實(shí)戰 83
5.4 小結 85
第6章 MLlib線(xiàn)性回歸理論與實(shí)戰 86
6.1 隨機梯度下降算法詳解 86
6.1.1 道士下山的故事 87
6.1.2 隨機梯度下降算法的理論基礎 88
6.1.3 隨機梯度下降算法實(shí)戰 88
6.2 MLlib回歸的過(guò)擬合 89
6.2.1 過(guò)擬合產(chǎn)生的原因 90
6.2.2 lasso回歸與嶺回歸 91
6.3 MLlib線(xiàn)性回歸實(shí)戰 91
6.3.1 MLlib線(xiàn)性回歸基本準備 91
6.3.2 MLlib線(xiàn)性回歸實(shí)戰：商品價(jià)格與消費者收入之間的關(guān)系 94
6.3.3 對擬合曲線(xiàn)的驗證 95
6.4 小結 97
第7章 MLlib分類(lèi)實(shí)戰 98
7.1 邏輯回歸詳解 98
7.1.1 邏輯回歸不是回歸算法 98
7.1.2 邏輯回歸的數學(xué)基礎 99
7.1.3 一元邏輯回歸示例 100
7.1.4 多元邏輯回歸示例 101
7.1.5 MLlib邏輯回歸驗證 103
7.1.6 MLlib邏輯回歸實(shí)例：腎癌的轉移判斷 104
7.2 支持向量機詳解 106
7.2.1 三角還是圓 106
7.2.2 支持向量機的數學(xué)基礎 108
7.2.3 支持向量機使用示例 109
7.2.4 使用支持向量機分析腎癌轉移 110
7.3 樸素貝葉斯詳解 111
7.3.1 穿褲子的男生or女生 111
7.3.2 貝葉斯定理的數學(xué)基礎和意義 112
7.3.3 樸素貝葉斯定理 113
7.3.4 MLlib樸素貝葉斯使用示例 114
7.3.5 MLlib樸素貝葉斯實(shí)戰：“僵尸粉”的鑒定 115
7.4 小結 117
第8章 決策樹(shù)與保序回歸 118
8.1 決策樹(shù)詳解 118
8.1.1 水晶球的秘密 119
8.1.2 決策樹(shù)的算法基礎：信息熵 119
8.1.3 決策樹(shù)的算法基礎——ID3算法 121
8.1.4 MLlib中決策樹(shù)的構建 122
8.1.5 MLlib中決策樹(shù)示例 123
8.1.6 隨機雨林與梯度提升算法（GBT） 125
8.2 保序回歸詳解 127
8.2.1 何為保序回歸 128
8.2.2 保序回歸示例 128
8.3 小結 129
第9章 MLlib中聚類(lèi)詳解 130
9.1 聚類(lèi)與分類(lèi) 130
9.1.1 什么是分類(lèi) 130
9.1.2 什么是聚類(lèi) 131
9.2 MLlib中的Kmeans算法 131
9.2.1 什么是kmeans算法 131
9.2.2 MLlib中Kmeans算法示例 133
9.2.3 Kmeans算法中細節的討論 134
9.3 高斯混合聚類(lèi) 135
9.3.1 從高斯分布聚類(lèi)起步 135
9.3.2 混合高斯聚類(lèi) 137
9.3.3 MLlib高斯混合模型使用示例 137
9.4 快速迭代聚類(lèi) 138
9.4.1 快速迭代聚類(lèi)理論基礎 138
9.4.2 快速迭代聚類(lèi)示例 139
9.5 小結 140
第10章 MLlib中關(guān)聯(lián)規則 141
10.1 Apriori頻繁項集算法 141
10.1.1 啤酒與尿布 141
10.1.2 經(jīng)典的Apriori算法 142
10.1.3 Apriori算法示例 144
10.2 FP-growth算法 145
10.2.1 Apriori算法的局限性 145
10.2.2 FP-growth算法 145
10.2.3 FP樹(shù)示例 148
10.3 小結 149
第11章 數據降維 150
11.1 奇異值分解（SVD） 150
11.1.1 行矩陣（RowMatrix）詳解 150
11.1.2 奇異值分解算法基礎 151
11.1.3 MLlib中奇異值分解示例 152
11.2 主成分分析（PCA） 153
11.2.1 主成分分析（PCA）的定義 154
11.2.2 主成分分析（PCA）的數學(xué)基礎 154
11.2.3 MLlib中主成分分析（PCA）示例 155
11.3 小結 156
第12章 特征提取和轉換 157
12.1 TF-IDF 157
12.1.1 如何查找所要的新聞 157
12.1.2 TF-IDF算法的數學(xué)計算 158
12.1.3 MLlib中TF-IDF示例 159
12.2 詞向量化工具 160
12.2.1 詞向量化基礎 160
12.2.2 詞向量化使用示例 161
12.3 基于卡方檢驗的特征選擇 162
12.3.1 “吃貨”的苦惱 162
12.3.2 MLlib中基于卡方檢驗的特征選擇示例 163
12.4 小結 164
第13章 MLlib實(shí)戰演練——鳶尾花分析 166
13.1 建模說(shuō)明 166
13.1.1 數據的描述與分析目標 166
13.1.2 建模說(shuō)明 168
13.2 數據預處理和分析 171
13.2.1 微觀(guān)分析——均值與方差的對比分析 171
13.2.2 宏觀(guān)分析——不同種類(lèi)特性的長(cháng)度計算 174
13.2.3 去除重復項——相關(guān)系數的確定 176
13.3 長(cháng)與寬之間的關(guān)系——數據集的回歸分析 180
13.3.1 使用線(xiàn)性回歸分析長(cháng)與寬之間的關(guān)系 180
13.3.2 使用邏輯回歸分析長(cháng)與寬之間的關(guān)系 183
13.4 使用分類(lèi)和聚類(lèi)對鳶尾花數據集進(jìn)行處理 184
13.4.1 使用聚類(lèi)分析對數據集進(jìn)行聚類(lèi)處理 184
13.4.2 使用分類(lèi)分析對數據集進(jìn)行分類(lèi)處理 187
13.5 *終的判定——決策樹(shù)測試 188
13.5.1 決定數據集的歸類(lèi)——決策樹(shù) 188
13.5.2 決定數據集歸類(lèi)的分布式方法——隨機雨林 190
13.6 小結 191