Hadoop + Spark 大數據巨量分析與機器學(xué)習整合開(kāi)發(fā)實(shí)戰簡(jiǎn)介，目錄書(shū)摘

編輯推薦:

內容簡(jiǎn)介:　　《Hadoop + Spark 大數據巨量分析與機器學(xué)習整合開(kāi)發(fā)實(shí)戰》從淺顯易懂的“大數據和機器學(xué)習”原理介紹和說(shuō)明入手，講述大數據和機器學(xué)習的基本概念，如：分類(lèi)、分析、訓練、建模、預測、機器學(xué)習（推薦引擎）、機器學(xué)習（二元分類(lèi)）、機器學(xué)習（多元分類(lèi)）、機器學(xué)習（回歸分析）和數據可視化應用。為降低讀者學(xué)習大數據技術(shù)的門(mén)檻，書(shū)中提供了豐富的上機實(shí)踐操作和范例程序詳解，展示了如何在單臺Windows系統上通過(guò)Virtual Box虛擬機安裝多臺Linux虛擬機，如何建立Hadoop集群，再建立Spark開(kāi)發(fā)環(huán)境。書(shū)中介紹搭建的上機實(shí)踐平臺并不限制于單臺實(shí)體計算機。對于有條件的公司和學(xué)校，參照書(shū)中介紹的搭建過(guò)程，同樣可以將實(shí)踐平臺搭建在多臺實(shí)體計算機上，以便更加接近于大數據和機器學(xué)習真實(shí)的運行環(huán)境。
　　《Hadoop + Spark 大數據巨量分析與機器學(xué)習整合開(kāi)發(fā)實(shí)戰》非常適合于學(xué)習大數據基礎知識的初學(xué)者閱讀，*適合正在學(xué)習大數據理論和技術(shù)的人員作為上機實(shí)踐用的教材。

作者簡(jiǎn)介:

目錄:第1章 大數據與機器學(xué)習
1．1 大數據定義
1．2 Hadoop簡(jiǎn)介
1．3 Hadoop HDFS分布式文件系統
1．4 Hadoop MapReduce的介紹
1．5 Spark的介紹
1．6 機器學(xué)習的介紹

第2章 VirtualBox虛擬機軟件的安裝
2．1 VirtualBox的下載和安裝
2．2 設置VirtualBox語(yǔ)言版本
2．3 設置VirtualBox存儲文件夾
2．4 在VirtualBox創(chuàng )建虛擬機

第3章 Ubuntu Linux操作系統的安裝
3．1 下載安裝Ubuntu的光盤(pán)文件
3．2 在Virtual設置Ubuntu虛擬光盤(pán)文件
3．3 開(kāi)始安裝Ubuntu
3．4 啟動(dòng)Ubuntu
3．5 安裝增強功能
3．6 設置默認輸入法
3．7 設置“終端”程序
3．8 設置“終端”程序為白底黑字
3．9 設置共享剪貼板

第4章 Hadoop Single Node Cluster的安裝
4．1 安裝JDK
4．2 設置SSH無(wú)密碼登錄
4．3 下載安裝Hadoop
4．4 設置Hadoop環(huán)境變量
4．5 修改Hadoop配置設置文件
4．6 創(chuàng )建并格式化HDFS目錄
4．7 啟動(dòng)Hadoop
4．8 打開(kāi)Hadoop ResourceManager Web界面
4．9 NameNode HDFS Web界面

第5章 Hadoop Multi Node Cluster的安裝
5．1 把Single Node Cluster復制到data1
5．2 設置VirtualBox網(wǎng)卡
5．3 設置data1服務(wù)器
5．4 復制data1服務(wù)器到data2、data3、master
5．5 設置data2、data3服務(wù)器
5．6 設置master服務(wù)器
5．7 master連接到data1、data2、data3創(chuàng )建HDFS目錄
5．8 創(chuàng )建并格式化NameNode HDFS目錄
5．9 啟動(dòng)Hadoop Multi Node Cluster
5．10 打開(kāi)Hadoop ResourceManager Web界面
5．11 打開(kāi)NameNode Web界面

第6章 Hadoop HDFS命令
6．1 啟動(dòng)Hadoop Multi-Node Cluster
6．2 創(chuàng )建與查看HDFS目錄
6．3 從本地計算機復制文件到HDFS
6．4 將HDFS上的文件復制到本地計算機
6．5 復制與刪除HDFS文件
6．6 在Hadoop HDFS Web用戶(hù)界面瀏覽HDFS

第7章 Hadoop MapReduce
7．1 介紹wordCount．Java
7．2 編輯wordCount．Java
7．3 編譯wordCount．Java
7．4 創(chuàng )建測試文本文件
7．5 運行wordCount．Java
7．6 查看運行結果
7．7 Hadoop MapReduce的缺點(diǎn)

第8章 Spark的安裝與介紹
8．1 Spark的Cluster模式架構圖
8．2 Scala的介紹與安裝
8．3 安裝Spark
8．4 啟動(dòng)spark-shell交互界面
8．5 設置spark-shell顯示信息
8．6 啟動(dòng)Hadoop
8．7 本地運行spark-shell程序
8．8 在Hadoop YARN運行spark-shell
8．9 構建Spark Standalone Cluster執行環(huán)境
8．10 在Spark Standalone運行spark-shell

第9章 Spark RDD
9．1 RDD的特性
9．2 基本RDD“轉換”運算
9．3 多個(gè)RDD“轉換”運算
9．4 基本“動(dòng)作”運算
9．5 RDD Key-Value 基本“轉換”運算
9．6 多個(gè)RDD Key-Value“轉換”運算
9．7 Key-Value“動(dòng)作”運算
9．8 Broadcast廣播變量
9．9 accumulator累加器
9．10 RDD Persistence持久化
9．11 使用Spark創(chuàng )建WordCount
9．12 Spark WordCount詳細解說(shuō)

第10章 Spark的集成開(kāi)發(fā)環(huán)境
10．1 下載與安裝eclipse Scala IDE
10．2 下載項目所需要的Library
10．3 啟動(dòng)eclipse
10．4 創(chuàng )建新的Spark項目
10．5 設置項目鏈接庫
10．6 新建scala程序
10．7 創(chuàng )建WordCount測試文本文件
10．8 創(chuàng )建WordCount．scala
10．9 編譯WordCount．scala程序
10．10 運行WordCount．scala程序
10．11 導出jar文件
10．12 spark-submit的詳細介紹
10．13 在本地local模式運行WordCount程序
10．14 在Hadoop yarn-client運行WordCount程序
10．15 在Spark Standalone Cluster上運行WordCount程序
10．16 本書(shū)范例程序的安裝說(shuō)明

第11章 創(chuàng )建推薦引擎
11．1 推薦算法介紹
11．2 “推薦引擎”大數據分析使用場(chǎng)景
11．3 ALS推薦算法的介紹
11．4 ml-100k推薦數據的下載與介紹
11．5 使用spark-shell導入ml-100k數據
11．6 查看導入的數據
11．7 使用ALS．train進(jìn)行訓練
11．8 使用模型進(jìn)行推薦
11．9 顯示推薦的電影名稱(chēng)
11．10 創(chuàng )建Recommend項目
11．11 Recommend．scala程序代碼
11．12 創(chuàng )建PrepareData（）數據準備
11．13 recommend（）推薦程序代碼
11．14 運行Recommend．scala
11．15 創(chuàng )建AlsEvaluation．scala調校推薦引擎參數
11．16 創(chuàng )建PrepareData（）數據準備
11．17 進(jìn)行訓練評估
11．18 運行AlsEvaluation
11．19 修改Recommend．scala為佳參數組合

第12章 StumbleUpon數據集
12．1 StumbleUpon數據集簡(jiǎn)介
12．2 下載StumbleUpon數據
12．3 用LibreOffice Calc 電子表格查看train．tsv
12．4 二元分類(lèi)算法

第13章 決策樹(shù)二元分類(lèi)
13．1 決策樹(shù)的介紹
13．2 創(chuàng )建Classification項目
13．3 開(kāi)始輸入RunDecisionTreeBinary．scala程序
13．4 數據準備階段
13．5 訓練評估階段
13．6 預測階段
13．7 運行RunDecisionTreeBinary．scala
13．6 修改RunDecisionTreeBinary調校訓練參數
13．7 運行RunDecisionTreeBinary進(jìn)行參數調校
13．8 運行RunDecisionTreeBinary不進(jìn)行參數調校

第14章 邏輯回歸二元分類(lèi)
14．1 邏輯回歸分析介紹
14．2 RunLogisticRegression WithSGDBinary．scala程序說(shuō)明
14．3 運行RunLogisticRegression WithSGDBinary．scala進(jìn)行參數調校
14．4 運行RunLogisticRegression WithSGDBinary．scala不進(jìn)行參數調校

第15章 支持向量機SVM二元分類(lèi)
15．1 支持向量機SVM算法的基本概念
15．2 RunSVMWithSGDBinary．scala 程序說(shuō)明
15．3 運行SVMWithSGD．scala進(jìn)行參數調校
15．4 運行SVMWithSGD．scala不進(jìn)行參數調校

第16章 樸素貝葉斯二元分類(lèi)
16．1 樸素貝葉斯分析原理的介紹
16．2 RunNaiveBayesBinary．scala程序說(shuō)明
16．3 運行NaiveBayes．scala進(jìn)行參數調校
16．4 運行NaiveBayes．scala不進(jìn)行參數調校

第17章 決策樹(shù)多元分類(lèi)
17．1 “森林覆蓋植被”大數據問(wèn)題分析場(chǎng)景
17．2 UCI Covertype數據集介紹
17．3 下載與查看數據
17．4 創(chuàng )建RunDecisionTreeMulti．scala
17．5 修改RunDecisionTreeMulti．scala程序
17．6 運行RunDecisionTreeMulti．scala進(jìn)行參數調校
17．7 運行RunDecisionTreeMulti．scala不進(jìn)行參數調校

第18章 決策樹(shù)回歸分析
18．1 Bike Sharing大數據問(wèn)題分析
18．2 Bike Sharing數據集
18．3 下載與查看數據
18．4 創(chuàng )建RunDecisionTreeRegression．scala
18．5 修改RunDecisionTreeRegression．scala
18．6 運行RunDecisionTreeRegression． scala進(jìn)行參數調校
18．7 運行RunDecisionTreeRegression． scala不進(jìn)行參數調校

第19章 使用Apache Zeppelin 數據可視化
19．1 Apache Zeppelin簡(jiǎn)介
19．2 安裝Apache Zeppelin
19．3 啟動(dòng)Apache Zeppelin
19．4 創(chuàng )建新的Notebook
19．5 使用Zeppelin運行Shell 命令
19．6 創(chuàng )建臨時(shí)表UserTable
19．7 使用Zeppelin運行年齡統計Spark SQL
19．8 使用Zeppelin運行性別統計Spark SQL
19．9 按照職業(yè)統計
19．10 Spark SQL加入文本框輸入參數
19．11 加入選項參數
19．12 同時(shí)顯示多個(gè)統計字段
19．13 設置工具欄
19．14 設置段落標題
19．15 設置Paragraph段落的寬度
19．16 設置顯示模式