《大數據應用分析技術(shù)與方法》一書(shū)是適應越來(lái)越多的與數據分析有關(guān)的人員,迫切需要從大數據中挖掘有用的信息,提升工作水平和工作效率的需求而推出的,著(zhù)力突出實(shí)用性、可操作性和指導性。
本書(shū)強調了大數據的寶貴價(jià)值,介紹了常用的數據分析技術(shù)與方法,論述了大數據分析的思維特征,緊扣大數據的特點(diǎn)演示了可視化分析與可視化挖掘的方法,詳細討論了數據清洗與元數據管理,對大數據的風(fēng)險予以充分揭示,同時(shí)提出了大數據風(fēng)險管理的對策,對大數據治理作了簡(jiǎn)介。
本書(shū)具有很強的實(shí)用性、可操作性和指導性,對于企業(yè)管理人員、企業(yè)數據分析人員、業(yè)務(wù)分析人員和市場(chǎng)營(yíng)銷(xiāo)人員,政府監管機構如證監會(huì )、銀監局、保監會(huì )的監管人員,審計師、注冊會(huì )計師,紀檢監察和司法機關(guān)執紀執法人員有參考價(jià)值,同時(shí)可供高等院校相關(guān)專(zhuān)業(yè)的師生參閱。
第1章大數據是信息社會(huì )的寶貴資源1
1.1大數據產(chǎn)生的背景和概念1
1.2大數據的特征3
1.3大數據與傳統數據的區別4
1.4大數據的價(jià)值和開(kāi)發(fā)應用5
1.5大數據時(shí)代的新機遇和新挑戰8
1.5.1依據大數據進(jìn)行決策成為一種新的決策方式8
1.5.2大數據與各行業(yè)深度融合帶來(lái)層出不窮的新應用8
1.5.3大數據推動(dòng)新技術(shù)的不斷涌現9
1.6本書(shū)的特定視野10
參考文獻11第2章大數據應用分析12
2.1大數據的處理流程12
2.2大數據分析的概念14
2.3大數據分析的關(guān)鍵技術(shù)15
2.3.1云計算15
2.3.2數據分析方法16
2.3.3數據可視化17
2.4大數據分析工具介紹17
2.4.1Hadoop18
2.4.2R19
2.4.3Python19
2.4.4RapidMiner20
2.4.5Tableau20
2.5大數據分析示例——查處虛假出口貿易22
2.5.1案例概述22
2.5.2查詢(xún)分析23
2.5.3可視化分析25
2.5.4分析小結27
參考文獻30第3章常用數據分析與預測方法31
3.1方差分析31
3.1.1分析方法31
3.1.2示例介紹31
3.1.3示例分析33
3.1.4結果分析與總結35
3.2相關(guān)分析35
3.2.1分析方法35
3.2.2示例介紹36
3.2.3示例分析37
3.2.4結果分析與總結40
3.3回歸分析40
3.3.1分析方法40
3.3.2示例介紹41
3.3.3示例分析41
3.3.4結果分析與總結42
3.4時(shí)間序列分析44
3.4.1平穩性檢驗44
3.4.2純隨機性檢驗44
3.4.3適用性檢測44
3.5聚類(lèi)分析45
3.6可視化數據分析46
3.6.1常用的可視化數據展示方法47
3.6.2可視化分析示例51
3.7環(huán)境準備61
參考文獻62第4章大數據分析的思維特征63
4.1大數據應用分析的實(shí)務(wù)框架63
4.1.1大數據應用分析的四個(gè)層面63
4.1.2四個(gè)層面的關(guān)系65
4.2大數據分析的特征發(fā)現65
4.2.1特征發(fā)現的案例66
4.2.2特征發(fā)現的概念73
4.3對數據的分類(lèi)73
4.4特征發(fā)現的一般過(guò)程79
參考文獻81第5章大數據的可視化分析82
5.1不良貸款分析82
5.1.1數據準備82
5.1.2各銀行的不良貸款情況分析86
5.1.3各經(jīng)濟類(lèi)型的企業(yè)的不良貸款情況分析95
5.1.4各類(lèi)貸款的不良貸款情況分析99
5.2保險公司客戶(hù)索賠分析103
5.2.1數據準備103
5.2.2數據分析104
參考文獻119第6章可視化挖掘分析120
6.1挖掘分析在審計線(xiàn)索特征發(fā)現中的應用120
6.1.1案例背景120
6.1.2數據準備120
6.1.3聚類(lèi)分析122
6.2挖掘分析在推薦系統中的應用131
6.2.1案例背景131
6.2.2數據準備131
6.2.3構建推薦系統132第7章大數據資源的元數據管理140
7.1元數據簡(jiǎn)介140
7.1.1元數據和對象數據140
7.1.2應用元數據管理技術(shù)的意義140
7.2著(zhù)錄對象分析142
7.2.1審計中間表142
7.2.2審計分析模型142
7.2.3審計專(zhuān)家經(jīng)驗143
7.2.4審計情景案例144
7.2.5被審計單位資料144
7.3元數據結構設計145
7.3.1審計中間表的元數據結構145
7.3.2審計分析模型的元數據結構146
7.3.3審計專(zhuān)家經(jīng)驗的元數據結構147
7.3.4審計情景案例的元數據結構149
7.3.5被審計單位資料的元數據結構150
7.4應用大數據審計分析數字信息元數據規范的擴展規則151
參考文獻152第8章大數據分析的數據清洗153
8.1大數據清洗的基本概念153
8.1.1大數據清洗的基本架構153
8.1.2數據清洗的基本步驟154
8.2數據清洗157
8.2.1數據清洗的一些注意事項157
8.2.2常見(jiàn)的數據清洗158
參考文獻163第9章大數據分析的風(fēng)險與對策164
9.1大數據分析的風(fēng)險及產(chǎn)生原因164
9.2大數據采集的風(fēng)險165
9.3大數據處理與集成的風(fēng)險167
9.4大數據分析的風(fēng)險168
9.5大數據解釋的風(fēng)險168
9.6大數據的隱私和安全風(fēng)險及其對策169
9.6.1大數據處理流程的隱私風(fēng)險170
9.6.2大數據處理平臺帶來(lái)的安全和隱私風(fēng)險172
9.6.3保護大數據隱私和安全的對策173
參考文獻175第10章大數據治理簡(jiǎn)介177
10.1大數據治理的必要性177
10.2大數據治理的概念178
10.3大數據治理的核心內容180
10.4案例181
10.4.1工作思路182
10.4.2數據真實(shí)性的驗證方法182
10.4.3數據完整性的驗證186
參考文獻187附錄ATableau 10.0簡(jiǎn)介188
A.1Tableau工作區188
A.1.1工作表工作區189
A.1.2儀表板工作區190
A.1.3故事工作區191
A.2Tableau的文件管理192附錄BRapidMiner使用方法簡(jiǎn)介194
B.1RapidMiner的主界面194
B.2使用RapidMiner分析數據的方法195