廈門大數匠大數據開發(fā)培訓班

1.課程簡介

本課程詳細講解了大數據生態(tài)體系的各個模塊的功能和開發(fā)技術。包括Hadoop體系中的HDFS，Hbase、ZooKeeper進行數據操作，MapReduce進行數據開發(fā)，YARN進行資源配置，Hive完成數據倉庫，Pig進行數據分析，理解其基本原理， Storm實時流式處理，Spark大數據處理框架等。并通過實驗掌握其操作和編程開發(fā)。

2.教學目標

掌握大數據主流技術體系各個模塊的功能和基本原理，掌握各個技術模塊的安裝，基本操作與開發(fā)，能夠根據需求，完成對應模塊上的應用開發(fā)，理解大數據解決方案中的技術框架，能夠基于已有的框架完成一般項目的大數據應用開發(fā)。

3.適合人群

Java高級開發(fā)人員，數據分析、數據統(tǒng)計相關在職人群，想從事大數據開發(fā)工作的在職人士 有職業(yè)技能、崗位晉升需求的在職人員 對大數據開發(fā)感興趣的業(yè)界人士。

4.課程內容

章節(jié)1：Linux基礎

章節(jié)2：Java負基礎掃盲課程

章節(jié)3：JAVA語言基礎入門

章節(jié)4：JAVA核心編程

章節(jié)5：JavaWeb開發(fā)技術

章節(jié)6：傳統(tǒng)核心框架之SSH

章節(jié)7：MySQL基礎

章節(jié)8：Storm實時流式處理

章節(jié)9：Hadoop介紹

章節(jié)10：數據倉庫HIVE

章節(jié)11：分布式數據庫Hbase

章節(jié)12：計算模型MapReduce

章節(jié)13：分布式協(xié)作系統(tǒng)ZooKeeper

章節(jié)14：分布式文件系統(tǒng)HDFS體系結構

章節(jié)15：Spark項目入門與提高

章節(jié)16：Spark項目編譯

章節(jié)17：Spark平臺下的機器學習

章節(jié)18：Scala編程語言

章節(jié)19：ElasticSearch搜索引擎

章節(jié)20：Flink精講

章節(jié)21：機器學習

章節(jié)22：超大集群調優(yōu)

5.項目實戰(zhàn)

項目一：通過PAI基于機器學習的精細化營銷方法、案例和算法。

項目二：互聯(lián)網電商數據爬蟲項目，分析抓取、解析、存儲和監(jiān)控。

項目三：Web應用云高頻實時處理項目，包含Web服務、Web日志及其他實時數據。

項目四：某大型網站日志分析項目，使用hadoop、mapreduce、hive清理進行分析。

項目五：移動業(yè)務感知項目，使用MR對多類數據分析，使用hive完成用戶維度關聯(lián)匯總。

項目六：用戶畫像分析系統(tǒng)項目，通過sqoop導入hdfs或spark的jdbc連接傳統(tǒng)數據庫。

項目七：非法網站監(jiān)測系統(tǒng)項目，對日志數據進行實時采集、轉換與分發(fā)。

項目八：搭建個性化推薦系統(tǒng)。了解算法原理及引擎RecEng操作，搭建電商推薦系統(tǒng)上線。