北京大數(shù)據(jù)開發(fā)課程的內(nèi)容有Java核心、Hadoop、Spark、Python、項目實戰(zhàn)、機器學(xué)習(xí)、大數(shù)據(jù)系統(tǒng)、管理優(yōu)化、阿里云平臺、就業(yè)項目CC服務(wù)；大數(shù)據(jù)應(yīng)用已經(jīng)深入互聯(lián)網(wǎng)、電商、政務(wù)、金融、交通等各領(lǐng)域，當(dāng)前熱門應(yīng)用刷臉支付、自動駕駛、猜你喜歡、無人快遞車等無不以大數(shù)據(jù)為基石。隨著大數(shù)據(jù)產(chǎn)業(yè)上升為國家戰(zhàn)略，大數(shù)據(jù)的價值越來越重要。

大數(shù)據(jù)課程
學(xué)習(xí)內(nèi)容	可掌握的核心能力	可解決的現(xiàn)實問題	市場價值
Java基礎(chǔ)入門、Java面向?qū)ο?、Java高級API、MySQL、Java Web、SSM	掌握J(rèn)avaEE核心技術(shù)、能夠使用MySQL操作和管理數(shù)據(jù)、掌握J(rèn)ava SSM框架的使用、能夠完成Java Web項目、熟悉Linux編程的基本使用、通過ELK了解數(shù)據(jù)處理的整個過程	能夠完成Java Web項目能夠搭建Linux環(huán)境并進(jìn)行shell編程	可勝任初級Java工程師的工作需求，月薪8000-10000元
Linux編程、ELK、HDFS、MapReduce、Yarn及ZooKeeper、Hive、HBase、Sqoop、離線項目實戰(zhàn)	熟悉Linux編程的基本使用、通過ELK了解數(shù)據(jù)處理的整個過程、掌握Hadoop平臺核心技術(shù)、掌握Hive開發(fā)、掌握HBase開發(fā)、掌握離線項目開發(fā)所需技能	能夠搭建Linux環(huán)境并進(jìn)行shell編程、能夠完成基于Hadoop的數(shù)據(jù)倉庫項目開發(fā)	可勝任初級大數(shù)據(jù)離線處理工作，如ETL工程師，Hive工程師，數(shù)據(jù)倉庫工程師，HBase工程師等，月薪10000-13000元
Scala編程、Spark Core、Spark SQL、Spark GraphX、SparkStreaming實時處理	掌握Scala基本編程、掌握Spark架構(gòu)基本內(nèi)容及原理、掌握Spark開發(fā)及使用、掌握Spark實時數(shù)據(jù)處理	能夠完成基于Scala的Spark代碼開發(fā)	大數(shù)據(jù)知識提升階段，可掌握Spark基本原理及使用，可勝任Spark開發(fā)工作，如Spark開發(fā)工程師，大數(shù)據(jù)實時處理工程師等，月薪14000-16000元
Python編程、Python數(shù)據(jù)爬取、PySpark	掌握Python基本使用、掌握Python核心庫的使用、掌握Python爬蟲、掌握Python簡單數(shù)據(jù)分析	能夠完成Python爬蟲項目的開發(fā)、會使用Python進(jìn)行簡單的數(shù)據(jù)分析	可勝任Python爬蟲工程師，初級機器學(xué)習(xí)工程師工作，月薪16000-20000元
電商數(shù)倉項目實戰(zhàn)、用戶興趣取向分析、教育平臺大數(shù)據(jù)分析、股票數(shù)據(jù)流實時分析	掌握大數(shù)據(jù)項目開發(fā)的基本流程、掌握項目開發(fā)的具體實現(xiàn)方法、掌握企業(yè)級大數(shù)據(jù)項目開發(fā)實戰(zhàn)經(jīng)驗	掌握大數(shù)據(jù)項目開發(fā)流程及相關(guān)技術(shù)、處理企業(yè)真實項目的開發(fā)	經(jīng)過大量項目實戰(zhàn)，可勝任大數(shù)據(jù)開發(fā)工程師，Spark工程師，可視化工程師，ETL工程師相關(guān)工作。月薪18000-24000元
機器學(xué)習(xí)算法Spark實現(xiàn)機器學(xué)習(xí)、Python實現(xiàn)機器學(xué)習(xí)、機器學(xué)習(xí)項目實戰(zhàn)云音樂推薦系統(tǒng)、	掌握機器學(xué)習(xí)的基本流程、掌握機器學(xué)習(xí)的常用算法模型、掌握使用Spark ML和Python進(jìn)行機器學(xué)習(xí)開發(fā)、掌握推薦系統(tǒng)項目開發(fā)原理及流程	掌握機器學(xué)習(xí)基本知識、掌握大數(shù)據(jù)機器學(xué)習(xí)項目開發(fā)流程及相關(guān)技術(shù)、能夠運用機器學(xué)習(xí)知識進(jìn)行項目開發(fā)	可勝任機器學(xué)習(xí)工程師、機器學(xué)習(xí)算法工程師、大數(shù)據(jù)挖掘工程師等相關(guān)工作,月薪22000-28000元
提升系統(tǒng)的可靠性、提升系統(tǒng)的安全性-認(rèn)證、授權(quán)及審計、數(shù)據(jù)保護(hù)	掌握大數(shù)據(jù)高可用集群管理、理解并掌握系統(tǒng)的安全性、授權(quán)及審計、數(shù)據(jù)保護(hù)等技能	掌握大數(shù)據(jù)高可用集群管理、理解并掌握系統(tǒng)的安全性、授權(quán)及審計、數(shù)據(jù)保護(hù)等技能	掌握大數(shù)據(jù)高可用集群管理、理解并掌握系統(tǒng)的安全性、授權(quán)及審計、數(shù)據(jù)保護(hù)等技能
阿里云平臺、實驗環(huán)境搭建、阿里云項目訓(xùn)練、阿里云認(rèn)證指導(dǎo)	掌握阿里云平臺的基本使用、掌握企業(yè)使用阿里云大數(shù)據(jù)平臺開發(fā)所需要的技能	滿足阿里云認(rèn)證相關(guān)技能，可進(jìn)行企業(yè)阿里云大數(shù)據(jù)平臺的搭建開發(fā)	大量阿里云合作企業(yè)優(yōu)先錄取，提升你的就業(yè)Level

項目	項目介紹	技術(shù)架構(gòu)	主要業(yè)務(wù)
電商項目	根據(jù)用戶在電商網(wǎng)站的消費行為日志數(shù)據(jù)以及數(shù)據(jù)庫數(shù)據(jù)等，分析用戶的消費習(xí)慣以及消費偏好，進(jìn)行構(gòu)建用戶畫像，并對用戶消費行為進(jìn)行分析	Flume+Kafka+Hive+HBase+Oozie+Spark SQL+Redis+MySQL+Zeppelin	對電商網(wǎng)站日志進(jìn)行收集，清洗； 對用戶構(gòu)建用戶畫像；通過Hive對用戶消費行為分析；通過Oozie進(jìn)行ETL任務(wù)調(diào)度；通過Zeppelin進(jìn)行數(shù)據(jù)可視化展示；
社交項目	根據(jù)用戶訪問網(wǎng)站的瀏覽信息，以及點贊關(guān)注等行為，根據(jù)日志數(shù)據(jù)，來分析判斷用戶的興趣取向	Flume+Kafka+Hive+PySpark+HBase+Oozie+Spark Streaming+NiFi+Redis+Cassandra+MySQL	獲取用戶訪問網(wǎng)站的日志數(shù)據(jù)，并對其進(jìn)行清洗，ETL變換； 通過PySpark建立日志推薦模型；使用Spark Streaming及ML進(jìn)行用戶興趣取向?qū)崟r預(yù)測；通過Python將日志推薦數(shù)據(jù)進(jìn)行存儲；建立Tableau與MySQL的鏈接，進(jìn)行數(shù)據(jù)可視化及報表展示；
金融項目	通過實時收集并分析股票數(shù)據(jù)信息，并對數(shù)據(jù)進(jìn)行過濾，清洗，挖掘，計算，然后通過可視化框架進(jìn)行展示	Flume+Kafka+HDFS+Spark Streaming +Confluent+Flink+Grafana	項目數(shù)據(jù)格式定義； Apache Kafka進(jìn)行股票數(shù)據(jù)扒??；基于Confluent的股票元數(shù)據(jù)管理及應(yīng)用；Flink流數(shù)據(jù)處理及實時分析；Flink實時股票的實時分析；Grafana/Zeppelin數(shù)據(jù)可視化
互聯(lián)網(wǎng)項目	大型電商集團需要各研發(fā)中心使用統(tǒng)一的數(shù)倉設(shè)計規(guī)范，以便于集團數(shù)據(jù)的共享和規(guī)劃建設(shè)。本系統(tǒng)是運營支撐平臺的一部分，通過對業(yè)務(wù)數(shù)據(jù)的分析，獲得用戶主題和訂單的相關(guān)分析情況，生成用戶的訪問模型和用戶的訂單行為模型，對訪問時段和下單區(qū)域分布進(jìn)行分析和報表展示	MySQL+Sqoop+Hive+SparkSQL+Azkaban+Zeppelin	設(shè)計構(gòu)建能夠支持大型電商集團所需的大數(shù)據(jù)倉庫，為公司業(yè)務(wù)運營進(jìn)行支撐
音樂項目	大數(shù)據(jù)技術(shù)越來越多地和機器學(xué)習(xí)相結(jié)合，為企業(yè)和用戶提供便利。本系統(tǒng)基于大數(shù)據(jù)和機器學(xué)習(xí)技術(shù)，通過對用戶APP操作行為數(shù)據(jù)（打點數(shù)據(jù)）收集，通過機器學(xué)習(xí)算法向用戶精準(zhǔn)地推薦音樂和歌單，提高用戶的使用體驗，增強APP的使用粘性	Flume+Kafka+Hive+Spark Core+SparkSQL+SparkML+MySQL+Redis+機器學(xué)習(xí)算法	通過Flume對打點數(shù)據(jù)進(jìn)行采集；通過Kafka進(jìn)行數(shù)據(jù)接收；通過Hive、Spark Core和SparkSQL進(jìn)行數(shù)據(jù)清洗、整理；調(diào)用SparkML中的協(xié)同過濾（ALS）和邏輯回歸等算法進(jìn)行運算，實現(xiàn)對用戶的音樂推薦功能；將推薦結(jié)果保存到Redis數(shù)據(jù)庫中供其他應(yīng)用調(diào)用
搜索項目	Python也是目前大數(shù)據(jù)開發(fā)中使用較多的一門語言，ElasticSearch是目前企業(yè)使用最多的搜索服務(wù)器。該項目是Python爬蟲與ELK搜索結(jié)合的項目，通過Python爬蟲獲取數(shù)據(jù)，對獲取的數(shù)據(jù)，使用ELK實現(xiàn)全文檢索功能	Python+Scrapy+ELK+Hadoop+HBase+Oozie+MySQL	通過Python爬蟲獲取數(shù)據(jù)；將爬取數(shù)據(jù)存入HBase;構(gòu)建ELK全文檢索服務(wù)；實現(xiàn)全文檢索功能