大數(shù)據(jù)開發(fā)工程師培訓(xùn)課程
培訓(xùn)對(duì)象：
-
即將或剛?cè)肼毚髷?shù)據(jù)崗位的初級(jí)開發(fā)人員
-
希望從傳統(tǒng)開發(fā)（Java/Python）轉(zhuǎn)型大數(shù)據(jù)開發(fā)的工程師
-
需要系統(tǒng)提升大數(shù)據(jù)開發(fā)技能的 IT 人員
培訓(xùn)目標(biāo)：
使學(xué)員系統(tǒng)掌握大數(shù)據(jù)開發(fā)工程師崗位所需的完整技術(shù)棧，包括 Hadoop 生態(tài)核心組件、數(shù)據(jù)采集與傳輸、離線與實(shí)時(shí)計(jì)算、數(shù)據(jù)倉(cāng)庫(kù)建模、任務(wù)調(diào)度等；具備獨(dú)立完成企業(yè)級(jí)大數(shù)據(jù)應(yīng)用模塊開發(fā)的能力；熟悉企業(yè)開發(fā)規(guī)范與項(xiàng)目交付流程，能夠快速勝任大數(shù)據(jù)開發(fā)崗位工作。
培訓(xùn)內(nèi)容介紹：
-
大數(shù)據(jù)開發(fā)工程師崗位能力模型
大數(shù)據(jù)開發(fā)崗位職責(zé)與能力要求；大數(shù)據(jù)技術(shù)棧全景圖；企業(yè)級(jí)大數(shù)據(jù)開發(fā)流程規(guī)范（需求分析-設(shè)計(jì)-開發(fā)-測(cè)試-上線）；開發(fā)環(huán)境搭建（Linux/IDE/版本控制 Git）。
-
Java/Scala 語(yǔ)言基礎(chǔ)與函數(shù)式編程
Java 集合框架與并發(fā)編程基礎(chǔ)；Scala 語(yǔ)言核心特性（伴生對(duì)象/模式匹配/隱式轉(zhuǎn)換）；函數(shù)式編程思想（高階函數(shù)/不可變性）；Akka 并發(fā)模型入門。
-
Hadoop 核心框架深度實(shí)踐
HDFS 原理與 Java API 開發(fā)：文件讀寫/目錄操作；MapReduce 開發(fā)：自定義序列化、分區(qū)、分組；YARN 原理與任務(wù)提交機(jī)制；Hadoop 集群調(diào)優(yōu)與常見問(wèn)題排查。
-
數(shù)據(jù)采集與傳輸技術(shù)
Flume 企業(yè)級(jí)應(yīng)用：自定義 Source/Sink/攔截器；Kafka 深度實(shí)踐：Kafka 原理、分區(qū)分配策略、消息丟失與重復(fù)消費(fèi)解決方案；Kafka Streams 入門。
-
數(shù)據(jù)倉(cāng)庫(kù)開發(fā)與 Hive 實(shí)戰(zhàn)
Hive 表設(shè)計(jì)：內(nèi)部表/外部表/分區(qū)表/分桶表；HiveQL 高級(jí)應(yīng)用：窗口函數(shù)、UDF/UDAF/UDTF 開發(fā)；Hive 調(diào)優(yōu)：執(zhí)行計(jì)劃分析、數(shù)據(jù)傾斜處理、小文件合并；Hive 與 HBase 集成。
-
分布式計(jì)算框架 Spark 開發(fā)
Spark Core：RDD 算子詳解、依賴關(guān)系、Spark 任務(wù)調(diào)度機(jī)制；Spark SQL：DataFrame/Dataset API、與 Hive 集成、自定義 UDF；Spark Streaming 架構(gòu)與 DStream 編程。
-
實(shí)時(shí)計(jì)算框架 Flink 開發(fā)
Flink DataStream API：基礎(chǔ)算子與窗口計(jì)算；Flink 狀態(tài)編程與 Checkpoint 機(jī)制；Flink SQL 在實(shí)時(shí) ETL 中的應(yīng)用；Flink 與 Kafka 的集成開發(fā)。
-
大數(shù)據(jù)存儲(chǔ)技術(shù)選型與應(yīng)用
HBase：RowKey 設(shè)計(jì)原則、二級(jí)索引方案（Phoenix）、批量導(dǎo)入與讀寫優(yōu)化；Redis：數(shù)據(jù)結(jié)構(gòu)選型、緩存穿透/雪崩解決方案；Elasticsearch：索引設(shè)計(jì)、搜索與聚合查詢、與 Kibana 的數(shù)據(jù)可視化。
-
數(shù)據(jù)倉(cāng)庫(kù)建模與 ETL 開發(fā)
數(shù)據(jù)倉(cāng)庫(kù)分層架構(gòu)（ODS-DWD-DWS-ADS）；維度建模方法論（星型模型/雪花模型）；ETL 流程設(shè)計(jì)：數(shù)據(jù)清洗、轉(zhuǎn)換、拉鏈表的實(shí)現(xiàn)；調(diào)度平臺(tái) DolphinScheduler 應(yīng)用：任務(wù)依賴、定時(shí)調(diào)度、補(bǔ)數(shù)機(jī)制。
-
數(shù)據(jù)服務(wù)接口開發(fā)
使用 Spring Boot 開發(fā)數(shù)據(jù)服務(wù)接口；數(shù)據(jù)查詢 API 設(shè)計(jì)與性能優(yōu)化；對(duì)接 BI 工具（Tableau/FineBI）的數(shù)據(jù)接口開發(fā)；數(shù)據(jù)服務(wù)鑒權(quán)與限流設(shè)計(jì)。
-
企業(yè)級(jí)開發(fā)規(guī)范與項(xiàng)目實(shí)戰(zhàn)
Git 分支管理與代碼 Review 規(guī)范；Maven 多模塊項(xiàng)目構(gòu)建；日志規(guī)范與鏈路追蹤；單元測(cè)試與集成測(cè)試實(shí)踐；持續(xù)集成/持續(xù)部署（CI/CD）入門。
-
綜合實(shí)戰(zhàn)：電商數(shù)據(jù)平臺(tái)開發(fā)全流程
從零開始，以電商業(yè)務(wù)為背景，完成數(shù)據(jù)采集（Flume + Kafka）→ 數(shù)據(jù)清洗（Spark Streaming）→ 數(shù)據(jù)倉(cāng)庫(kù)分層建設(shè)（Hive）→ 離線指標(biāo)計(jì)算（Spark SQL）→ 實(shí)時(shí)指標(biāo)計(jì)算（Flink）→ 數(shù)據(jù)服務(wù)接口開發(fā)（Spring Boot）→ 任務(wù)調(diào)度（DolphinScheduler）的全流程開發(fā)，最終交付完整的大數(shù)據(jù)平臺(tái)項(xiàng)目。
如果您想學(xué)習(xí)本課程，請(qǐng)
預(yù)約報(bào)名
如果沒(méi)找到合適的課程或有特殊培訓(xùn)需求，請(qǐng)
訂制培訓(xùn)
除培訓(xùn)外，同時(shí)提供相關(guān)技術(shù)咨詢與技術(shù)支持服務(wù)，有需求請(qǐng)發(fā)需求表到郵箱soft@info-soft.cn,或致電4007991916
技術(shù)服務(wù)需求表點(diǎn)擊在線申請(qǐng)
服務(wù)特點(diǎn)：
海量專家資源，精準(zhǔn)匹配相關(guān)行業(yè)，相關(guān)項(xiàng)目專家，針對(duì)實(shí)際需求，顧問(wèn)式咨詢，互動(dòng)式授課，案例教學(xué)，小班授課，實(shí)際項(xiàng)目演示，快捷高效，省時(shí)省力省錢。
專家力量：
中國(guó)科學(xué)院軟件研究所，計(jì)算研究所高級(jí)研究人員
oracle,微軟，vmware，MSC,Ansys，candence,Altium,達(dá)索等大型公司高級(jí)工程師，項(xiàng)目經(jīng)理，技術(shù)支持專家
中科信軟培訓(xùn)中心，資深專家或講師
大多名牌大學(xué)，碩士以上學(xué)歷，相關(guān)技術(shù)專業(yè)，理論素養(yǎng)豐富
多年實(shí)際項(xiàng)目經(jīng)歷，大型項(xiàng)目實(shí)戰(zhàn)案例，熱情，樂(lè)于技術(shù)分享
針對(duì)客戶實(shí)際需求，案例教學(xué)，互動(dòng)式溝通，學(xué)有所獲
