Hadoop/Spark/Flink大數(shù)據(jù)平臺(tái)實(shí)戰(zhàn)培訓(xùn)課程（分布式計(jì)算與批流一體）
-
-
【培訓(xùn)對(duì)象】
大數(shù)據(jù)平臺(tái)工程師、數(shù)據(jù)開發(fā)工程師、解決方案架構(gòu)師，希望系統(tǒng)掌握以Hadoop/Spark/Flink為核心的大數(shù)據(jù)技術(shù)棧。
-
-
【培訓(xùn)目標(biāo)】
一、 深入理解Hadoop生態(tài)系統(tǒng)（HDFS、YARN）的核心組件，能夠搭建和維護(hù)穩(wěn)定的大數(shù)據(jù)基礎(chǔ)平臺(tái)。
二、 掌握Spark Core、Spark SQL、Spark Streaming的核心編程模型和性能調(diào)優(yōu)技巧。
三、 熟悉Flink作為新一代流處理引擎的優(yōu)勢，掌握其DataStream API和SQL進(jìn)行流式處理。
四、 理解批流一體的概念，能夠根據(jù)業(yè)務(wù)需求，融合使用Hadoop/Spark/Flink構(gòu)建統(tǒng)一的數(shù)據(jù)處理平臺(tái)。
-
-
【培訓(xùn)內(nèi)容介紹】
一、 大數(shù)據(jù)平臺(tái)概述與技術(shù)演進(jìn)：Hadoop生態(tài)圈回顧，Spark與Flink的崛起，批流一體趨勢。
二、 HDFS分布式文件系統(tǒng)：HDFS架構(gòu)（NameNode, DataNode）、數(shù)據(jù)讀寫流程、副本機(jī)制、高可用（HA）與聯(lián)邦（Federation）配置。
三、 YARN資源調(diào)度器：YARN架構(gòu)（ResourceManager, NodeManager）、調(diào)度器（FIFO, Capacity, Fair）原理與配置，應(yīng)用提交與資源隔離。
四、 Hadoop集群管理與運(yùn)維：集群規(guī)劃、搭建、監(jiān)控、安全（Kerberos）、故障排查。
五、 Spark Core基礎(chǔ)：Spark應(yīng)用提交流程、RDD概念與算子、依賴關(guān)系與DAG生成、Shuffle過程。
六、 Spark SQL：DataFrame/Dataset API、Catalyst優(yōu)化器、與Hive集成、性能調(diào)優(yōu)。
七、 Spark Streaming：DStream模型、微批處理原理、與Kafka集成、狀態(tài)管理與Exactly-Once保證。
八、 Flink核心概念回顧與進(jìn)階：狀態(tài)、時(shí)間、容錯(cuò)機(jī)制，DataStream API深度實(shí)踐。
九、 Flink SQL與流批一體：使用Flink SQL統(tǒng)一處理有界（批）和無界（流）數(shù)據(jù)，實(shí)現(xiàn)流批一體架構(gòu)。
十、 Spark與Flink對(duì)比與選型：引擎適用場景對(duì)比、如何根據(jù)業(yè)務(wù)需求選擇計(jì)算引擎。
十一、 平臺(tái)整合實(shí)踐：數(shù)據(jù)統(tǒng)一存儲(chǔ)在HDFS/對(duì)象存儲(chǔ)，通過YARN調(diào)度Spark/Flink任務(wù)，使用Hive Metastore作為元數(shù)據(jù)管理中心。
十二、 實(shí)戰(zhàn)演練：搭建一套包含Hadoop、Spark、Flink的大數(shù)據(jù)平臺(tái)，分別用Spark和Flink實(shí)現(xiàn)一個(gè)批處理任務(wù)和一個(gè)流處理任務(wù)。
如果您想學(xué)習(xí)本課程，請
預(yù)約報(bào)名
如果沒找到合適的課程或有特殊培訓(xùn)需求，請
訂制培訓(xùn)
除培訓(xùn)外，同時(shí)提供相關(guān)技術(shù)咨詢與技術(shù)支持服務(wù)，有需求請發(fā)需求表到郵箱soft@info-soft.cn,或致電4007991916
技術(shù)服務(wù)需求表點(diǎn)擊在線申請
服務(wù)特點(diǎn)：
海量專家資源，精準(zhǔn)匹配相關(guān)行業(yè)，相關(guān)項(xiàng)目專家，針對(duì)實(shí)際需求，顧問式咨詢，互動(dòng)式授課，案例教學(xué)，小班授課，實(shí)際項(xiàng)目演示，快捷高效，省時(shí)省力省錢。
專家力量：
中國科學(xué)院軟件研究所，計(jì)算研究所高級(jí)研究人員
oracle,微軟，vmware，MSC,Ansys，candence,Altium,達(dá)索等大型公司高級(jí)工程師，項(xiàng)目經(jīng)理，技術(shù)支持專家
中科信軟培訓(xùn)中心，資深專家或講師
大多名牌大學(xué)，碩士以上學(xué)歷，相關(guān)技術(shù)專業(yè)，理論素養(yǎng)豐富
多年實(shí)際項(xiàng)目經(jīng)歷，大型項(xiàng)目實(shí)戰(zhàn)案例，熱情，樂于技術(shù)分享
針對(duì)客戶實(shí)際需求，案例教學(xué)，互動(dòng)式溝通，學(xué)有所獲
