Hadoop生態(tài)圈技術(shù)實戰(zhàn)培訓(xùn)課程
培訓(xùn)對象： 面向大數(shù)據(jù)開發(fā)工程師、數(shù)據(jù)分析師、Java開發(fā)工程師及IT運維人員。也適合需要從零搭建企業(yè)級大數(shù)據(jù)平臺、掌握Hadoop生態(tài)核心技術(shù)的團隊技術(shù)人員。
培訓(xùn)目標： 系統(tǒng)掌握Hadoop生態(tài)圈的核心組件與技術(shù)體系，具備Hadoop完全分布式集群搭建、HDFS分布式文件系統(tǒng)操作、MapReduce分布式計算框架開發(fā)及YARN資源調(diào)度管理的實戰(zhàn)能力。能夠獨立完成從數(shù)據(jù)采集、存儲、計算到分析的全流程大數(shù)據(jù)項目開發(fā)。
培訓(xùn)內(nèi)容介紹：
-
大數(shù)據(jù)技術(shù)生態(tài)體系概述：學(xué)習(xí)大數(shù)據(jù)技術(shù)的發(fā)展歷程與Hadoop生態(tài)圈的整體架構(gòu)，理解HDFS、MapReduce、YARN、Hive、HBase等核心組件的定位與協(xié)同關(guān)系。
-
Hadoop完全分布式集群搭建：掌握Hadoop集群的規(guī)劃與部署方法，學(xué)習(xí)環(huán)境準備、配置文件修改、集群啟動與驗證的完整流程，實現(xiàn)從單機到完全分布式的跨越。
-
HDFS分布式文件系統(tǒng)深度解析：深入理解HDFS的架構(gòu)設(shè)計（NameNode、DataNode、SecondaryNameNode），掌握HDFS的Shell操作、API操作及IO流操作技巧。
-
HDFS讀寫數(shù)據(jù)流程：學(xué)習(xí)HDFS寫數(shù)據(jù)的完整流程（客戶端→NameNode→DataNode pipeline）、讀數(shù)據(jù)的流程（客戶端→NameNode→DataNode），理解數(shù)據(jù)副本策略與容錯機制。
-
NameNode與SecondaryNameNode工作機制：深入剖析NameNode元數(shù)據(jù)管理機制（FsImage、EditLog），掌握SecondaryNameNode的 checkpoint工作原理及集群恢復(fù)中的應(yīng)用。
-
DataNode工作機制與集群節(jié)點管理：學(xué)習(xí)DataNode的心跳機制、數(shù)據(jù)塊匯報及數(shù)據(jù)完整性校驗，掌握集群節(jié)點的動態(tài)服役和退役操作方法。
-
MapReduce編程模型：掌握MapReduce的編程規(guī)范與核心組件（Mapper、Reducer、Driver），學(xué)習(xí)自定義序列化、自定義分區(qū)、自定義排序的實現(xiàn)方法。
-
MapReduce高級應(yīng)用：學(xué)習(xí)自定義InputFormat、自定義OutputFormat、分組、合并及數(shù)據(jù)清洗技巧，掌握ReduceJoin與MapJoin的適用場景與實現(xiàn)。
-
MapReduce核心機制：深入理解MapTask工作機制、ReduceTask工作機制、Shuffle工作機制及MapReduce工作流程，掌握Job提交流程源碼分析。
-
數(shù)據(jù)壓縮與優(yōu)化策略：學(xué)習(xí)MapReduce支持的數(shù)據(jù)壓縮格式（Gzip、Bzip2、Snappy、LZO），掌握MapReduce企業(yè)優(yōu)化、HDFS小文件優(yōu)化及數(shù)據(jù)傾斜優(yōu)化的實戰(zhàn)技巧。
-
YARN資源調(diào)度器：深入理解YARN的架構(gòu)（ResourceManager、NodeManager、ApplicationMaster），掌握YARN的工作機制、作業(yè)提交流程及資源調(diào)度器配置（FIFO、容量調(diào)度器、公平調(diào)度器）。
-
Hadoop源碼編譯與新特性：學(xué)習(xí)Hadoop源碼編譯方法，了解HDFS 2.x/3.x新特性（異構(gòu)存儲、糾刪碼、Ozone），構(gòu)建對Hadoop生態(tài)的底層認知。
如果您想學(xué)習(xí)本課程，請
預(yù)約報名
如果沒找到合適的課程或有特殊培訓(xùn)需求，請
訂制培訓(xùn)
除培訓(xùn)外，同時提供相關(guān)技術(shù)咨詢與技術(shù)支持服務(wù)，有需求請發(fā)需求表到郵箱soft@info-soft.cn,或致電4007991916
技術(shù)服務(wù)需求表點擊在線申請
服務(wù)特點：
海量專家資源，精準匹配相關(guān)行業(yè)，相關(guān)項目專家，針對實際需求，顧問式咨詢，互動式授課，案例教學(xué)，小班授課，實際項目演示，快捷高效，省時省力省錢。
專家力量：
中國科學(xué)院軟件研究所，計算研究所高級研究人員
oracle,微軟，vmware，MSC,Ansys，candence,Altium,達索等大型公司高級工程師，項目經(jīng)理，技術(shù)支持專家
中科信軟培訓(xùn)中心，資深專家或講師
大多名牌大學(xué)，碩士以上學(xué)歷，相關(guān)技術(shù)專業(yè)，理論素養(yǎng)豐富
多年實際項目經(jīng)歷，大型項目實戰(zhàn)案例，熱情，樂于技術(shù)分享
針對客戶實際需求，案例教學(xué)，互動式溝通，學(xué)有所獲
