Linux大數(shù)據(jù)運(yùn)維實戰(zhàn)（Hadoop集群部署與運(yùn)維）培訓(xùn)
-
-
培訓(xùn)對象：適合具備Linux系統(tǒng)管理基礎(chǔ)，希望進(jìn)入大數(shù)據(jù)運(yùn)維領(lǐng)域的系統(tǒng)管理員、運(yùn)維工程師及大數(shù)據(jù)平臺技術(shù)人員。
-
-
培訓(xùn)目標(biāo)：完成本課程后，學(xué)員將能夠深入理解Hadoop生態(tài)體系的核心架構(gòu)與各組件作用。熟練掌握Hadoop完全分布式集群的部署、配置與管理方法。掌握HDFS、YARN、MapReduce、Hive、Flume、Kafka等核心組件的運(yùn)維技術(shù)。具備獨立搭建和維護(hù)企業(yè)級大數(shù)據(jù)平臺的能力。
-
-
培訓(xùn)內(nèi)容：
-
（1）大數(shù)據(jù)技術(shù)概述：了解Hadoop生態(tài)體系的發(fā)展歷程與核心組件。掌握Hadoop分布式集群架構(gòu)的設(shè)計思想。學(xué)習(xí)大數(shù)據(jù)運(yùn)維工程師的職業(yè)要求。
-
（2）開發(fā)環(huán)境準(zhǔn)備：掌握Vmware、Xshell、Xftp、IDEA等軟件的安裝配置。學(xué)習(xí)Linux操作系統(tǒng)環(huán)境配置與SSH免密碼登錄配置。
-
（3）Hadoop分布式集群搭建：掌握J(rèn)DK安裝配置，學(xué)習(xí)HDFS集群與YARN集群的完整配置流程。實踐完成Hadoop完全分布式集群環(huán)境搭建。
-
（4）HDFS運(yùn)維管理：掌握HDFS shell命令行操作，學(xué)習(xí)HDFS客戶端開發(fā)環(huán)境配置。掌握HDFS API基本操作與故障排查。
-
（5）MapReduce基礎(chǔ)：理解MapReduce的原理與工作流程。掌握MapReduce編程模型，實踐完成詞頻統(tǒng)計案例。
-
（6）Hive數(shù)據(jù)倉庫：掌握MySQL環(huán)境配置與Hive環(huán)境配置。學(xué)習(xí)Hive與MySQL整合及Hive服務(wù)啟動，掌握HQL語句基本操作。
-
（7）數(shù)據(jù)采集Flume：掌握Flume的基本原理與安裝部署。學(xué)習(xí)Flume腳本設(shè)計，實現(xiàn)數(shù)據(jù)采集與消費。
-
（8）數(shù)據(jù)遷移Sqoop：掌握Sqoop原理及安裝部署，學(xué)習(xí)Sqoop數(shù)據(jù)遷移案例。實踐實現(xiàn)MySQL與HDFS/Hive間的數(shù)據(jù)遷移。
-
（9）Zookeeper集群搭建：掌握Zookeeper集群環(huán)境搭建方法。理解Zookeeper在分布式協(xié)調(diào)中的核心作用。
-
（10）Kafka集群運(yùn)維：掌握Kafka集群環(huán)境搭建，學(xué)習(xí)Kafka常用命令及使用。實踐實現(xiàn)Flume-Kafka-Flume數(shù)據(jù)采集架構(gòu)。
-
（11）離線數(shù)倉設(shè)計：掌握離線數(shù)據(jù)倉庫的分層架構(gòu)（ODS、DWD、DWS、ADS）。學(xué)習(xí)各層的數(shù)據(jù)表設(shè)計與數(shù)據(jù)加載方法。
-
（12）綜合項目實戰(zhàn)：以"電商平臺用戶行為數(shù)據(jù)分析"為實戰(zhàn)項目，完成Hadoop平臺部署、數(shù)據(jù)采集、離線數(shù)倉構(gòu)建、數(shù)據(jù)可視化的全流程。
如果您想學(xué)習(xí)本課程，請
預(yù)約報名
如果沒找到合適的課程或有特殊培訓(xùn)需求，請
訂制培訓(xùn)
除培訓(xùn)外，同時提供相關(guān)技術(shù)咨詢與技術(shù)支持服務(wù)，有需求請發(fā)需求表到郵箱soft@info-soft.cn,或致電4007991916
技術(shù)服務(wù)需求表點擊在線申請
服務(wù)特點：
海量專家資源，精準(zhǔn)匹配相關(guān)行業(yè)，相關(guān)項目專家，針對實際需求，顧問式咨詢，互動式授課，案例教學(xué)，小班授課，實際項目演示，快捷高效，省時省力省錢。
專家力量：
中國科學(xué)院軟件研究所，計算研究所高級研究人員
oracle,微軟，vmware，MSC,Ansys，candence,Altium,達(dá)索等大型公司高級工程師，項目經(jīng)理，技術(shù)支持專家
中科信軟培訓(xùn)中心，資深專家或講師
大多名牌大學(xué)，碩士以上學(xué)歷，相關(guān)技術(shù)專業(yè)，理論素養(yǎng)豐富
多年實際項目經(jīng)歷，大型項目實戰(zhàn)案例，熱情，樂于技術(shù)分享
針對客戶實際需求，案例教學(xué)，互動式溝通，學(xué)有所獲
