數(shù)據(jù)倉(cāng)庫(kù)（Hive/ClickHouse/Doris）設(shè)計(jì)與開(kāi)發(fā)培訓(xùn)課程
-
-
【培訓(xùn)對(duì)象】
數(shù)據(jù)倉(cāng)庫(kù)工程師、ETL開(kāi)發(fā)工程師、BI工程師、數(shù)據(jù)分析師，希望系統(tǒng)學(xué)習(xí)現(xiàn)代數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)與開(kāi)發(fā)技術(shù)。
-
-
【培訓(xùn)目標(biāo)】
一、 掌握數(shù)據(jù)倉(cāng)庫(kù)建模理論（如維度建模），能夠根據(jù)業(yè)務(wù)需求進(jìn)行合理的模型設(shè)計(jì)。
二、 熟練使用Hive進(jìn)行海量數(shù)據(jù)的離線處理和ETL，掌握其調(diào)優(yōu)方法。
三、 了解ClickHouse和Doris等MPP數(shù)據(jù)庫(kù)的特點(diǎn)，能夠利用它們進(jìn)行高性能的實(shí)時(shí)OLAP查詢分析。
四、 能夠設(shè)計(jì)并構(gòu)建一套完整的、分層清晰的現(xiàn)代數(shù)據(jù)倉(cāng)庫(kù)，支撐企業(yè)BI報(bào)表和數(shù)據(jù)應(yīng)用。
-
-
【培訓(xùn)內(nèi)容介紹】
一、 數(shù)據(jù)倉(cāng)庫(kù)理論基礎(chǔ)：Kimball與Inmon方法論對(duì)比、維度建模（事實(shí)表、維度表、星型模型、雪花模型）。
二、 數(shù)倉(cāng)分層架構(gòu)（ODS-DWD-DWS-ADS）：每一層的職責(zé)、模型設(shè)計(jì)原則與命名規(guī)范。
三、 Hive基礎(chǔ)與數(shù)據(jù)定義：Hive架構(gòu)、表類(lèi)型（內(nèi)部表、外部表）、分區(qū)與分桶、文件格式（Text, ORC, Parquet）與壓縮。
四、 Hive數(shù)據(jù)操作與函數(shù)：復(fù)雜SQL編寫(xiě)、窗口函數(shù)、自定義函數(shù)（UDF/UDTF/UDAF）開(kāi)發(fā)。
五、 Hive性能優(yōu)化：SQL優(yōu)化、join優(yōu)化、小文件合并、并行執(zhí)行、CBO優(yōu)化器、數(shù)據(jù)傾斜處理。
六、 離線數(shù)倉(cāng)ETL設(shè)計(jì)與調(diào)度：使用SQL和Shell/Python編寫(xiě)ETL任務(wù)，通過(guò)調(diào)度工具（如Airflow）進(jìn)行任務(wù)編排。
七、 ClickHouse架構(gòu)與核心特性：列式存儲(chǔ)、向量化執(zhí)行、MergeTree引擎家族、分布式表與本地表。
八、 ClickHouse查詢與實(shí)戰(zhàn)：常用SQL語(yǔ)法、物化視圖、數(shù)據(jù)TTL、Join與窗口函數(shù)支持，性能調(diào)優(yōu)與監(jiān)控。
九、 Doris架構(gòu)與核心特性：MPP架構(gòu)、向量化執(zhí)行引擎、數(shù)據(jù)模型（Duplicate, Unique, Aggregate）、物化視圖、Rollup表。
十、 Doris查詢與實(shí)戰(zhàn)：標(biāo)準(zhǔn)SQL支持、高并發(fā)查詢優(yōu)化、數(shù)據(jù)導(dǎo)入（Stream Load, Broker Load）。
十一、 實(shí)時(shí)數(shù)倉(cāng)構(gòu)建：結(jié)合Flink CDC和Kafka，將實(shí)時(shí)數(shù)據(jù)同步至ClickHouse/Doris，構(gòu)建實(shí)時(shí)數(shù)倉(cāng)鏈路。
十二、 實(shí)戰(zhàn)演練：設(shè)計(jì)一套電商數(shù)倉(cāng)模型，使用Hive完成離線分層ETL，并將結(jié)果數(shù)據(jù)導(dǎo)入ClickHouse/Doris進(jìn)行可視化分析。
如果您想學(xué)習(xí)本課程，請(qǐng)
預(yù)約報(bào)名
如果沒(méi)找到合適的課程或有特殊培訓(xùn)需求，請(qǐng)
訂制培訓(xùn)
除培訓(xùn)外，同時(shí)提供相關(guān)技術(shù)咨詢與技術(shù)支持服務(wù)，有需求請(qǐng)發(fā)需求表到郵箱soft@info-soft.cn,或致電4007991916
技術(shù)服務(wù)需求表點(diǎn)擊在線申請(qǐng)
服務(wù)特點(diǎn)：
海量專(zhuān)家資源，精準(zhǔn)匹配相關(guān)行業(yè)，相關(guān)項(xiàng)目專(zhuān)家，針對(duì)實(shí)際需求，顧問(wèn)式咨詢，互動(dòng)式授課，案例教學(xué)，小班授課，實(shí)際項(xiàng)目演示，快捷高效，省時(shí)省力省錢(qián)。
專(zhuān)家力量：
中國(guó)科學(xué)院軟件研究所，計(jì)算研究所高級(jí)研究人員
oracle,微軟，vmware，MSC,Ansys，candence,Altium,達(dá)索等大型公司高級(jí)工程師，項(xiàng)目經(jīng)理，技術(shù)支持專(zhuān)家
中科信軟培訓(xùn)中心，資深專(zhuān)家或講師
大多名牌大學(xué)，碩士以上學(xué)歷，相關(guān)技術(shù)專(zhuān)業(yè)，理論素養(yǎng)豐富
多年實(shí)際項(xiàng)目經(jīng)歷，大型項(xiàng)目實(shí)戰(zhàn)案例，熱情，樂(lè)于技術(shù)分享
針對(duì)客戶實(shí)際需求，案例教學(xué)，互動(dòng)式溝通，學(xué)有所獲
