數(shù)據(jù)湖：Delta Lake/Hudi架構(gòu)與應(yīng)用培訓(xùn)課程
-
-
培訓(xùn)對象： 大數(shù)據(jù)工程師、數(shù)據(jù)架構(gòu)師、數(shù)據(jù)平臺開發(fā)者、數(shù)據(jù)湖技術(shù)選型者。
-
-
-
-
培訓(xùn)目標(biāo)：
-
理解數(shù)據(jù)湖核心概念和湖倉一體架構(gòu)。
-
掌握Delta Lake的事務(wù)、時(shí)間旅行和模式演進(jìn)特性。
-
熟悉Apache Hudi的復(fù)制表、增量查詢和Upsert能力。
-
能夠基于數(shù)據(jù)湖構(gòu)建實(shí)時(shí)數(shù)據(jù)湖倉一體平臺。
-
-
培訓(xùn)內(nèi)容介紹：
-
一、 數(shù)據(jù)湖與湖倉一體概念： 介紹數(shù)據(jù)湖演進(jìn)歷程，對比數(shù)據(jù)倉庫與數(shù)據(jù)湖，理解湖倉一體的技術(shù)價(jià)值。
二、 Delta Lake核心架構(gòu)： 深入Delta Lake的事務(wù)日志、元數(shù)據(jù)管理和文件布局，理解ACID事務(wù)實(shí)現(xiàn)原理。
三、 Delta Lake基礎(chǔ)操作： 使用Spark讀寫Delta表，執(zhí)行插入、更新、刪除和合并（Merge/Upsert）操作。
四、 Delta Lake時(shí)間旅行： 使用版本控制和時(shí)間旅行查詢歷史數(shù)據(jù)快照，實(shí)現(xiàn)數(shù)據(jù)回溯和審計(jì)。
五、 Delta Lake模式演進(jìn)： 動態(tài)添加、修改和刪除列，處理模式變更對現(xiàn)有數(shù)據(jù)的影響。
六、 Delta Lake性能優(yōu)化： 使用Z-Order排序、文件壓縮（Optimize）和數(shù)據(jù)跳過（Data Skipping）提升查詢性能。
七、 Apache Hudi架構(gòu)解析： 了解Hudi的Copy-On-Write和Merge-On-Read存儲類型，理解索引機(jī)制（Bloom Index、HBase Index）。
八、 Hudi基礎(chǔ)操作： 使用Spark寫入Hudi表，執(zhí)行Upsert和增量查詢，管理小文件合并。
九、 Hudi增量查詢與流式處理： 使用Hudi的增量視圖實(shí)現(xiàn)變更數(shù)據(jù)捕獲（CDC），構(gòu)建流式數(shù)據(jù)管道。
十、 數(shù)據(jù)湖集成技術(shù)棧： 將Delta Lake/Hudi與Hive、Presto/Trino、Flink集成，構(gòu)建統(tǒng)一查詢分析層。
十一、 實(shí)時(shí)數(shù)據(jù)湖構(gòu)建： 使用Flink + Hudi/Delta Lake構(gòu)建實(shí)時(shí)數(shù)據(jù)湖，實(shí)現(xiàn)秒級數(shù)據(jù)可見性。
十二、 實(shí)戰(zhàn)項(xiàng)目：數(shù)據(jù)湖平臺搭建： 基于Delta Lake或Hudi構(gòu)建企業(yè)級數(shù)據(jù)湖，實(shí)現(xiàn)批量/實(shí)時(shí)數(shù)據(jù)接入、歷史數(shù)據(jù)查詢和增量處理。
如果您想學(xué)習(xí)本課程，請
預(yù)約報(bào)名
如果沒找到合適的課程或有特殊培訓(xùn)需求，請
訂制培訓(xùn)
除培訓(xùn)外，同時(shí)提供相關(guān)技術(shù)咨詢與技術(shù)支持服務(wù)，有需求請發(fā)需求表到郵箱soft@info-soft.cn,或致電4007991916
技術(shù)服務(wù)需求表點(diǎn)擊在線申請
服務(wù)特點(diǎn)：
海量專家資源，精準(zhǔn)匹配相關(guān)行業(yè)，相關(guān)項(xiàng)目專家，針對實(shí)際需求，顧問式咨詢，互動式授課，案例教學(xué)，小班授課，實(shí)際項(xiàng)目演示，快捷高效，省時(shí)省力省錢。
專家力量：
中國科學(xué)院軟件研究所，計(jì)算研究所高級研究人員
oracle,微軟，vmware，MSC,Ansys，candence,Altium,達(dá)索等大型公司高級工程師，項(xiàng)目經(jīng)理，技術(shù)支持專家
中科信軟培訓(xùn)中心，資深專家或講師
大多名牌大學(xué)，碩士以上學(xué)歷，相關(guān)技術(shù)專業(yè)，理論素養(yǎng)豐富
多年實(shí)際項(xiàng)目經(jīng)歷，大型項(xiàng)目實(shí)戰(zhàn)案例，熱情，樂于技術(shù)分享
針對客戶實(shí)際需求，案例教學(xué)，互動式溝通，學(xué)有所獲
