ETL與數(shù)據(jù)集成培訓(xùn)課程大綱
培訓(xùn)對象：
-
ETL開發(fā)工程師/數(shù)據(jù)集成工程師
-
數(shù)據(jù)倉庫/大數(shù)據(jù)平臺開發(fā)人員
-
數(shù)據(jù)架構(gòu)師/數(shù)據(jù)治理人員
-
需要處理多源數(shù)據(jù)整合的業(yè)務(wù)分析師
-
希望系統(tǒng)學(xué)習(xí)ETL技術(shù)的初學(xué)者
培訓(xùn)目標(biāo)：
使學(xué)員系統(tǒng)掌握ETL（抽取-轉(zhuǎn)換-加載）的核心概念、方法論與完整流程，理解ETL在數(shù)據(jù)倉庫與大數(shù)據(jù)平臺中的核心地位；熟練運(yùn)用主流ETL工具（Kettle/DataX/SSIS等）進(jìn)行數(shù)據(jù)抽取、清洗、轉(zhuǎn)換與加載；掌握增量抽取、緩慢變化維處理、數(shù)據(jù)質(zhì)量監(jiān)控等關(guān)鍵技術(shù)；具備獨(dú)立設(shè)計(jì)、開發(fā)、優(yōu)化和調(diào)度企業(yè)級ETL數(shù)據(jù)流程的能力。
培訓(xùn)內(nèi)容介紹：
-
ETL概述與數(shù)據(jù)集成基礎(chǔ)：ETL的定義與在數(shù)據(jù)倉庫架構(gòu)中的核心地位；ETL與ELT的對比與選型策略；數(shù)據(jù)集成的挑戰(zhàn)（異構(gòu)數(shù)據(jù)源/數(shù)據(jù)質(zhì)量/實(shí)時(shí)性要求）；ETL設(shè)計(jì)的基本原則；主流ETL工具對比（Kettle/DataX/SSIS/Informatica/Talend）；ETL開發(fā)環(huán)境搭建。
-
數(shù)據(jù)抽取策略與技術(shù)：源系統(tǒng)分析與數(shù)據(jù)探查；全量抽取與增量抽�。辉隽砍槿�(shí)現(xiàn)方式（時(shí)間戳/標(biāo)志位/CDC日志解析/觸發(fā)器）；從關(guān)系型數(shù)據(jù)庫抽取數(shù)據(jù)（MySQL/Oracle/SQL Server）；從文件系統(tǒng)抽取數(shù)據(jù)（CSV/Excel/JSON/XML）；從API/Web服務(wù)抽取數(shù)據(jù)；數(shù)據(jù)抽取頻率設(shè)計(jì)；抽取性能優(yōu)化技巧。
-
數(shù)據(jù)轉(zhuǎn)換與清洗：數(shù)據(jù)轉(zhuǎn)換的常見類型（格式轉(zhuǎn)換/類型轉(zhuǎn)換/字段映射）；數(shù)據(jù)清洗任務(wù)（去重/空值處理/異常值處理/數(shù)據(jù)標(biāo)準(zhǔn)化）；業(yè)務(wù)規(guī)則轉(zhuǎn)換（代碼轉(zhuǎn)換/指標(biāo)計(jì)算/衍生字段）；數(shù)據(jù)過濾與條件拆分；數(shù)據(jù)合并與連接；數(shù)據(jù)排序與分組聚合；數(shù)據(jù)類型轉(zhuǎn)換與表達(dá)式計(jì)算；數(shù)據(jù)質(zhì)量規(guī)則實(shí)施。
-
數(shù)據(jù)加載策略：初始加載與增量加載策略；全量覆蓋與追加寫入；緩慢變化維度（SCD）加載策略（類型1/類型2/類型3）；事實(shí)表加載策略（事務(wù)事實(shí)/周期快照/累積快照）；加載性能優(yōu)化（批量提交/索引維護(hù)/并行加載）；目標(biāo)數(shù)據(jù)源適配（數(shù)據(jù)庫/數(shù)據(jù)倉庫/數(shù)據(jù)湖/文件系統(tǒng)）。
-
ETL流程設(shè)計(jì)與開發(fā)：ETL流程分層設(shè)計(jì)（ODS→DWD→DWS）；控制流與數(shù)據(jù)流設(shè)計(jì)；任務(wù)依賴關(guān)系管理；錯(cuò)誤處理與重試機(jī)制；日志記錄與審計(jì)跟蹤；參數(shù)化與動(dòng)態(tài)ETL設(shè)計(jì)；ETL開發(fā)規(guī)范與代碼管理。
-
Kettle實(shí)戰(zhàn)應(yīng)用：Kettle（Pentaho Data Integration）介紹與安裝；Spoon界面導(dǎo)航；轉(zhuǎn)換（Transformation）與作業(yè)（Job）的概念；核心組件（輸入/輸出/轉(zhuǎn)換/連接/腳本）；作業(yè)調(diào)度與定時(shí)執(zhí)行；Kettle集群與性能優(yōu)化；Kettle與大數(shù)據(jù)平臺集成。
-
DataX實(shí)戰(zhàn)應(yīng)用：DataX架構(gòu)與原理；DataX安裝與配置；文本文件同步；關(guān)系型數(shù)據(jù)庫同步；異構(gòu)數(shù)據(jù)源同步；性能調(diào)優(yōu)參數(shù)；DataX與調(diào)度系統(tǒng)集成。
-
SSIS實(shí)戰(zhàn)應(yīng)用：SQL Server Integration Services（SSIS）架構(gòu)；控制流任務(wù)詳解（執(zhí)行SQL/文件系統(tǒng)/數(shù)據(jù)流任務(wù)）；數(shù)據(jù)流組件配置（源/轉(zhuǎn)換/目標(biāo)）；變量與表達(dá)式應(yīng)用；包配置與部署策略；錯(cuò)誤處理與事件處理。
-
實(shí)時(shí)ETL與流處理：實(shí)時(shí)ETL的應(yīng)用場景與挑戰(zhàn)；CDC技術(shù)深入（Canal/Debezium/Flink CDC）；Kafka消息隊(duì)列在實(shí)時(shí)ETL中的應(yīng)用；Flink流處理基礎(chǔ)；Flink SQL實(shí)現(xiàn)實(shí)時(shí)ETL；實(shí)時(shí)數(shù)據(jù)質(zhì)量監(jiān)控；實(shí)時(shí)數(shù)據(jù)鏈路血緣追蹤。
-
ETL調(diào)度與運(yùn)維：ETL調(diào)度系統(tǒng)選型（Azkaban/DolphinScheduler/Airflow）；任務(wù)依賴關(guān)系配置；調(diào)度頻率設(shè)計(jì)（分鐘/小時(shí)/日/周）；任務(wù)監(jiān)控與告警機(jī)制；執(zhí)行日志管理；性能瓶頸分析；失敗重跑與數(shù)據(jù)回溯。
-
數(shù)據(jù)質(zhì)量與元數(shù)據(jù)管理：數(shù)據(jù)質(zhì)量監(jiān)控點(diǎn)設(shè)計(jì)；質(zhì)量規(guī)則配置（完整性/準(zhǔn)確性/一致性）；數(shù)據(jù)質(zhì)量報(bào)告生成；元數(shù)據(jù)采集與存儲；數(shù)據(jù)血緣追蹤；影響分析；數(shù)據(jù)鏈路可視化。
-
綜合實(shí)戰(zhàn)：完整ETL項(xiàng)目開發(fā)：以真實(shí)業(yè)務(wù)場景（電商/金融/零售）為背景，完成完整ETL項(xiàng)目全流程：源數(shù)據(jù)分析與抽取策略設(shè)計(jì)→數(shù)據(jù)清洗與轉(zhuǎn)換規(guī)則開發(fā)→緩慢變化維處理→事實(shí)表加載實(shí)現(xiàn)→ETL流程編排與調(diào)度配置→錯(cuò)誤處理與日志記錄→性能優(yōu)化→數(shù)據(jù)質(zhì)量監(jiān)控配置→項(xiàng)目文檔編寫。
如果您想學(xué)習(xí)本課程，請
預(yù)約報(bào)名
如果沒找到合適的課程或有特殊培訓(xùn)需求，請
訂制培訓(xùn)
除培訓(xùn)外，同時(shí)提供相關(guān)技術(shù)咨詢與技術(shù)支持服務(wù)，有需求請發(fā)需求表到郵箱soft@info-soft.cn,或致電4007991916
技術(shù)服務(wù)需求表點(diǎn)擊在線申請
服務(wù)特點(diǎn)：
海量專家資源，精準(zhǔn)匹配相關(guān)行業(yè)，相關(guān)項(xiàng)目專家，針對實(shí)際需求，顧問式咨詢，互動(dòng)式授課，案例教學(xué)，小班授課，實(shí)際項(xiàng)目演示，快捷高效，省時(shí)省力省錢。
專家力量：
中國科學(xué)院軟件研究所，計(jì)算研究所高級研究人員
oracle,微軟，vmware，MSC,Ansys，candence,Altium,達(dá)索等大型公司高級工程師，項(xiàng)目經(jīng)理，技術(shù)支持專家
中科信軟培訓(xùn)中心，資深專家或講師
大多名牌大學(xué)，碩士以上學(xué)歷，相關(guān)技術(shù)專業(yè)，理論素養(yǎng)豐富
多年實(shí)際項(xiàng)目經(jīng)歷，大型項(xiàng)目實(shí)戰(zhàn)案例，熱情，樂于技術(shù)分享
針對客戶實(shí)際需求，案例教學(xué)，互動(dòng)式溝通，學(xué)有所獲
