Flink 實時計算培訓(xùn)課程
培訓(xùn)對象:
培訓(xùn)目標(biāo):
使學(xué)員深入掌握 Flink 流式計算框架的核心原理與實戰(zhàn)技巧,理解狀態(tài)管理、容錯機(jī)制、時間語義等高級特性,能夠獨立設(shè)計開發(fā)高吞吐、低延遲、 Exactly-Once 語義的實時計算應(yīng)用,解決企業(yè)級實時數(shù)倉、實時風(fēng)控、實時大屏等場景中的實際問題。
培訓(xùn)內(nèi)容介紹:
-
實時計算技術(shù)選型與 Flink 架構(gòu)深度解析
剖析 Storm、Spark Streaming、Flink 的技術(shù)演進(jìn)與選型對比;詳解 Flink 四層架構(gòu)(Deploy/ Core/ API/ Libraries)、JobManager-TaskManager 通信機(jī)制、任務(wù)調(diào)度與數(shù)據(jù)流圖執(zhí)行原理。
-
DataStream API 核心算子與業(yè)務(wù)邏輯開發(fā)
掌握 map/flatmap/filter/keyby 等基礎(chǔ)算子;深入講解 connect、coGroup、intervalJoin 等雙流連接算子;實現(xiàn)自定義函數(shù)(RichFunction)與側(cè)輸出流(Side Output)在復(fù)雜業(yè)務(wù)中的應(yīng)用。
-
時間語義與 Watermark 機(jī)制在亂序數(shù)據(jù)中的應(yīng)用
詳解 EventTime/ProcessingTime/IngestionTime 的適用場景;Watermark 生成策略(周期性/標(biāo)記性)、傳播機(jī)制;結(jié)合真實業(yè)務(wù)處理亂序、遲到數(shù)據(jù)(Allowed Lateness)與窗口二次觸發(fā)。
-
窗口計算全解析
深入講解滾動窗口(Tumbling)、滑動窗口(Sliding)、會話窗口(Session)的觸發(fā)機(jī)制;窗口函數(shù)選擇策略(增量聚合 vs 全量聚合);自定義窗口(GlobalWindow)在特殊業(yè)務(wù)場景下的實現(xiàn)。
-
狀態(tài)后端與狀態(tài)一致性保證
詳解 Keyed State 與 Operator State 的區(qū)別與應(yīng)用場景;對比 Memory/Fs/RocksDB 三種狀態(tài)后端;深入剖析 Checkpoint 與 Savepoint 機(jī)制,實現(xiàn) Exactly-Once 語義的端到端一致性(Source-Flink-Sink)。
-
Flink SQL 與 Table API 在實時數(shù)倉中的應(yīng)用
學(xué)習(xí)動態(tài)表(Dynamic Table)與連續(xù)查詢(Continuous Query)原理;使用 Flink SQL 實現(xiàn)實時 ETL、分組聚合、窗口計算;維表關(guān)聯(lián)(Async I/O)與 Upsert 輸出流的實際應(yīng)用。
-
Flink CDC 實時數(shù)據(jù)同步技術(shù)
基于 Flink CDC 2.0/3.0 捕獲 MySQL/PostgreSQL 數(shù)據(jù)庫增量日志;實現(xiàn)異構(gòu)數(shù)據(jù)源實時同步;構(gòu)建實時數(shù)倉 ODS 層,打通業(yè)務(wù)庫與消息隊列的實時通道。
-
復(fù)雜事件處理(CEP)與風(fēng)控規(guī)則引擎
掌握 Pattern API 定義事件模式(嚴(yán)格近鄰/寬松近鄰/非確定近鄰);實現(xiàn)超時檢測、循環(huán)模式與組合模式;基于 CEP 構(gòu)建實時風(fēng)控規(guī)則引擎,識別用戶異常行為序列。
-
Flink 與消息隊列的深度集成
詳解 Kafka Source/Sink 的參數(shù)配置與語義保證;實現(xiàn) Kafka 分區(qū)與 Flink 并行度的智能映射;處理 Kafka 消息膨脹、Rebalance 帶來的數(shù)據(jù)傾斜問題;基于 Pulsar/RocketMQ 的集成方案對比。
-
Flink 作業(yè)性能調(diào)優(yōu)與問題診斷
剖析反壓(Back Pressure)的產(chǎn)生原因與定位方法;Checkpoint 超時/失敗調(diào)優(yōu)策略;State 數(shù)據(jù)傾斜解決方案;TaskManager 內(nèi)存模型與 GC 調(diào)優(yōu);使用 Flink Web UI 與 Metrics 系統(tǒng)監(jiān)控作業(yè)健康度。
-
生產(chǎn)環(huán)境下的 Flink 部署與運維
基于 YARN/Kubernetes 的 Flink 作業(yè)提交模式對比;資源隔離與動態(tài)資源分配配置;作業(yè)升級與狀態(tài)遷移(Savepoint 的使用);高可用配置與故障恢復(fù)策略。
-
綜合實戰(zhàn):實時風(fēng)控與實時大屏雙項目
項目一:構(gòu)建實時交易風(fēng)控系統(tǒng),從 Kafka 讀取支付流水,結(jié)合 CEP 規(guī)則引擎識別盜刷行為,實時阻斷高風(fēng)險交易并輸出告警。項目二:開發(fā)電商實時大屏,使用 Flink SQL 計算實時 GMV、UV、熱門商品 TopN,利用窗口實現(xiàn)滑動趨勢分析,結(jié)果輸出至 Redis 并通過 WebSocket 推送至前端展示。
如果您想學(xué)習(xí)本課程,請
預(yù)約報名
如果沒找到合適的課程或有特殊培訓(xùn)需求,請
訂制培訓(xùn)
除培訓(xùn)外,同時提供相關(guān)技術(shù)咨詢與技術(shù)支持服務(wù),有需求請發(fā)需求表到郵箱soft@info-soft.cn,或致電4007991916
技術(shù)服務(wù)需求表點擊在線申請
服務(wù)特點:
海量專家資源,精準(zhǔn)匹配相關(guān)行業(yè),相關(guān)項目專家,針對實際需求,顧問式咨詢,互動式授課,案例教學(xué),小班授課,實際項目演示,快捷高效,省時省力省錢。
專家力量:
中國科學(xué)院軟件研究所,計算研究所高級研究人員
oracle,微軟,vmware,MSC,Ansys,candence,Altium,達(dá)索等大型公司高級工程師,項目經(jīng)理,技術(shù)支持專家
中科信軟培訓(xùn)中心,資深專家或講師
大多名牌大學(xué),碩士以上學(xué)歷,相關(guān)技術(shù)專業(yè),理論素養(yǎng)豐富
多年實際項目經(jīng)歷,大型項目實戰(zhàn)案例,熱情,樂于技術(shù)分享
針對客戶實際需求,案例教學(xué),互動式溝通,學(xué)有所獲