美女国产精品,香蕉人妻AV在线看,日韩1区手机在线观看,日本精品二区,在线伊人青青国产,国产激情四射夜夜,91人妻福利久久视频,日韩精品亚洲香蕉,在线99第一页

課程培訓(xùn)
Flink 實時計算培訓(xùn)課程

Flink 實時計算培訓(xùn)課程

 

培訓(xùn)對象

  • 具有 Java/Scala 基礎(chǔ)的開發(fā)工程師

  • 實時計算平臺研發(fā)人員

  • 大數(shù)據(jù)架構(gòu)師

  • 希望從批處理轉(zhuǎn)向流處理的技術(shù)人員

 

培訓(xùn)目標(biāo)
使學(xué)員深入掌握 Flink 流式計算框架的核心原理與實戰(zhàn)技巧,理解狀態(tài)管理、容錯機(jī)制、時間語義等高級特性,能夠獨立設(shè)計開發(fā)高吞吐、低延遲、 Exactly-Once 語義的實時計算應(yīng)用,解決企業(yè)級實時數(shù)倉、實時風(fēng)控、實時大屏等場景中的實際問題。

 

培訓(xùn)內(nèi)容介紹

  1. 實時計算技術(shù)選型與 Flink 架構(gòu)深度解析
    剖析 Storm、Spark Streaming、Flink 的技術(shù)演進(jìn)與選型對比;詳解 Flink 四層架構(gòu)(Deploy/ Core/ API/ Libraries)、JobManager-TaskManager 通信機(jī)制、任務(wù)調(diào)度與數(shù)據(jù)流圖執(zhí)行原理。

  2. DataStream API 核心算子與業(yè)務(wù)邏輯開發(fā)
    掌握 map/flatmap/filter/keyby 等基礎(chǔ)算子;深入講解 connect、coGroup、intervalJoin 等雙流連接算子;實現(xiàn)自定義函數(shù)(RichFunction)與側(cè)輸出流(Side Output)在復(fù)雜業(yè)務(wù)中的應(yīng)用。

  3. 時間語義與 Watermark 機(jī)制在亂序數(shù)據(jù)中的應(yīng)用
    詳解 EventTime/ProcessingTime/IngestionTime 的適用場景;Watermark 生成策略(周期性/標(biāo)記性)、傳播機(jī)制;結(jié)合真實業(yè)務(wù)處理亂序、遲到數(shù)據(jù)(Allowed Lateness)與窗口二次觸發(fā)。

  4. 窗口計算全解析
    深入講解滾動窗口(Tumbling)、滑動窗口(Sliding)、會話窗口(Session)的觸發(fā)機(jī)制;窗口函數(shù)選擇策略(增量聚合 vs 全量聚合);自定義窗口(GlobalWindow)在特殊業(yè)務(wù)場景下的實現(xiàn)。

  5. 狀態(tài)后端與狀態(tài)一致性保證
    詳解 Keyed State 與 Operator State 的區(qū)別與應(yīng)用場景;對比 Memory/Fs/RocksDB 三種狀態(tài)后端;深入剖析 Checkpoint 與 Savepoint 機(jī)制,實現(xiàn) Exactly-Once 語義的端到端一致性(Source-Flink-Sink)。

  6. Flink SQL 與 Table API 在實時數(shù)倉中的應(yīng)用
    學(xué)習(xí)動態(tài)表(Dynamic Table)與連續(xù)查詢(Continuous Query)原理;使用 Flink SQL 實現(xiàn)實時 ETL、分組聚合、窗口計算;維表關(guān)聯(lián)(Async I/O)與 Upsert 輸出流的實際應(yīng)用。

  7. Flink CDC 實時數(shù)據(jù)同步技術(shù)
    基于 Flink CDC 2.0/3.0 捕獲 MySQL/PostgreSQL 數(shù)據(jù)庫增量日志;實現(xiàn)異構(gòu)數(shù)據(jù)源實時同步;構(gòu)建實時數(shù)倉 ODS 層,打通業(yè)務(wù)庫與消息隊列的實時通道。

  8. 復(fù)雜事件處理(CEP)與風(fēng)控規(guī)則引擎
    掌握 Pattern API 定義事件模式(嚴(yán)格近鄰/寬松近鄰/非確定近鄰);實現(xiàn)超時檢測、循環(huán)模式與組合模式;基于 CEP 構(gòu)建實時風(fēng)控規(guī)則引擎,識別用戶異常行為序列。

  9. Flink 與消息隊列的深度集成
    詳解 Kafka Source/Sink 的參數(shù)配置與語義保證;實現(xiàn) Kafka 分區(qū)與 Flink 并行度的智能映射;處理 Kafka 消息膨脹、Rebalance 帶來的數(shù)據(jù)傾斜問題;基于 Pulsar/RocketMQ 的集成方案對比。

  10. Flink 作業(yè)性能調(diào)優(yōu)與問題診斷
    剖析反壓(Back Pressure)的產(chǎn)生原因與定位方法;Checkpoint 超時/失敗調(diào)優(yōu)策略;State 數(shù)據(jù)傾斜解決方案;TaskManager 內(nèi)存模型與 GC 調(diào)優(yōu);使用 Flink Web UI 與 Metrics 系統(tǒng)監(jiān)控作業(yè)健康度。

  11. 生產(chǎn)環(huán)境下的 Flink 部署與運維
    基于 YARN/Kubernetes 的 Flink 作業(yè)提交模式對比;資源隔離與動態(tài)資源分配配置;作業(yè)升級與狀態(tài)遷移(Savepoint 的使用);高可用配置與故障恢復(fù)策略。

  12. 綜合實戰(zhàn):實時風(fēng)控與實時大屏雙項目
    項目一:構(gòu)建實時交易風(fēng)控系統(tǒng),從 Kafka 讀取支付流水,結(jié)合 CEP 規(guī)則引擎識別盜刷行為,實時阻斷高風(fēng)險交易并輸出告警。項目二:開發(fā)電商實時大屏,使用 Flink SQL 計算實時 GMV、UV、熱門商品 TopN,利用窗口實現(xiàn)滑動趨勢分析,結(jié)果輸出至 Redis 并通過 WebSocket 推送至前端展示。





如果您想學(xué)習(xí)本課程,請預(yù)約報名
如果沒找到合適的課程或有特殊培訓(xùn)需求,請訂制培訓(xùn)
除培訓(xùn)外,同時提供相關(guān)技術(shù)咨詢與技術(shù)支持服務(wù),有需求請發(fā)需求表到郵箱soft@info-soft.cn,或致電4007991916
技術(shù)服務(wù)需求表點擊在線申請

服務(wù)特點:
海量專家資源,精準(zhǔn)匹配相關(guān)行業(yè),相關(guān)項目專家,針對實際需求,顧問式咨詢,互動式授課,案例教學(xué),小班授課,實際項目演示,快捷高效,省時省力省錢。

專家力量:
中國科學(xué)院軟件研究所,計算研究所高級研究人員
oracle,微軟,vmware,MSC,Ansys,candence,Altium,達(dá)索等大型公司高級工程師,項目經(jīng)理,技術(shù)支持專家
中科信軟培訓(xùn)中心,資深專家或講師
大多名牌大學(xué),碩士以上學(xué)歷,相關(guān)技術(shù)專業(yè),理論素養(yǎng)豐富
多年實際項目經(jīng)歷,大型項目實戰(zhàn)案例,熱情,樂于技術(shù)分享
針對客戶實際需求,案例教學(xué),互動式溝通,學(xué)有所獲
聯(lián)系我們 更多>>

咨詢電話010-62883247

                4007991916

咨詢郵箱:soft@info-soft.cn  

 

  微信咨詢

隨時聽講課

聚焦技術(shù)實踐

訂制培訓(xùn) 更多>>
保德县| 霍邱县| 郓城县| 岳普湖县| 阿克苏市| 若尔盖县| 六盘水市| 香河县| 永安市| 黎城县| 肃南| 普兰县| 陆川县| 沙雅县| 泰安市| 仁化县| 榆社县| 千阳县| 太谷县| 闽清县| 沾益县| 高安市| 灵山县| 漾濞| 霍林郭勒市| 嫩江县| 永嘉县| 铜鼓县| 张家界市| 老河口市| 和静县| 陇西县| 麻阳| 关岭| 临汾市| 昭觉县| 磐安县| 兴仁县| 宁波市| 定安县| 手游|