Storm實(shí)時(shí)流處理：Topology設(shè)計(jì)與優(yōu)化培訓(xùn)課程
-
-
培訓(xùn)對(duì)象： 實(shí)時(shí)計(jì)算工程師、流處理開(kāi)發(fā)者、大數(shù)據(jù)平臺(tái)運(yùn)維人員。
-
-
培訓(xùn)目標(biāo)：
-
理解Storm的流處理架構(gòu)和核心組件。
-
掌握Topology的設(shè)計(jì)和開(kāi)發(fā)方法。
-
熟練使用Spout和Bolt處理數(shù)據(jù)流。
-
具備Storm集群部署和性能調(diào)優(yōu)能力。
-
-
培訓(xùn)內(nèi)容介紹：
-
一、 Storm架構(gòu)與核心概念： 了解Nimbus、Supervisor、ZooKeeper的角色，理解Worker、Executor、Task的關(guān)系。
二、 Topology開(kāi)發(fā)基礎(chǔ)： 創(chuàng)建Topology，定義Spout數(shù)據(jù)源和Bolt處理邏輯，配置流分組（Stream Grouping）。
三、 Spout實(shí)現(xiàn)： 編寫(xiě)可靠和不可靠的Spout，從Kafka、消息隊(duì)列等數(shù)據(jù)源消費(fèi)數(shù)據(jù)。
四、 Bolt處理邏輯： 實(shí)現(xiàn)過(guò)濾、轉(zhuǎn)換、聚合等操作，發(fā)送數(shù)據(jù)到下一個(gè)Bolt或存儲(chǔ)系統(tǒng)。
五、 流分組策略： 對(duì)比Shuffle Grouping、Fields Grouping、All Grouping、Global Grouping的適用場(chǎng)景。
六、 事務(wù)Topology： 實(shí)現(xiàn)Exactly-Once語(yǔ)義處理，使用Transactional Topology保證數(shù)據(jù)不重不丟。
七、 Trident高級(jí)抽象： 使用Trident API簡(jiǎn)化開(kāi)發(fā)，實(shí)現(xiàn)狀態(tài)管理和Exactly-Once語(yǔ)義。
八、 Storm與Kafka集成： 使用KafkaSpout消費(fèi)Kafka數(shù)據(jù)，配置偏移量管理和重放機(jī)制。
九、 DRPC遠(yuǎn)程調(diào)用： 實(shí)現(xiàn)Distributed RPC，支持低延遲的在線查詢(xún)和計(jì)算。
十、 集群部署與監(jiān)控： 部署Storm集群，配置UI界面監(jiān)控Topology運(yùn)行狀態(tài)，查看錯(cuò)誤日志。
十一、 性能優(yōu)化與調(diào)優(yōu)： 調(diào)整并行度、緩沖區(qū)大小，優(yōu)化序列化方式，解決處理瓶頸。
十二、 實(shí)戰(zhàn)項(xiàng)目：實(shí)時(shí)ETL與告警： 開(kāi)發(fā)Storm Topology處理實(shí)時(shí)日志流，進(jìn)行清洗過(guò)濾，實(shí)時(shí)計(jì)算規(guī)則并觸發(fā)告警。
如果您想學(xué)習(xí)本課程，請(qǐng)
預(yù)約報(bào)名
如果沒(méi)找到合適的課程或有特殊培訓(xùn)需求，請(qǐng)
訂制培訓(xùn)
除培訓(xùn)外，同時(shí)提供相關(guān)技術(shù)咨詢(xún)與技術(shù)支持服務(wù)，有需求請(qǐng)發(fā)需求表到郵箱soft@info-soft.cn,或致電4007991916
技術(shù)服務(wù)需求表點(diǎn)擊在線申請(qǐng)
服務(wù)特點(diǎn)：
海量專(zhuān)家資源，精準(zhǔn)匹配相關(guān)行業(yè)，相關(guān)項(xiàng)目專(zhuān)家，針對(duì)實(shí)際需求，顧問(wèn)式咨詢(xún)，互動(dòng)式授課，案例教學(xué)，小班授課，實(shí)際項(xiàng)目演示，快捷高效，省時(shí)省力省錢(qián)。
專(zhuān)家力量：
中國(guó)科學(xué)院軟件研究所，計(jì)算研究所高級(jí)研究人員
oracle,微軟，vmware，MSC,Ansys，candence,Altium,達(dá)索等大型公司高級(jí)工程師，項(xiàng)目經(jīng)理，技術(shù)支持專(zhuān)家
中科信軟培訓(xùn)中心，資深專(zhuān)家或講師
大多名牌大學(xué)，碩士以上學(xué)歷，相關(guān)技術(shù)專(zhuān)業(yè)，理論素養(yǎng)豐富
多年實(shí)際項(xiàng)目經(jīng)歷，大型項(xiàng)目實(shí)戰(zhàn)案例，熱情，樂(lè)于技術(shù)分享
針對(duì)客戶(hù)實(shí)際需求，案例教學(xué)，互動(dòng)式溝通，學(xué)有所獲
