SQL實戰(zhàn)(數(shù)據(jù)提取與清洗)培訓(xùn)課程大綱
培訓(xùn)對象:
-
數(shù)據(jù)分析師/數(shù)據(jù)運營人員
-
商業(yè)智能(BI)工程師
-
需要從數(shù)據(jù)庫提取數(shù)據(jù)的業(yè)務(wù)人員
-
后端開發(fā)工程師(需補(bǔ)齊數(shù)據(jù)查詢能力)
-
準(zhǔn)備從事數(shù)據(jù)相關(guān)工作的初學(xué)者
培訓(xùn)目標(biāo):
使學(xué)員系統(tǒng)掌握SQL核心語法與查詢邏輯,熟練運用單表查詢、多表關(guān)聯(lián)、子查詢、窗口函數(shù)等提取所需數(shù)據(jù);深入理解數(shù)據(jù)清洗的SQL實現(xiàn)方法,包括空值處理、重復(fù)值剔除、異常值過濾、格式規(guī)范化等;能夠編寫高效的查詢語句,具備從復(fù)雜數(shù)據(jù)結(jié)構(gòu)中提取并清洗數(shù)據(jù)的實戰(zhàn)能力,為后續(xù)數(shù)據(jù)分析與建模工作打下堅實基礎(chǔ)。
培訓(xùn)內(nèi)容介紹:
-
SQL基礎(chǔ)與數(shù)據(jù)庫環(huán)境搭建
關(guān)系型數(shù)據(jù)庫核心概念(表/行/列/主鍵/外鍵);SQL語言分類(DDL/DML/DQL/DCL);主流數(shù)據(jù)庫介紹(MySQL/PostgreSQL/SQL Server/Oracle);數(shù)據(jù)庫連接工具使用(Navicat/DBeaver/DataGrip);SQL開發(fā)環(huán)境配置;第一個查詢語句:SELECT * FROM table。
-
SELECT查詢基礎(chǔ)
SELECT語法結(jié)構(gòu);列的選擇與別名(AS);常數(shù)字段與計算字段;DISTINCT去重查詢;LIMIT限制返回行數(shù);ORDER BY排序(升序/降序/多字段排序);注釋的使用。
-
WHERE條件過濾
WHERE子句語法;比較運算符(=, !=, <>, >, <, >=, <=);邏輯運算符(AND/OR/NOT);IN與NOT IN;BETWEEN范圍查詢;LIKE模糊匹配與通配符(%/_);NULL值判斷(IS NULL/IS NOT NULL);條件組合與優(yōu)先級。
-
函數(shù)應(yīng)用
字符串函數(shù):CONCAT/SUBSTRING/REPLACE/UPPER/LOWER/LENGTH/TRIM;數(shù)值函數(shù):ROUND/CEIL/FLOOR/ABS/MOD;日期函數(shù):NOW/CURDATE/DATE_FORMAT/DATEDIFF/DATE_ADD/EXTRACT;轉(zhuǎn)換函數(shù):CAST/CONVERT;條件函數(shù):CASE WHEN THEN ELSE END;IFNULL/COALESCE空值處理。
-
分組聚合查詢
聚合函數(shù):COUNT/SUM/AVG/MAX/MIN;GROUP BY分組語法;HAVING分組后過濾(與WHERE區(qū)別);多字段分組;分組后的排序;ROLLUP與CUBE簡介;聚合查詢常見應(yīng)用場景。
-
多表連接查詢
連接類型:INNER JOIN內(nèi)連接、LEFT JOIN左連接、RIGHT JOIN右連接、FULL JOIN全連接;連接條件ON與WHERE區(qū)別;自連接應(yīng)用;多表連接順序與性能;連接查詢與子查詢對比;多表連接實戰(zhàn)案例。
-
子查詢進(jìn)階
子查詢概念與分類;標(biāo)量子查詢(返回單值);列子查詢(IN/ANY/ALL);行子查詢;表子查詢(派生表);相關(guān)子查詢與EXISTS/NOT EXISTS;子查詢在SELECT/FROM/WHERE/Having中的應(yīng)用;子查詢性能考量。
-
集合操作
UNION與UNION ALL(并集);INTERSECT交集;EXCEPT/MINUS差集;集合操作注意事項(列數(shù)/數(shù)據(jù)類型/排序);集合操作與連接查詢對比。
-
窗口函數(shù)
窗口函數(shù)概念與語法;ROW_NUMBER()行號;RANK()與DENSE_RANK()排名;LEAD/LAG前后行訪問;FIRST_VALUE/LAST_VALUE首尾值;SUM/AVG等聚合窗口函數(shù);分區(qū)與排序組合;窗口函數(shù)與GROUP BY對比;滑動窗口計算。
-
數(shù)據(jù)清洗核心技能(上)
空值處理:NULL識別、填充默認(rèn)值(COALESCE/IFNULL)、刪除空值行;重復(fù)值處理:重復(fù)記錄識別(GROUP BY+COUNT)、刪除重復(fù)保留一條(ROW_NUMBER窗口函數(shù));數(shù)據(jù)類型轉(zhuǎn)換:CAST/CONVERT確保類型一致;文本清洗:去除空格、大小寫轉(zhuǎn)換、替換非法字符。
-
數(shù)據(jù)清洗核心技能(下)
異常值過濾:基于統(tǒng)計規(guī)則(超出N倍標(biāo)準(zhǔn)差)、基于業(yè)務(wù)規(guī)則(年齡>100/金額<0);格式規(guī)范化:日期格式統(tǒng)一(DATE_FORMAT)、電話號碼/身份證號格式化;數(shù)據(jù)一致性校驗:關(guān)聯(lián)字段匹配、外鍵約束檢查;多表數(shù)據(jù)對齊:維度表與事實表關(guān)聯(lián)補(bǔ)全。
-
復(fù)雜數(shù)據(jù)提取實戰(zhàn)
分頁查詢優(yōu)化(LIMIT OFFSET性能問題與解決方案);隨機(jī)抽樣(ORDER BY RAND()性能問題與替代方案);分組取TOP N(窗口函數(shù)實現(xiàn));累計計算(滾動總和/平均值);同比環(huán)比計算(LAG窗口函數(shù));行列轉(zhuǎn)換(CASE WHEN條件聚合)。
-
查詢性能優(yōu)化基礎(chǔ)
EXPLAIN執(zhí)行計劃解讀;索引類型與使用場景(主鍵索引/唯一索引/普通索引/組合索引);索引設(shè)計原則;避免索引失效的查詢寫法;查詢重寫優(yōu)化;大數(shù)據(jù)量查詢優(yōu)化策略;慢查詢?nèi)罩痉治觥?/span>
-
視圖與臨時表
視圖概念與作用;創(chuàng)建與管理視圖;視圖的更新限制;臨時表使用場景;WITH子句(公用表表達(dá)式CTE);遞歸CTE基礎(chǔ);視圖與臨時表對比。
-
存儲過程與函數(shù)基礎(chǔ)
存儲過程概念與語法;變量定義與賦值;參數(shù)傳遞(IN/OUT/INOUT);流程控制(IF/CASE/LOOP/WHILE);游標(biāo)使用;自定義函數(shù)創(chuàng)建;存儲過程與函數(shù)應(yīng)用場景。
-
實戰(zhàn)案例一:電商訂單數(shù)據(jù)提取與分析
背景:電商平臺訂單數(shù)據(jù)提取。任務(wù):查詢特定時間段內(nèi)訂單(WHERE日期過濾)→按商品類目統(tǒng)計銷售額(GROUP BY+SUM)→計算各品類銷售額占比(窗口函數(shù))→提取每個用戶最近一筆訂單(ROW_NUMBER窗口函數(shù))→關(guān)聯(lián)用戶表補(bǔ)充用戶維度信息→輸出結(jié)果報表。
-
實戰(zhàn)案例二:用戶行為日志清洗
背景:APP用戶行為日志數(shù)據(jù)清洗。任務(wù):去除測試用戶數(shù)據(jù)(WHERE過濾)→處理空值字段(COALESCE填充)→剔除異常行為數(shù)據(jù)(頁面停留時間>1小時視為異常)→統(tǒng)一時間戳格式(FROM_UNIXTIME)→用戶行為路徑拼接(GROUP_CONCAT)→生成清洗后的行為寬表。
-
實戰(zhàn)案例三:會員數(shù)據(jù)質(zhì)量治理
背景:會員系統(tǒng)數(shù)據(jù)質(zhì)量問題治理。任務(wù):識別重復(fù)會員(GROUP BY+COUNT)→合并重復(fù)記錄保留最新信息(窗口函數(shù)排序)→檢查身份證號格式規(guī)范(正則表達(dá)式)→補(bǔ)全缺失的會員等級信息(CASE WHEN邏輯)→核對會員積分與消費記錄一致性(關(guān)聯(lián)校驗)→輸出數(shù)據(jù)質(zhì)量報告。
-
實戰(zhàn)案例四:銷售報表自動化提取
背景:月度銷售報表自動化。任務(wù):創(chuàng)建視圖封裝核心指標(biāo)計算邏輯→月度銷售額與環(huán)比計算(窗口函數(shù)LAG)→各區(qū)域銷售排名(RANK)→Top10商品提。ㄗ硬樵儯→多表關(guān)聯(lián)生成完整報表數(shù)據(jù)→導(dǎo)出為CSV格式。
-
課程總結(jié)與進(jìn)階路徑
SQL核心技能回顧;常見SQL面試題解析;SQL學(xué)習(xí)資源推薦;后續(xù)進(jìn)階方向(數(shù)據(jù)庫設(shè)計/性能優(yōu)化/大數(shù)據(jù)SQL/NoSQL);SQL在實際工作中的持續(xù)應(yīng)用。
如果您想學(xué)習(xí)本課程,請
預(yù)約報名
如果沒找到合適的課程或有特殊培訓(xùn)需求,請
訂制培訓(xùn)
除培訓(xùn)外,同時提供相關(guān)技術(shù)咨詢與技術(shù)支持服務(wù),有需求請發(fā)需求表到郵箱soft@info-soft.cn,或致電4007991916
技術(shù)服務(wù)需求表點擊在線申請
服務(wù)特點:
海量專家資源,精準(zhǔn)匹配相關(guān)行業(yè),相關(guān)項目專家,針對實際需求,顧問式咨詢,互動式授課,案例教學(xué),小班授課,實際項目演示,快捷高效,省時省力省錢。
專家力量:
中國科學(xué)院軟件研究所,計算研究所高級研究人員
oracle,微軟,vmware,MSC,Ansys,candence,Altium,達(dá)索等大型公司高級工程師,項目經(jīng)理,技術(shù)支持專家
中科信軟培訓(xùn)中心,資深專家或講師
大多名牌大學(xué),碩士以上學(xué)歷,相關(guān)技術(shù)專業(yè),理論素養(yǎng)豐富
多年實際項目經(jīng)歷,大型項目實戰(zhàn)案例,熱情,樂于技術(shù)分享
針對客戶實際需求,案例教學(xué),互動式溝通,學(xué)有所獲