大模型微調培訓課程—— 專項技術深造

 

一、培訓對象

已有基礎微調經驗、希望深入掌握微調前沿技術與優(yōu)化方法的算法工程師、研究員

 

二、培訓目標

1. 深入理解微調的理論邊界與前沿進展

2. 掌握RLHF、DPO、KTO等對齊技術的原理與實現

3. 具備解決微調中的災難性遺忘、數據稀缺、評估困難等核心難題的能力

4. 能夠設計并實施大規(guī)模微調實驗，進行技術創(chuàng)新與優(yōu)化

 

三、培訓內容

1. 微調理論基礎與前沿綜述

• 微調的理論視角：模型編輯、知識注入、表征空間對齊

• 微調 vs. 上下文學習（ICL）的邊界與融合

• 2024-2026年微調領域重要論文解讀

2. 參數高效微調（PEFT）深度解析

• LoRA的數學原理與變體（DoRA、LoRA+、VeRA）

• Adapter、Prefix Tuning、P-Tuning v2的機制對比

• PEFT組合策略：多任務微調與混合適配器

3. RLHF 全流程實現

• 獎勵模型（Reward Model）的訓練：數據標注、模型架構、訓練技巧

• 強化學習算法（PPO）在大模型微調中的實現

• RLHF的挑戰(zhàn)：穩(wěn)定性、復現性、獎勵 hacking

4. DPO 與替代對齊技術

• DPO（直接偏好優(yōu)化）的數學原理與代碼實現

• IPO、KTO、ORPO等對齊算法的對比與選型

• 偏好數據的構建策略與質量評估

5. 災難性遺忘的機制與緩解

• 災難性遺忘的度量方法

• 正則化方法：EWC、L2、彈性權重固化

• 重放機制與數據配比優(yōu)化策略

• 連續(xù)學習與增量微調的實踐方案

6. 少樣本微調與數據增強

• 少樣本場景下的微調策略

• 數據增強技術：回譯、指令擴寫、對抗生成

• 元學習與遷移學習在微調中的應用

7. 多模態(tài)大模型微調

• 視覺-語言模型（VLM）的微調架構（LLaVA、Qwen-VL）

• 多模態(tài)數據格式與對齊策略

• 圖文理解、視覺定位任務的微調實踐

8. 長文本模型微調技術

• 長文本模型架構（RoPE擴展、NTK、YaRN）

• 長文本微調的數據構造與位置編碼調整

• 長上下文微調的訓練效率優(yōu)化

9. 微調中的可解釋性與調試

• 模型內部表征的可視化與探針分析

• 微調過程中模型行為的歸因分析

• 調試技巧：梯度分析、激活異常檢測

10. 微調評估的高級方法

• 細粒度評估：知識能力、推理能力、安全性的分離評估

• 對抗性評估與魯棒性測試

• 基于信息論的評估指標：互信息、不確定性量化

11. 大規(guī)模微調工程優(yōu)化

• 千億級模型的微調策略（模型并行、流水線并行）

• 顯存優(yōu)化技術：梯度檢查點、激活重計算、ZeRO-Offload

• 訓練穩(wěn)定性問題與解決方案（Loss尖峰、梯度爆炸）

12. 微調前沿探索與創(chuàng)新實踐

• 模型合并與模型插值（Model Merging、Model Soup）

• 輕量級微調與邊緣端部署

• 微調與檢索、工具調用的深度融合趨勢

如果您想學習本課程，請預約報名
如果沒找到合適的課程或有特殊培訓需求，請訂制培訓
除培訓外，同時提供相關技術咨詢與技術支持服務，有需求請發(fā)需求表到郵箱soft@info-soft.cn,或致電4007991916
技術服務需求表點擊在線申請

服務特點：
海量專家資源，精準匹配相關行業(yè)，相關項目專家，針對實際需求，顧問式咨詢，互動式授課，案例教學，小班授課，實際項目演示，快捷高效，省時省力省錢。

專家力量：
中國科學院軟件研究所，計算研究所高級研究人員
oracle,微軟，vmware，MSC,Ansys，candence,Altium,達索等大型公司高級工程師，項目經理，技術支持專家
中科信軟培訓中心，資深專家或講師
大多名牌大學，碩士以上學歷，相關技術專業(yè)，理論素養(yǎng)豐富
多年實際項目經歷，大型項目實戰(zhàn)案例，熱情，樂于技術分享
針對客戶實際需求，案例教學，互動式溝通，學有所獲

 點擊進入報名表

咨詢電話：010-62883247

                4007991916

咨詢郵箱：soft@info-soft.cn  

 

微信咨詢 隨時聽講課 聚焦技術實踐