大模型微調(diào)：LLaMA/GLM/通義千問實戰(zhàn)培訓課程
-
-
培訓對象： AI算法工程師、大模型應用開發(fā)者、NLP從業(yè)者、希望定制私有大模型的技術人員。
-
-
培訓目標：
-
理解大模型微調(diào)的原理和方法（全量微調(diào)/LoRA/P-Tuning）。
-
掌握主流大模型（LLaMA、ChatGLM、通義千問）的本地部署。
-
能夠使用微調(diào)框架（LLaMA-Factory、Firefly）進行指令微調(diào)。
-
具備微調(diào)數(shù)據(jù)準備和模型評估能力。
-
-
培訓內(nèi)容介紹：
-
一、 大模型基礎與微調(diào)概念： 了解預訓練大模型的發(fā)展歷程，理解微調(diào)（Fine-tuning）與上下文學習的區(qū)別。
二、 參數(shù)高效微調(diào)技術： 深入LoRA、Adapter、P-Tuning、Prefix Tuning的原理，對比參數(shù)量和效果。
三、 LLaMA系列模型介紹與部署： 了解LLaMA、Llama 2、Llama 3的模型特點，使用Transformers庫加載和推理。
四、 ChatGLM系列模型介紹與部署： 掌握ChatGLM2/3/4的模型結(jié)構，本地部署GLM模型并調(diào)用API。
五、 通義千問模型介紹與部署： 了解通義千問系列（Qwen）的特點，使用ModelScope或HuggingFace加載模型。
六、 微調(diào)數(shù)據(jù)準備與格式轉(zhuǎn)換： 收集和清洗微調(diào)數(shù)據(jù)，轉(zhuǎn)換為指令微調(diào)格式（Alpaca、ShareGPT），處理多輪對話。
七、 LLaMA-Factory微調(diào)框架： 使用LLaMA-Factory統(tǒng)一管理模型和數(shù)據(jù)，配置LoRA微調(diào)參數(shù)，啟動訓練。
八、 Firefly微調(diào)框架實戰(zhàn)： 使用Firefly進行流式微調(diào)，支持多輪對話和工具調(diào)用數(shù)據(jù)的處理。
九、 微調(diào)過程監(jiān)控與調(diào)試： 監(jiān)控訓練損失變化，調(diào)整學習率和批次大小，處理過擬合和災難性遺忘。
十、 模型合并與導出： 將LoRA權重合并到基礎模型，導出為HuggingFace格式或GGUF格式供量化部署。
十一、 微調(diào)效果評估： 使用客觀指標（困惑度）和主觀評估（人工評測）對比微調(diào)前后的效果。
十二、 實戰(zhàn)項目：領域大模型微調(diào)： 針對特定領域（法律、醫(yī)療、金融）準備數(shù)據(jù)，微調(diào)大模型并部署測試。
如果您想學習本課程，請
預約報名
如果沒找到合適的課程或有特殊培訓需求，請
訂制培訓
除培訓外，同時提供相關技術咨詢與技術支持服務，有需求請發(fā)需求表到郵箱soft@info-soft.cn,或致電4007991916
技術服務需求表點擊在線申請
服務特點：
海量專家資源，精準匹配相關行業(yè)，相關項目專家，針對實際需求，顧問式咨詢，互動式授課，案例教學，小班授課，實際項目演示，快捷高效，省時省力省錢。
專家力量：
中國科學院軟件研究所，計算研究所高級研究人員
oracle,微軟，vmware，MSC,Ansys，candence,Altium,達索等大型公司高級工程師，項目經(jīng)理，技術支持專家
中科信軟培訓中心，資深專家或講師
大多名牌大學，碩士以上學歷，相關技術專業(yè)，理論素養(yǎng)豐富
多年實際項目經(jīng)歷，大型項目實戰(zhàn)案例，熱情，樂于技術分享
針對客戶實際需求，案例教學，互動式溝通，學有所獲
