-
-
培訓對象：
-
適合具備Python編程基礎、熟悉Linux操作系統(tǒng)，了解深度學習基本概念，希望系統(tǒng)掌握大模型本地化部署、微調訓練與RAG應用開發(fā)的算法工程師、AI應用開發(fā)者、IT架構師及企業(yè)技術負責人。
-
-
培訓目標：
-
完成本課程后，學員將能夠深入理解大模型本地化部署的技術架構與硬件選型策略，熟練掌握Ollama、vLLM、LlamaFactory等主流部署與微調工具的使用，掌握LoRA、QLoRA等參數高效微調技術的實戰(zhàn)方法，具備從零構建企業(yè)級RAG系統(tǒng)的完整工程能力，能夠獨立完成大模型的本地化部署、垂直領域微調和知識庫問答應用開發(fā)。
-
-
培訓內容：
-
（1）大模型本地化部署概述與硬件選型：了解大模型本地化部署的核心價值（數據安全、隱私保護、成本控制、離線可用）及其適用場景。掌握不同規(guī)模模型（7B、13B、70B）對硬件資源的需求分析：顯存、內存、存儲、CPU核心數。學習GPU選型策略（NVIDIA消費級、數據中心級、國產算力）與性價比對比。理解量化技術（INT8、INT4、GPTQ、AWQ）對硬件需求的影響。
（2）開發(fā)環(huán)境搭建與基礎工具鏈：掌握Linux（Ubuntu）系統(tǒng)的環(huán)境配置方法，安裝Python、CUDA、cuDNN、PyTorch等基礎依賴。學習Docker容器化環(huán)境的配置與使用，實現開發(fā)環(huán)境的一鍵部署。熟悉常用模型格式（PyTorch、Safetensors、GGUF）的特點與轉換方法。了解Hugging Face生態(tài)工具（Transformers、Accelerate、PEFT）的基本用法。
（3）Ollama本地部署與模型管理：掌握Ollama的安裝與配置方法，理解其在本地模型管理中的核心優(yōu)勢。學習使用Ollama拉取和運行主流開源模型（Llama、Qwen、DeepSeek、Mistral）。掌握模型文件的創(chuàng)建與自定義配置（溫度、上下文長度、GPU層數）。學習Ollama API的調用方法，實現與應用程序的集成。實踐部署一個完整的本地聊天應用。
（4）vLLM高性能推理引擎：深入理解vLLM的核心優(yōu)化技術：PagedAttention（分頁注意力）、連續(xù)批處理、CUDA核心優(yōu)化。掌握vLLM的安裝與配置，學習啟動OpenAI兼容的API服務。對比vLLM與傳統(tǒng)推理框架（Transformers、Text Generation Inference）的性能差異。實踐使用vLLM部署高并發(fā)推理服務，掌握吞吐量與延遲的優(yōu)化方法。
（5）模型量化技術與推理加速：掌握模型量化的核心原理，理解不同量化精度（FP16、INT8、INT4、NF4）對模型性能和推理速度的影響。學習使用AutoGPTQ、AutoAWQ等工具進行模型量化。掌握GGUF格式的特點及其在CPU推理中的應用（llama.cpp）。實踐對開源模型進行量化處理，對比量化前后的顯存占用與推理速度。
（6）LoRA與QLoRA參數高效微調：深入理解LoRA（低秩適配）的核心原理及其在大模型微調中的優(yōu)勢。學習LoRA的數學推導與實現機制（低秩矩陣分解、適配器矩陣設計）。掌握QLoRA的量化權重與梯度更新機制，實現在單GPU上微調大模型。學習微調數據集的準備與格式化（Alpaca格式、ShareGPT格式）。實踐使用LlamaFactory對開源模型進行垂直領域微調。
（7）LlamaFactory微調工具實戰(zhàn)：掌握LlamaFactory的安裝與配置，理解其一體化微調平臺的設計思想。學習使用LlamaFactory進行全參數微調、LoRA微調、QLoRA微調的參數配置。掌握監(jiān)督微調（SFT）與DPO偏好優(yōu)化的實現方法。學習多GPU微調的配置技巧。實踐使用LlamaFactory完成一個完整的醫(yī)學問答模型微調項目。
（8）DeepSpeed與分布式訓練：了解DeepSpeed的核心優(yōu)化技術：ZeRO（零冗余優(yōu)化器）三個階段（Stage1/2/3）的原理與適用場景。學習使用DeepSpeed進行多GPU/多節(jié)點分布式訓練的配置方法。掌握梯度累積、混合精度訓練等優(yōu)化技巧。實踐使用DeepSpeed在單機多卡環(huán)境下微調大模型，對比不同ZeRO階段的顯存占用與訓練效率。
（9）RAG技術原理與架構設計：深入理解RAG（檢索增強生成）的核心架構（索引-檢索-增強-生成）及其在解決模型幻覺、知識時效性問題中的核心價值。學習RAG系統(tǒng)的完整工作流程：文檔加載、文本分塊、向量化、索引構建、相似度檢索、提示詞增強、生成回答。掌握RAG與模型微調的適用場景對比與協同應用策略。
（10）向量數據庫與檢索優(yōu)化：掌握向量數據庫的核心概念與主流產品選型（FAISS、Chroma、Milvus、Qdrant、Weaviate）。學習文檔分塊策略的設計與優(yōu)化：固定大小分塊、語義分塊、遞歸分塊。掌握嵌入模型（Embedding Models）的選型與本地化部署。學習混合檢索策略（稠密檢索+稀疏檢索BM25）與重排序（Re-ranking）技術的實現。實踐構建一個高性能的知識庫檢索系統(tǒng)。
（11）RAG應用開發(fā)與LangChain實戰(zhàn)：掌握LangChain/LlamaIndex框架的核心組件與使用方法。學習文檔加載器、文本分割器、向量存儲、檢索器、提示詞模板的鏈式組裝。掌握RAG應用的評估方法與優(yōu)化技巧，包括檢索質量評估（召回率、精確率）和生成質量評估（忠實度、相關性）。實踐使用LangChain構建一個企業(yè)知識庫問答機器人。
（12）綜合項目實戰(zhàn)：企業(yè)級知識問答系統(tǒng)：結合所學知識，完成一個完整的企業(yè)級大模型應用項目（如企業(yè)內部文檔智能問答系統(tǒng)、醫(yī)療領域知識助手、金融研報分析平臺）。涵蓋硬件環(huán)境評估、模型選型與量化部署、垂直領域微調、RAG知識庫構建、檢索優(yōu)化、應用集成與性能測試的全流程，形成規(guī)范的大模型項目報告。<｜end▁of▁thinking｜>### 大模型本地化部署與訓練微調RAG培訓課程大綱
-
培訓對象：適合具備Python編程基礎、熟悉Linux操作系統(tǒng)，了解深度學習基本概念，希望系統(tǒng)掌握大模型本地化部署、微調訓練與RAG應用開發(fā)的算法工程師、AI應用開發(fā)者、IT架構師及企業(yè)技術負責人。
-
培訓目標：完成本課程后，學員將能夠深入理解大模型本地化部署的技術架構與硬件選型策略，熟練掌握Ollama、vLLM、LlamaFactory等主流部署與微調工具的使用，掌握LoRA、QLoRA等參數高效微調技術的實戰(zhàn)方法，具備從零構建企業(yè)級RAG系統(tǒng)的完整工程能力，能夠獨立完成大模型的本地化部署、垂直領域微調和知識庫問答應用開發(fā)。
-
培訓內容：
（1）大模型本地化部署概述與硬件選型：了解大模型本地化部署的核心價值（數據安全、隱私保護、成本控制、離線可用）及其適用場景。掌握不同規(guī)模模型（7B、13B、70B）對硬件資源的需求分析：顯存、內存、存儲、CPU核心數。學習GPU選型策略（NVIDIA消費級、數據中心級、國產算力）與性價比對比。理解量化技術（INT8、INT4、GPTQ、AWQ）對硬件需求的影響。
（2）開發(fā)環(huán)境搭建與基礎工具鏈：掌握Linux（Ubuntu）系統(tǒng)的環(huán)境配置方法，安裝Python、CUDA、cuDNN、PyTorch等基礎依賴。學習Docker容器化環(huán)境的配置與使用，實現開發(fā)環(huán)境的一鍵部署。熟悉常用模型格式（PyTorch、Safetensors、GGUF）的特點與轉換方法。了解Hugging Face生態(tài)工具（Transformers、Accelerate、PEFT）的基本用法。
（3）Ollama本地部署與模型管理：掌握Ollama的安裝與配置方法，理解其在本地模型管理中的核心優(yōu)勢。學習使用Ollama拉取和運行主流開源模型（Llama、Qwen、DeepSeek、Mistral）。掌握模型文件的創(chuàng)建與自定義配置（溫度、上下文長度、GPU層數）。學習Ollama API的調用方法，實現與應用程序的集成。實踐部署一個完整的本地聊天應用。
（4）vLLM高性能推理引擎：深入理解vLLM的核心優(yōu)化技術：PagedAttention（分頁注意力）、連續(xù)批處理、CUDA核心優(yōu)化。掌握vLLM的安裝與配置，學習啟動OpenAI兼容的API服務。對比vLLM與傳統(tǒng)推理框架（Transformers、Text Generation Inference）的性能差異。實踐使用vLLM部署高并發(fā)推理服務，掌握吞吐量與延遲的優(yōu)化方法。
（5）模型量化技術與推理加速：掌握模型量化的核心原理，理解不同量化精度（FP16、INT8、INT4、NF4）對模型性能和推理速度的影響。學習使用AutoGPTQ、AutoAWQ等工具進行模型量化。掌握GGUF格式的特點及其在CPU推理中的應用（llama.cpp）。實踐對開源模型進行量化處理，對比量化前后的顯存占用與推理速度。
（6）LoRA與QLoRA參數高效微調：深入理解LoRA（低秩適配）的核心原理及其在大模型微調中的優(yōu)勢。學習LoRA的數學推導與實現機制（低秩矩陣分解、適配器矩陣設計）。掌握QLoRA的量化權重與梯度更新機制，實現在單GPU上微調大模型。學習微調數據集的準備與格式化（Alpaca格式、ShareGPT格式）。實踐使用LlamaFactory對開源模型進行垂直領域微調。
（7）LlamaFactory微調工具實戰(zhàn)：掌握LlamaFactory的安裝與配置，理解其一體化微調平臺的設計思想。學習使用LlamaFactory進行全參數微調、LoRA微調、QLoRA微調的參數配置。掌握監(jiān)督微調（SFT）與DPO偏好優(yōu)化的實現方法。學習多GPU微調的配置技巧。實踐使用LlamaFactory完成一個完整的醫(yī)學問答模型微調項目。
（8）DeepSpeed與分布式訓練：了解DeepSpeed的核心優(yōu)化技術：ZeRO（零冗余優(yōu)化器）三個階段（Stage1/2/3）的原理與適用場景。學習使用DeepSpeed進行多GPU/多節(jié)點分布式訓練的配置方法。掌握梯度累積、混合精度訓練等優(yōu)化技巧。實踐使用DeepSpeed在單機多卡環(huán)境下微調大模型，對比不同ZeRO階段的顯存占用與訓練效率。
（9）RAG技術原理與架構設計：深入理解RAG（檢索增強生成）的核心架構（索引-檢索-增強-生成）及其在解決模型幻覺、知識時效性問題中的核心價值。學習RAG系統(tǒng)的完整工作流程：文檔加載、文本分塊、向量化、索引構建、相似度檢索、提示詞增強、生成回答。掌握RAG與模型微調的適用場景對比與協同應用策略。
（10）向量數據庫與檢索優(yōu)化：掌握向量數據庫的核心概念與主流產品選型（FAISS、Chroma、Milvus、Qdrant、Weaviate）。學習文檔分塊策略的設計與優(yōu)化：固定大小分塊、語義分塊、遞歸分塊。掌握嵌入模型（Embedding Models）的選型與本地化部署。學習混合檢索策略（稠密檢索+稀疏檢索BM25）與重排序（Re-ranking）技術的實現。實踐構建一個高性能的知識庫檢索系統(tǒng)。
（11）RAG應用開發(fā)與LangChain實戰(zhàn)：掌握LangChain/LlamaIndex框架的核心組件與使用方法。學習文檔加載器、文本分割器、向量存儲、檢索器、提示詞模板的鏈式組裝。掌握RAG應用的評估方法與優(yōu)化技巧，包括檢索質量評估（召回率、精確率）和生成質量評估（忠實度、相關性）。實踐使用LangChain構建一個企業(yè)知識庫問答機器人。
（12）綜合項目實戰(zhàn)：企業(yè)級知識問答系統(tǒng)：結合所學知識，完成一個完整的企業(yè)級大模型應用項目（如企業(yè)內部文檔智能問答系統(tǒng)、醫(yī)療領域知識助手、金融研報分析平臺）。涵蓋硬件環(huán)境評估、模型選型與量化部署、垂直領域微調、RAG知識庫構建、檢索優(yōu)化、應用集成與性能測試的全流程，形成規(guī)范的大模型項目報告。
