軟體王

Udemy線上課程 (Ken Cen出品)Generative AI第23部 訓練大語言模型必修 - LoRA & Quantization 講師:Ken Cen 影音教學 中文發音 繁體中文(DVD版)

內容說明:
想讓您的 AI 模型在邊緣設備上跑得更快、更小、更智能？加入我們的課程，帶您從原理到實操，徹底掌握：
參數高效、成本低
LoRA 僅透過低秩矩陣 AAA 和 BBB 的更新，凍結原始權重，使得微調參數量相比傳統方法大幅縮減，無需重訓整個模型，省時、省算力、省錢。
PyTorch 直擊實戰
從 torch.nn.utils.parametrize 開始，手把手教你如何在線性層中注入 LoRA 參數化邏輯；以 MNIST 分類示範，讓你快速上手微調流程。
細節解密、數據驗證
不僅帶你凍結原始權重、訓練與測試，還深入探討如何對比 LoRA 啟用／禁用時的性能差異，並驗證原始權重是否真正保持不變。
參數效率深度分析
計算並對比原始模型參數量與 LoRA 額外引入的參數量，用數據說話，讓你更加清晰地掌握技術優勢與取捨。
完整數學推導與程式實現
從 SVD（奇異值分解）基礎概念，到低秩近似矩陣生成，再到 W+BA?scaleW + B A\cdot\text{scale}W+BA?scale 的數學邏輯，理論與實作一氣呵成。
對稱 vs. 非對稱：深度對比兩大量化策略，掌握 S（Scale）與 Z（Zero?Point）的配置技巧，讓零點映射更“零失真”；
PTQ 實戰：手把手演示「訓練後量化」流程：插入觀察器、校準統計、S/Z 計算，一鍵生成 INT8 模型，輕鬆部署；
QAT 精髓：揭開「量化感知訓練」原理，在訓練圖中插入“假量化”模塊，讓模型在訓練時就學會“自我修正”，大幅減少量化誤差；
課程內容:
01 - 課程需要準備的工具&環境
001 課程工具準備.mp4
002 如何使用uv 作為包管理器和項目管理工具.mp4

02 - 如何在 大語言模型 fine-tuning 中使用LoRA
001 LoRA 如何實現低秩分解Low-Rank Decomposition.mp4
002 如何使用Pytorch製作 MNIST 神經網絡.mp4
003 如何使用訓練 BigNet 及對模型進行評估.mp4
004 如何使用 Pytorch 實現 LoRA低秩適應.mp4

03 - PTQ 訓練後量化 & QAT 量化感知訓練
001 如何使用對稱量化&非對稱量化和反量化.mp4
002 如何理解 Calbration 選擇合適的量化範圍.mp4
003 如何使用 Pytorch 實現訓練後量化 PTQ.mp4
004 如何使用 Pytorch 實現 QAT 量化.mp4





站內搜索

請輸入軟體名稱或編號

購物車 熱門關鍵字 51job 前程無憂 Frank 學院 Qingming Wpf詳解 Zhao 工作效率 女性領導力 三節課 下篇 六卦詳解 王思迅 文富 打造獨角獸 光佑 有個小院 行銷 東東 東東好課 佳旋 易經開門課 的環境預備 若水 美伊 思迅 星空 面對痛苦 渡人渡己 紫微篇 資承 遍路文化 漢化課程 養心 養身 養神 編程入門 養體 霍大俠 觸發器