AMD Ryzen™ AI 軟體

AMD Ryzen AI Software banner

概述

AMD Ryzen™ AI 軟體內含可在搭載AMD Ryzen AI 的電腦上,進行 AI 推論最佳化和部署的工具與執行階段程式庫1。Ryzen AI 軟體讓應用程式能在基於AMD XDNA™ 架構的神經處理單元 (neural processing unit, NPU) 上執行,這是 Windows x86 處理器的第一個專用 AI 處理晶片2,並支援整合式顯示卡 (iGPU)。

影像縮放
Ryzen developer flow diagram

開發流程

開發適用於 Ryzen AI 的 AI 應用程式時,其流程可大致整理成 3 道簡單步驟:

從預先訓練模型開始
使用 PyTorch 或 TensorFlow 的預先訓練模型,作為開發的起始點。然後將您的模型轉換為與 Ryzen AI 工作流程相容的 ONNX 格式。

量化
將模型參數從浮點轉換為精度較低的表示形式(如 16 位元或 8 位元整數)以量化模型。為了實踐此步驟,建議您使用 Vitis™ AI ONNX 量化器,享受簡單易用的訓練後量化 (Post Training Quantization, PTQ) 流程。

部署模型
量化後,您的模型就可以部署到硬體上了。使用 ONNX Runtime 搭配 C++ 或 Python API 部署 AI 模型。ONNX Runtime 包含的 Vitis AI Execution Provider 可最佳化工作負載,確保效能最佳並降低耗電量。

開始使用 Ryzen AI 軟體

開始

AMD Ryzen AI Docs

Ryzen AI 說明文件

尋找所有 Ryzen AI 軟體版本的最新說明文件。

man and woman looking at computer code on monitors

Ryzen AI 部落格

探索適用於 AI 電腦開發的最新工具、功能和最佳化。

woman watching computer training

Ryzen AI 影片

探索視訊教學課程,瞭解 Ryzen AI 300 系列電腦如何使用 NPU 和整合式顯示卡加速大型語言模型工作負載。

最新功能 

  1. 1.7
  2. 1.6
  3. 1.5
  4. 1.4
  5. 1.3
  6. 1.2
  7. 1.1
  8. 1.0

1.7 版本重點

  • 全新架構:首次發布混合專家 (MoE) GPT-OSS 與 VLM (Gemma‑3 4B)
  • 將 Stable Diffusion 整合至主 Ryzen AI 安裝程式中,以建立統一環境
  • 現在 LLM 在 NPU 上的上下文長度最多支援到 16K
  • BF16 管線相比 RAI 1.6 延遲時間降低約 2 倍

1.6 版本重點

  • 改善 BF16 編譯器的效能,並且縮短編譯時間
  • 全新的整數編譯器,支援通用非對稱量化(A8W8、A16W8)
  • 擴充僅 NPU 模型的集合,提供最佳化效能(在 KRK 和 GPT 提供更高的符元數/秒)
  • 在所有 LLM 中的內容長度增加到 4K
  • 新增對新 LLM 架構的支援:Phi-4 和 Qwen-3
  • 支援 SD 3.0/3.5 的動態解析度,並提升了其他 SD 模型的效能增益,包括新增的 SD 模型(SD2.1-v 768×768 text2image,SDXL-base 1024×1024 text2image)

1.5 版本重點

  • 新功能
    • 使用 Stable Diffusion 管線(SD 1.5、2.1、SDXL 和 3.0)生成影像。
    • 整合語音轉文字功能,並支援 Zipformer 和 Whisper-base 模型。
    • 利用佔先 (Pre-emption) 功能最佳化系統回應能力,將運算資源動態分配給高優先順序的工作。

1.4 版本重點

  • 新功能
    • 整合式安裝程式包含 LLM 和通用模型流程(INT8、BF16),在單一發行套件中支援所有模型類型,提供順暢的體驗。
    • 第一個 Window 版本支援 BF16 模型編譯與量化功能,適用於 CNN 和 NLP 工作負載。
    • 支援 LLM OGA Flow,讓您更輕鬆就能高效率部署 LLM。
  • 支援新型 LLM 模型
    • DeepSeek-R1 Distill 系列:Llama-8B、Qwen-1.5B、Qwen-7B 
    • Qwen2 系列:Qwen2-1.5B、Qwen2-7B 
    • Gemma2-2B 
    • AMD-OLMO-1B-SFT-DPO  
    • Codellama-7B、Mistral-7B 與更多

1.3 版重點

  • 新功能 
    • 對 AMD 統一量化器 "Quark" 的初期支援
    • 支援混合精度資料類型與 Copilot+ 應用程式
    • 更新 CNN 分析工具 
  • ONNX-GenAI (OGA) 流程的新模型支援 
    • Llama2-7B-Chat / Meta-Llama-3.1-8B
    • Phi-3-Mini-4K-Instruct / Phi-3.5-Mini-Instruct
    • Mistral-7B-Instruct-v0.3

1.2 版重點

  • 新架構支援 
    • 支援 Strix (STX):AMD Ryzen™ AI 9 HX370 與 Ryzen AI 9 365 NPU 
    • 透過 Ryzen AI 軟體,統一支援整合式顯示卡 (iGPU) 和 NPU
  • 新搶先體驗工具、模型和功能 
    • 新模型分析、分析和視覺化工具,適用於在 NPU上執行的模型(AI 分析儀
    • 新平台/NPU 檢查和管理工具 (xrt-smi)
    • 對於 PyTorch 和 ONNX 流程,新增多項LLM 流程支援

1.1 版重點

  • 新模型支援:
    • 為 Llama 2 7B 新增 w4abf16(3 位元和 4 位元)量化法支援 (Beta)
    • Whisper base(搶先體驗)
  • 新 EoU 工具與功能:
    • CNN 基準測試工具,請至 RyzenAI-SW 儲存庫取得
    • 平台/NPU 檢查和管理工具

1.0 版重點

  • 模型支援
    • +1,000 個經過驗證的 CNN 模型
    • 使用 PyTorch 和 ONNX 流程在 NPU 上執行 OPT-1.3B
  • EoU 工具與功能
    • 支援 ONNX PTQ(訓練後量化)、PyTorch PTQ 及 QAT(量化感知訓練)
    • 利用 C++ 和 Python API 支援 ONNX Runtime Vitis AI Execution Provider
    • 在 NPU 上自動排程最高達 8 個同步推論工作階段

開放原始碼專案

探索 AMD 的開放原始碼工具,讓開發人員能在多種硬體上有效率地分析、最佳化和部署 AI 模型。

Digest AI

Digest 是強大的模型分析工具,能協助您從機器學習模型中擷取有價值的見解,實現最佳化與直接修改。 

GAIA logo

GAIA

GAIA 是一種生成性 AI 應用程式,可在處理器、顯示卡和 NPU 硬體上執行私人和本地 LLM 的多代理 RAG 管線。

TurnkeyML 與 Lemonade

TurnkeyML 提供無程式碼的 CLI 和低程式碼 API,簡化 ONNX 生態系統中的工具使用。透過 Turnkey,您可以針對 CNN 和 Transformers 匯出並最佳化 ONNX 模型。透過 Lemonade,您可以在處理器、顯示卡和 NPU 上提供 LLM 並進行基準測試。

註冊取得 Ryzen AI 最新消息

隨時掌握最新的產品發表、最新消息,以及秘訣。

尾註
  1. Ryzen™ AI 技術相容於所有 AMD Ryzen™ 7040 系列處理器,但 Ryzen™ 5 7540U 和 Ryzen™ 3 7440U 除外。需要啟用 OEM。購買前,請洽詢您的系統製造商,以瞭解功能可用性。GD-220。
  2. 截至 2023 年 5 月為止,AMD 擁有第一個可用於 x86 Windows 處理器上的專用 AI 引擎,其中「專用 AI 引擎」的定義為一款僅處理 AI 推論模型的 AI 引擎,且屬於 x86 處理器裸晶的一部分。如需詳細資訊,請查看:https://www.amd.com/en/technologies/xdna.html。PHX-3a
  3. 根據 AMD 截至 2023 年 6 月 5 日的測試。電池續航力結果的評估係根據以下運作情境:模擬九名參與者 Microsoft Teams 視訊會議,使用內建 Ryzen™ AI 和整合式 Radeon 顯示卡的 Ryzen™ 7940HS 處理器,並開啟 Windows Studio Effects 功能,比較對象為 NVIDIA GeForce RTX 4070 獨立顯示卡,並開啟 NVIDIA Broadcast 提供的背景模糊和眼球追蹤校正 AI 強化功能。AMD/NVIDIA 系統亮度皆為 150 尼特,電源模式設為「能效」,從電量 100% 運作至 > 5%。系統組態:Razer Blade 14 吋筆記型電腦,具有 Ryzen™ AI 的 AMD Ryzen™ 9 7940HS 處理器、整合式 AMD Radeon 顯示卡(22.40.03.24 驅動程式)、16GB (8GBx2) LPDDR5、NVMe SSD 儲存裝置、Windows 11 Home 22H、NVIDIA GeForce RTX 4070 顯示卡(528.92 驅動程式),搭配 NVIDIA Broadcast。   系統製造商可能改變配置,而產生不同的結果。結果可能會有所不同。PHX-51