日本語タイトル#
IREE における RISC-V マイクロカーネルサポートの有効化による GenAI ワークロードの加速
英語タイトル#
Accelerating GenAI Workloads by Enabling RISC-V Microkernel Support in IREE
日本語要約#
このプロジェクトは、MLIR に基づく機械学習コンパイラおよびランタイムである IREE に RISC-V マイクロカーネルのサポートを有効にします。このアプローチは、IREE のパスパイプライン内で RISC-V64 ターゲット向けに MLIR linalg 方言の収縮操作を linalg.mmt4d 操作に低下させることから始まり、その後 RISC-V 向けの最適化されたマイクロカーネルの開発が行われます。Llama-3.2-1B-Instruct モデルに対する性能向上は、上流の IREE および Llama.cpp と比較されます。
英語要約#
This project enables RISC-V microkernel support in IREE, an MLIR-based machine learning compiler and runtime. The approach begins by enabling the lowering of MLIR linalg dialect contraction ops to linalg.mmt4d op for the RISC-V64 target within the IREE pass pipeline, followed by the development of optimized microkernels for RISC-V. The performance gains are compared with upstream IREE and Llama.cpp for the Llama-3.2-1B-Instruct model.
記事ページ#
IREE における RISC-V マイクロカーネルサポートの有効化による GenAI ワークロードの加速
PDF 取得#
抖音で QR コードをスキャンしてさらに素晴らしいコンテンツを確認