インテル、オープンソースのNPU高速化ライブラリを公開。最新ノートPC上で軽量LLMが動作

インテルはついに、オープンソースのNPU（Neural Processing Unit）アクセラレーション・ライブラリを公開した。これにより、開発者らはアプリを同社のAIエンジンに最適化でき、ローカルPC上でLLM（大規模言語モデル）を動かしやすくなった。 この一報は、インテルの技術エバンジェリスト（自社製品の特徴などを分かりやすく説明し、普及させる役職）、トニー・モンコルスマイ氏がXで述べたことだ。これにより、MSI Prestige 16 AI Evo（インテルCore Ultraプロセッサー搭載ノートPC）上で、TinyLlamaとGemma-2b-itといった軽量LLMが動かせたと付け