大規模言語モデルを動作させる時に必要なVRAMの使用量を推定してくれる「VRAM Estimator」

大規模言語モデルを動作させる時に必要なVRAMの使用量を推定してくれる「VRAM Estimator」 大規模言語モデルを動作させるには、演算処理にGPUを使用するため、グラフィックスメモリ(VRAM)の容量が重要になります。「VRAM Estimator」はさまざまなモデルで必要となるVRAMの容量をシミュレーションで予測するウェブアプリです。 VRAM Calculator https://vram.asmirnov.xyz/ VRAM Estimatorにアクセスするとこんな感じ。 左上の「Running Parameters」で演算内容を指定します。Inference(推論)の場合、P