大量の行列演算を並列処理し、LLM(大規模言語モデル)の学習と推論を高速化します。80GB の VRAM(J-70)と第 4 世代 NVLink で複数枚を束ね、数万枚規模のクラスタとして動きます。
大量の行列演算を並列処理し、LLM(大規模言語モデル)の学習と推論を高速化します。80GB の VRAM(J-70)と第 4 世代 NVLink で複数枚を束ね、数万枚規模のクラスタとして動きます。
GPT-4 や Claude 3 などの LLM 学習ニュースで「H100 数万枚」という表現を目にします。AWS p5・GCP A3 などのクラウド GPU インスタンスで時間貸しされ、API の裏側でも動いています。
AI 学習・推論を支えるデータセンター向け GPU です。
前世代 A100 比で演算速度が大幅に向上しました。
1 枚 3〜5 万ドルで個人購入は現実的ではありません。
LLM 学習クラスタとクラウド GPU 貸しの主役です。
1 万枚規模のクラスタという業界の桁感を押さえると読めます。
GPU、VRAM、NVLink