Google、AIサーバーのメモリコストが75%超に達したと指摘　ソフト・ハード両面で対策へ

Google Cloudのサプライチェーン・インフラ担当シニアディレクター、ニキル・チェリアン（Nikhil Cherian）氏は、SEMICON Taiwan 2026のメモリサミットにて、AI演算が計算能力からメモリ制約へと移行していると述べた。AIサーバーのハードウェアコストのうち、高性能メモリが75%以上を占めている。Googleはこれに対処するため、推論用TPU 8iと学習用TPU 8tによるハードウェアの分流戦略や、キーバリューキャッシュを3ビットに圧縮する「TurboQuant」アルゴリズムなどのソフトウェア戦略を推進し、メモリのボトルネック解消を図る。