AIシステムは、計算能力の限界で遅くなることはあまりなく、むしろデータを十分な速度で動かせないために、プロセッサへ継続的に情報を供給できなくなることで性能が落ちます。

言い換えると、ボトルネックはデータを処理する能力ではなく、現代のAIワークロードが求める速度でデータを届ける能力にあります。

ここで重要な役割を果たすのがHigh Bandwidth Memory（HBM）です。

メモリがフラッシュを超えてどのように進化しているのか、そしてなぜAIシステムが複数の階層に依存するようになっているのかについては、こちらの分析も参考にしてください：NANDはなくならないが、AIサーバーはもはやフラッシュだけに依存していない。