AIシステムが実際にどのようにデータを動かしているのかを見ていくと、問題は単にプロセッサを速くすることやストレージ容量を増やすことだけではなく、その間にある層で何が起きているのか、そしてシステムがどれだけの頻度で待たされているのかという点にあることに、わりとすぐ気づきます。

前回のHigh Bandwidth Memoryの記事では、GPUが止まらないようにデータをできるだけプロセッサの近くに置くことに焦点を当てていました。これはスタックの最上部にあたる重要な部分ですが、そこにすべてを置けるわけではないため、問題の一部しか解決しません。

作業データの量がその即時レイヤーに収まりきらなくなると、結局またDRAMとNANDの間でデータをやり取りすることになります。そしてまさにそのあたりから、バランスの悪さが見えてきます。DRAMは速くて反応も良いですが、高価で無制限に増やすことはできません。一方でNANDは容量面では現実的ですが、優れたフラッシュでも連続した負荷の中では無視できない遅延が発生します。

この2つの間にある隙間こそが、ストレージクラスメモリの出番になる場所です。どちらかを置き換える新しい技術というよりは、データの受け渡しを滑らかにして、システムが「非常に速い」と「明らかに遅い」の間を行き来し続けないようにするための層といえます。

こうしたレイヤー構造がなぜ生まれてきているのか、全体像を理解するには、こちらのメイン記事もあわせて読むとつながりが見えてきます：NANDはなくならないが、AIサーバーはもはやフラッシュだけに依存していない。

20年以上にわたり、GetUSBはデータが実際にどのように動くのかを追い続けてきました。単なるマーケティング上の説明ではなく、現実の挙動を見てきたという意味です。その間に、ストレージは何度も大きな変化を経験してきました。回転ディスクの衰退からフラッシュの台頭、そして最近ではストレージが単なる受動的な部品ではなく、インフラそのものの一部として機能するシステムへと進化しています。

現在AIインフラで起きていることも、そうした転換点のひとつに見えますが、今回はそれを押し進めている圧力の種類がこれまでとは少し違います。

NANDフラッシュがなくなるわけではありませんし、その点について議論の余地はほとんどありません。現代のストレージの基盤であり、その役割を非常にうまく果たしています。一方で、NANDの需要は急激に増加しています。主な理由は、巨大なデータセットと継続的なアクセスを必要とするAIワークロードです。この需要は、価格の上昇や供給制限、あるいは大規模導入におけるリードタイムの長期化といった形で、無視できないレベルで供給とぶつかり始めています。

こうした不均衡が見え始めると、業界は状況が自然に落ち着くのを待つことはしません。別の解決策を探し始めます。そしてそこから変化が始まります。