ストレージクラスメモリ解説：DRAMとNANDの間にある欠けていたレイヤー

AIシステムが実際にどのようにデータを動かしているのかを見ていくと、問題は単にプロセッサを速くすることやストレージ容量を増やすことだけではなく、その間にある層で何が起きているのか、そしてシステムがどれだけの頻度で待たされているのかという点にあることに、わりとすぐ気づきます。

前回のHigh Bandwidth Memoryの記事では、GPUが止まらないようにデータをできるだけプロセッサの近くに置くことに焦点を当てていました。これはスタックの最上部にあたる重要な部分ですが、そこにすべてを置けるわけではないため、問題の一部しか解決しません。

作業データの量がその即時レイヤーに収まりきらなくなると、結局またDRAMとNANDの間でデータをやり取りすることになります。そしてまさにそのあたりから、バランスの悪さが見えてきます。DRAMは速くて反応も良いですが、高価で無制限に増やすことはできません。一方でNANDは容量面では現実的ですが、優れたフラッシュでも連続した負荷の中では無視できない遅延が発生します。

この2つの間にある隙間こそが、ストレージクラスメモリの出番になる場所です。どちらかを置き換える新しい技術というよりは、データの受け渡しを滑らかにして、システムが「非常に速い」と「明らかに遅い」の間を行き来し続けないようにするための層といえます。

こうしたレイヤー構造がなぜ生まれてきているのか、全体像を理解するには、こちらのメイン記事もあわせて読むとつながりが見えてきます：NANDはなくならないが、AIサーバーはもはやフラッシュだけに依存していない。

どこでギャップが生まれるのか

理論上、DRAMとNANDは長い間うまく役割分担してきました。それぞれ用途が違うからです。片方はアクティブなデータを扱い、もう片方は保存用のデータを扱い、必要に応じてシステムが両者の間でデータを行き来させます。従来のワークロードでは、この分離は今でも十分に機能しています。

ただし、AIのワークロードは同じようには動きません。大量のデータを何度も再利用し、並列でデータを動かし、複数の処理を同時に走らせるため、ストレージから継続的にデータを引き出し続ける形になります。

そうなると、これまで以上にレイテンシの差が効いてきます。大きなボトルネックとして突然現れるわけではなく、小さな遅延が積み重なっていく形です。システム自体は止まりませんが、本来出せるはずの効率は維持できず、結果としてプロセッサがデータ待ちの状態になる場面が増えていきます。

ストレージクラスメモリは、この経路の途中に入り、システムが毎回NANDまで取りに行く頻度を減らしつつ、すべてをDRAMに押し込むことでコストが膨らむのも防ぎます。

イメージとして捉えると

これを理解するには、前回のHBMで使った倉庫の例えを少し変えて考えると分かりやすいです。今回は積み込み場所そのものではなく、その少し後ろの動きに注目します。

積み込みエリアでは実際の作業が行われ、箱が開けられ、仕分けされ、次へと送られていきます。これがDRAMです。その奥には倉庫の棚があり、すべての物がまとめて保管されています。これがNANDです。

もし何か必要になるたびに、毎回倉庫の奥まで取りに行って戻ってこなければならないとしたら、作業自体は進みますが効率は落ちます。そこで、積み込みエリアのすぐ後ろに、次に使いそうな物をあらかじめ置いておくスペースがあると考えてみてください。すべてではなくても、流れを止めないだけの量があれば十分です。

その中間スペースこそが、ストレージクラスメモリの役割です。倉庫を置き換えるものでも、積み込みエリアを広げるものでもなく、毎回いちばん遠い場所まで取りに行かなくて済むようにするための仕組みです。

SCMが実際に変えるもの

システムの観点で見ると、SCM（ストレージクラスメモリ）の価値は「圧倒的に速い」ことではなく、「最も遅い経路を使う回数を減らす」ことにあります。この違いは重要で、多くのパフォーマンス問題は単一の遅い部品ではなく、それにどれだけ依存しているかで決まるからです。

DRAMとNANDの間に層を設けることで、処理に近い位置により多くのデータを維持できるようになり、DRAMを同じ規模まで拡張する場合のコストや消費電力を抑えることができます。

同時に、NANDに対して本来想定されていなかったような、高頻度で継続的なアクセスパターンを過度に負わせることも避けられます。

ここで、メモリとストレージの境界も少し曖昧になってきます。SCMはアクセスのされ方としてはメモリに近い振る舞いをしますが、密度やコストといった面ではストレージの特性も持っています。このハイブリッドな性質が、従来の区分がそのまま当てはまらなくなってきているAIシステムにとって、ちょうど良い位置づけになっています。

なぜ今この層が重要なのか

技術的に見れば、これはまったく新しい考え方というわけではありませんが、AIワークロードの構造が変わったことで重要性が増しています。扱うデータ量、再利用の頻度、アクセスの回数が、これまでのシステムとは明らかに違います。

その増加は単に容量の問題だけでなく、繰り返しアクセスされるデータをどれだけ効率よく扱えるかにも影響し、そこに中間層があることで実際に違いが出てきます。

そしてこれは最初の記事で触れたテーマとも一致します。業界はNANDを置き換えているのではなく、その周りに構造を作っています。ストレージクラスメモリもその一部であり、DRAMとNANDの両方の負担を軽減しながら、どちらも排除しようとはしていません。

この先、スタックは上下両方向に進化していきます。上の層ではHBMのようなより特化したメモリが増え、下の層ではNAND自体もよりメモリに近い振る舞いを目指して変化していきます。

システムが成立しているのは、どれか1つの層が完璧だからではなく、それぞれの層が適した役割に使われているからです。

編集および画像に関する注記：本記事で使用している画像は、GetUSB.infoのために著者が現地で撮影したオリジナル写真です。

この記事の作成について：本コンテンツは、技術テーマと編集方針に基づき著者が作成しました。文章のリズムや構成の調整にはAIツールを使用していますが、最終的な確認と承認は著者が行っています。