Память выходит из тени GPU
"Память - циклическая штука, все это знают, а недавний рост акций производителей памяти - очевидный пузырь."
Это удобный, рефлекторный взгляд. Но те, кто его придерживается, упускают элементарный масштаб того, что ИИ делает со спросом на память.
Первый намёк появился в январе этого года - стало известно, что новая платформа NVDA Rubin потребует 16 TB NAND на каждый GPU, или 1152 TB на стойку, а необходимая пропускная способность HBM окажется на 70% выше, чем сообщалось ранее.
Тогда сторонним наблюдателям впервые стало очевидно: память придётся масштабировать экспоненциально, просто чтобы успевать за уже известным спросом на GPU.
Один недооценённый факт: пока вычислительная мощность GPU масштабировалась по закону Мура (удвоение примерно каждые 2 года), плотность и скорость памяти - нет. По мере роста мощности GPU существующим производителям памяти придётся выпускать экспоненциально больше чипов.
И эти чипы должны быть быстрее, чем когда-либо. Это колоссальный технический вызов: как производителям найти прирост скорости, который ускользал от них десятилетиями?
Когда складываешь техническую сложность с экспоненциально растущим спросом, память начинает выглядеть уже не как коммодити, а как высокомаржинальный проприетарный чип.
И это мы ещё не затронули роль памяти в инференсе (вычисления для инференса тоже растут экспоненциально и сильно зависят от памяти), длинный контекст и прочее.
Агентский ИИ требует, чтобы агенты затягивали огромные объёмы данных в свой контекст. Это увеличивает количество токенов на "ход" и объём памяти, нужный для их работы. Настоящие агентские системы потребуют и значительно большего контекста, и большего числа "ходов" - агент дорабатывает результат снова и снова, пока тот не достигнет целевого качества.
Длиннее контекст = больше памяти на одну задачу. Больше "ходов" = больше задач на один итоговый результат.
Конкретная цифра: старший вице-президент Micron Джереми Вернер недавно сказал на The Circuit, что из-за агентского ИИ длина контекста растёт в 30 раз в год.
Майкл Делл сформулировал проблему предельно просто: у H100 было 80 GB HBM. К 2028 году ускорители могут нести около 2 TB. Это в 25 раз больше памяти на ускоритель. За тот же период он ожидает примерно в 25 раз больше развёрнутых ускорителей.
25 x 25 = в 625 раз больший спрос на память ускорителей к 2028 году.
Все знают, что акции производителей памяти цикличны и всегда выглядят дешёвыми ровно перед тем, как лопнет пузырь. Но что, если на рынке памяти происходят структурные изменения, которые могут опровергнуть консенсус?
Кто-нибудь помнит ещё одну традиционно циклическую компанию, которая переоценилась как история роста благодаря спросу со стороны ИИ? Подсказка: сейчас это самая дорогая компания в мире.
Это не рекомендация покупать или продавать какие-либо ценные бумаги. Это рамка для размышлений о том, как строительство ИИ-инфраструктуры может менять рынок памяти.
