Вопросы энергетического обеспечения ЦОДов и изменения их инженерной инфраструктуры для ИИ-приложений оказались в центре внимания делегатов прошедшей в Алматы первой в Центральной Азии конференции Data Center Design and Engineering (DCDE).

«ИКС-Медиа» расширила перечень своих цодовских мероприятий в Казахстане, добавив к ставшей уже традиционной октябрьской «Неделе ЦОД» инженерную конференцию в начале года. Первый форум DCDE вызвал большой интерес, собрав более 300 специалистов, обсудивших актуальные вопросы проектирования, построения и эксплуатации ЦОДов.

Общая емкость ЦОДов в Республике Казахстан, по оценкам iKS-Consulting, составляет 28–33 тыс. ИТ-стоек, при этом 3,7 тыс. стоек расположены в коммерческих ЦОДах. Число стойко-мест в коммерческих ЦОДах в 2024 г. выросло на 9%, а доходы их операторов – на 24,4%. Лидирует на рынке с долей 44,8% компания «Казахтелеком». В пятерку доминирующих операторов (90% рынка) также входят «Транстелеком», НИТ, «Казтелепорт» и QazCloud.

Сейчас «Казахтелеком» начал в Астане строительство нового ЦОДа уровня Tier III. Как рассказал Рустэм Нысанбаев, директор по развитию ИКТ-продуктов компании, объект на 250 стойко-мест должен быть введен в эксплуатацию в 2026 г. Примечательно, что примерно половина стоек рассчитана на мощность более 10 кВт.

Несмотря на высокие темпы роста, как отметил Дмитрий Горкавенко, директор по развитию бизнеса iKS-Consulting, в пересчете числа стоек на объем ВВП Казахстан значительно уступает России (11 против 39 стоек/$млрд), не говоря уже о Северной Америке, где это показатель находится на уровне 80 стоек/$млрд. Значительный потенциал роста подкрепляется стремлением Казахстана стать цифровым хабом всей Центральной Азии. Однако амбициозные планы будет сложно реализовать, не решив проблем энергетического обеспечения отрасли ЦОДов.

Электричество – всему голова

С осени 2021 г. Казахстан, по данным iKS-Consulting, столкнулся с дефицитом электроэнергии и мощности, который в вечерние часы составляет более 1,3 ГВт. В числе проблем электросетевого комплекса республики – старение фондов и низкие темпы модернизации, высокий уровень износа энергетических активов ЕЭС РК (генерирующего, передающего и вспомогательного оборудования), высокие потери по всей цепочке производства и потребления электроэнергии.

На одной из дискуссий форума DCDE в Алматы

Понятно, что в условиях дефицита электроэнергии трудно рассчитывать на ускорение развития отрасли ЦОДов. Чтобы разрешить ситуацию, эксперты iKS-Consulting считают важным проработать вопрос включения перспективных нагрузок дата-центров в Республике Казахстан в прогнозные балансы электроэнергии и мощности в ЕЭС РК, разрабатываемые в соответствии с пп. 68 ст. 5 Закона Республики Казахстан «Об электроэнергетике». Кроме того, эксперты рекомендуют Ассоциации операторов ЦОД и облачных сервисов РК совместно с Казахским институтом нефти и газа рассмотреть целесообразность создания собственных генерирующих мощностей для покрытия спроса ЦОДов на электроэнергию.

Как питать и охлаждать ИИ

Энергетический «аппетит» ЦОДов усиливается по мере роста спроса на инфраструктуру для приложений с использованием искусственного интеллекта (ИИ). Уже практически аксиомой стала необходимость повышения мощности ИТ-стоек для ИИ-систем. Также большинство экспертов согласны, что при превышении уровня 25–30 кВт на стойку целесообразно задействовать прямое жидкостное охлаждение. И не потому, что воздухом «снять» больше тепла не получится, а потому, что жидкостью это сделать экономически выгоднее. Также понятно, что наиболее зрелой является технология контактного охлаждения, когда охлаждаемые жидкостью пластины накладывают на CPU, GPU и другие наиболее горячие элементы ИТ-оборудования.

Однако ЦОД для ИИ – это далеко не только жидкостное охлаждение. Стремительная эволюция ИИ-систем, по мнению Алексея Кудрявцева, регионального менеджера по развитию бизнеса Huawei, требует оперативного развертывания новых и/или модернизации существующих ЦОДов. Традиционные подходы, основанные на капитальном строительстве, могут не подойти, а потому эксперт Huawei рекомендует ориентироваться на модульные решения высокой заводской готовности (префабы).

Кроме того, А. Кудрявцев обращает внимание на то, что при увеличении мощности стоек увеличивается и площадь, необходимая для энергетического оборудования. Так, при мощности стойки 8 кВт энергокомната занимает вдвое меньшую площадь, чем машзал (1:2), а при увеличении мощности стойки до 32 кВт соотношение площадей меняется на 2:1. Поэтому при выборе ИБП и других элементов системы электропитания для высоконагруженных стоек важна их компактность.

Важно и изменение характера нагрузки при переходе на ИИ-системы. Как отмечает Михаил Сазонов, продакт-менеджер по региону ЕМЕА компании Delta Electronics, для таких систем характерны импульсные скачки энергопотребления – до 150% продолжительностью 50 мс. Соответственно, ИБП должен быть адаптирован для работы в таких условиях, воспринимать 150%-ные пики нагрузки и не уходить на байпас из-за перегруза. Компания уже разработала и предлагает такие ИБП, а в перспективе рассматривает возможность применения суперконденсаторов для компенсации подобных пиков.

Большинство экспертов полагают, что инженерная инфраструктура будущих ЦОДов должна стать более адаптивной, готовой к восприятию различных видов нагрузки. В частности, уже понятно, что в таких ЦОДах воздушное охлаждение будет сочетаться с прямым жидкостным, а на смену традиционным ИБП, скорее всего, придут системы нового поколения.

Так сколько же ватт на стойку?

Хотя на рынке уже говорят о появлении к 2029 г. мегаваттных стоек, опытные практики сдержанны в своих прогнозах. Так, по мнению Александра Мартынюка, исполнительного директора «Ди Си квадрат», эксперта с 30-летним опытом цодостроения, и через пять лет средняя мощность на стойку будет составлять 12–15 кВт, а максимальная вряд ли превысит 100–200 кВт.

Также надо понимать, что высоконагруженные стойки с GPU-серверами нужны для обучения ИИ-моделей, а обычным заказчикам такое обучение или не требуется (они используют сторонние модели), или требуется лишь эпизодически – обучили модель, потом ей можно пользоваться и без энергоемких GPU. Поэтому выгоднее проводить обучение, задействуя GPU-ресурсы провайдеров, например по модели GPUaaS. В итоге мегаплотные стойки вряд ли будут востребованы широким кругом заказчиков. Их будут развертывать преимущественно гиперскейлеры и крупные провайдеры, специализирующиеся на предоставлении инфраструктуры для ИИ по сервисной модели.

Это показывает и опрос, проведенный в телеграм-канале «ИКС-Медиа». Только 10% респонденты кардинально пересмотрели архитектуру своих будущих ЦОДов. При этом у 30% ИИ-хайп никак не поменял планы построения ЦОДов. Еще примерно столько же вообще не собираются строить свои ЦОДы, ориентируясь, видимо, на услуги коммерческих дата-центров.