Центры обработки данных (ЦОД) — одни из самых энергоёмких объектов в современной инфраструктуре. На системы охлаждения приходится 30–40% от общего энергопотребления ЦОД. Эффективное охлаждение критически важно для надёжности серверного оборудования: превышение температуры всего на 10°C от рекомендованного значения снижает надёжность электронных компонентов на 50%. Выбор стратегии охлаждения определяет как надёжность, так и эксплуатационные расходы ЦОД.
Источники тепловой нагрузки ЦОД
Практически вся электроэнергия, потребляемая серверами, преобразуется в тепло. Тепловая нагрузка ЦОД определяется плотностью размещения оборудования:
- Низкая плотность: 2–5 кВт на стойку. Традиционные серверные помещения.
- Средняя плотность: 5–15 кВт на стойку. Большинство современных ЦОД.
- Высокая плотность: 15–40 кВт на стойку. ЦОД с GPU-кластерами, высокопроизводительными вычислениями.
- Сверхвысокая плотность: 40–100+ кВт на стойку. AI-кластеры, блокчейн-фермы.
При плотности 10 кВт/стойка и 50 стойках тепловая нагрузка составляет 500 кВт. Для её отвода требуется система охлаждения с холодопроизводительностью не менее 550 кВт (с запасом 10%).
Стратегия холодных и горячих коридоров
Разделение холодных и горячих коридоров — основа эффективного охлаждения ЦОД. Серверные стойки устанавливаются рядами лицом к лицу, образуя чередующиеся холодные и горячие коридоры:
- Холодный коридор — пространство между лицевыми сторонами стоек. Сюда подаётся холодный воздух из фальшпола. Серверы забирают холодный воздух с лицевой стороны и выбрасывают горячий с задней.
- Горячий коридор — пространство между задними сторонами стоек. Здесь собирается нагретый воздух, который забирается системой охлаждения.
Преимущества стратегии холодных и горячих коридоров:
- Предотвращение смешивания холодного и горячего воздуха (снижение потерь на 15–30%).
- Повышение температуры возвратного воздуха (повышение эффективности холодильных машин).
- Снижение требуемой холодопроизводительности (меньший размер оборудования).
- Более точное поддержание температуры на входе в серверы.
Дополнительные меры изоляции коридоров:
- Заглушки свободных позиций в стойках — пластиковые панели, закрывающие неиспользуемые U-пространства. Предотвращают рециркуляцию горячего воздуха через стойку.
- Шторки на концах коридоров — пластиковые или тканевые шторки, изолирующие холодный коридор от остального помещения.
- Жёсткая изоляция коридоров — пластиковые или стеклянные панели, полностью закрывающие коридор. Максимальная изоляция.
Системы охлаждения CRAC и CRAH
Два основных типа систем охлаждения для ЦОД:
CRAC (Computer Room Air Conditioning)
Автономные кондиционеры для серверных помещений. Состоит из компрессора, испарителя (в помещении), конденсатора (снаружи) и вентилятора. Хладагент циркулирует в замкнутом контуре.
- Расположение: устанавливаются по периметру помещения или между рядами стоек (in-row).
- Холодопроизводительность: 10–100 кВт на единицу.
- Преимущества: простота монтажа, независимость от центральной системы, компактность.
- Недостатки: ограниченная холодопроизводительность, более высокий расход энергии (компрессор в каждом блоке).
- Применение: небольшие и средние ЦОД (до 200 кВт тепловой нагрузки).
CRAH (Computer Room Air Handler)
Воздухообработатели для серверных помещений. Состоит из вентилятора и змеевика охлаждения, подключённого к центральной холодильной машине (chiller). Холодоноситель — вода или раствор гликоля.
- Расположение: устанавливаются по периметру помещения, под потолком или между рядами стоек.
- Холодопроизводительность: 50–500 кВт на единицу.
- Преимущества: высокая холодопроизводительность, экономия энергии (холодильная машина с большим COP), гибкость (несколько CRAH на одну холодильную машину).
- Недостатки: сложность монтажа (трубопроводы, холодильная машина), риск протечек.
- Применение: средние и крупные ЦОД (от 200 кВт тепловой нагрузки).
Свободное охлаждение (Free Cooling)
Свободное охлаждение — использование наружного холодного воздуха для охлаждения ЦОД без работы холодильных машин. Применяется в регионах с низкими среднегодовыми температурами (большая часть России и СНГ).
Воздушное свободное охлаждение (Air-side economizer)
Прямое использование наружного воздуха. Когда температура наружного воздуха ниже температуры в ЦОД, наружный воздух фильтруется и подаётся в помещение, а нагретый воздух выбрасывается наружу.
- Условие работы: температура наружного воздуха ниже 18–22°C (в зависимости от требований).
- Экономия: 30–60% от энергопотребления охлаждения (в климате Москвы — около 60% года).
- Недостатки: требует сложной системы фильтрации, контроля влажности, защиты от загрязнений.
Водяное свободное охлаждение (Water-side economizer)
Использование сухой градирни (dry cooler) для охлаждения холодоносителя вместо холодильной машины. Когда температура наружного воздуха ниже температуры холодоносителя, вода охлаждается в сухой градирне и циркулирует через CRAH без работы холодильной машины.
- Условие работы: температура наружного воздуха ниже температуры холодоносителя (обычно 7–10°C).
- Экономия: 20–50% (в климате Москвы — около 50% года).
- Преимущества: не требует сложной фильтрации и контроля влажности воздуха, проще в эксплуатации.
Требования ASHRAE к параметрам ЦОД
Стандарт ASHRAE TC 9.9 устанавливает требования к параметрам окружающей среды в ЦОД:
- Температура на входе в сервер: рекомендованный диапазон 18–27°C. Допустимый — 15–32°C (класс A1).
- Влажность: рекомендованный диапазон 20–60% RH. Допустимый — 20–80% (класс A1). Точка росы — 5,5–15°C.
- Максимальная скорость изменения температуры: 5°C/час.
- Максимальная скорость изменения влажности: 5%/час.
Расширение рекомендованного диапазона (с 20–25°C до 18–27°C) позволяет больше использовать свободное охлаждение и снижать затраты на охлаждение. Работа при верхней границе диапазона (27°C) экономит энергию, но требует проверки допустимости для конкретного оборудования.
Энергоэффективность ЦОД: PUE
PUE (Power Usage Effectiveness) — основной показатель энергоэффективности ЦОД. Рассчитывается как отношение общего энергопотребления ЦОД к энергопотреблению ИТ-оборудования:
PUE = P_общая / P_ИТ
- PUE = 1,0: идеальный ЦОД (вся энергия идёт на ИТ-оборудование, ноль на охлаждение).
- PUE = 1,5–1,8: эффективный ЦОД (современные системы охлаждения, свободное охлаждение).
- PUE = 2,0–2,5: средний ЦОД (традиционные CRAC без свободного охлаждения).
- PUE > 3,0: неэффективный ЦОД (устаревшее оборудование, плохая изоляция коридоров).
Снижение PUE с 2,5 до 1,5 для ЦОД с ИТ-нагрузкой 1 МВт экономит 1 МВт энергии (при тарифе 6 руб/кВт·ч и работе 8 760 ч/год — 52,5 млн руб/год).
Заключение
Охлаждение ЦОД — критически важная система, определяющая надёжность и эксплуатационные расходы центра обработки данных. Стратегия холодных и горячих коридоров с изоляцией, правильно подобранная система охлаждения (CRAC для малых, CRAH с chiller для крупных), использование свободного охлаждения и соблюдение требований ASHRAE — основа энергоэффективного ЦОД с PUE 1,5–1,8. Для сверхвысоких плотностей (40+ кВт/стойка) требуются специализированные решения: жидкостное охлаждение, погружные системы, direct-to-chip.