Охлаждение сервера: Как охладить сервер? Типовые варианты охлаждения сервера. — ИНВЕСТИЦИОННЫЙ ПОРТАЛ ВОЛГОГРАДСКОЙ ОБЛАСТИ

09.06.2021

Содержание

от фальшпола до погружения в масло

Система охлаждения в серверной забирает на себя до 40% энергоресурсов. Это серьезные издержки для любой компании. В этой статье мы постараемся рассказать, какие варианты кондиционирования существуют, какие новые технологии появляются на рынке, помогающие снизить затраты на эксплуатацию подобных систем.

По данным агентства Spiceworks, опросившего более тысячи европейских и американских компаний, крупные бренды львиную долю своего hardware-бюджета в 2018 году собираются потратить на оптимизацию систем энергоснабжения и охлаждения серверных.

Для многих предприятий вопрос сокращения потребления электроэнергии является критическим. Дата-центр потребляет огромное количество энергии, и этот показатель в течение 10 лет грозит увеличиться втрое. Учитывая ежегодный рост тарифов минимум на 10%, проблема серьезная. Причем от 30 до 40% энергии в стандартной серверной комнате уходит именно на охлаждение.

Новые технологии, появившиеся на рынке в последние несколько лет, позволяют сократить энергопотребление серверных в разы. Для примера, большие ЦОД в среднем забирают до 100 млрд. кВт в год, при этом 30% серверов трудятся вхолостую. Если даже повысить эффективность на 20%, получается экономия в 20 млрд. кВт, по ценам американского рынка электроэнергии это примерно 2 млрд. долларов.

Тренды в обустройстве дата-центров 2018 года

Прежде чем перейти к обзору новых технологий в области охлаждения серверных комнат, пара замечаний по поводу трендов в организации ЦОД на предприятии. По большому счету, классический дата-центр компании, когда все вычисления происходят в одном месте, сегодня это устаревшее явление.

В моде децентрализация. Мы уже писали про популярность гибридной модели ИТ-инфраструктуры предприятия, позволяющей совмещать удобство облачных сред, контроль и безопасность, предоставляемые традиционными сетями.

Большинство западных компаний, вне зависимости от размера и сферы деятельности, предпочитают часть важных данных и корпоративных приложений оставлять у себя, а часть вычислений передавать в облако. В чистом виде локальные сети (on premises) больше практически нигде не встречаются. Этот фактор необходимо учитывать при построении собственного мини дата-центра.

По утверждению издания Data Centre Knowledge, 2018 пройдет под знаком «периферийных» дата-центров. Периферийные вычисления ни завтра, ни послезавтра не смогут полностью заменить облако. Но подобные решения уже органично дополняют традиционные дата-центры и облачные сервисы в инфраструктуре многих компаний. Они используются для того чтобы разнести географически вычислительные мощности ближе к источникам данных с помощью так называемых микро дата-центров или хабов.

Считается, что все больше вычислительных ресурсов переходят к оконченным устройствам, составляющим мир «интернета вещей»: беспилотные автомобили, дроны и т.д. На данный момент 10% всей генерируемый компаниями цифровой информации обрабатывается за пределами традиционных централизованных дата-центров или облака. К 2020 году, по мнению Gartner, этот показатель достигнет 50%.

Варианты систем охлаждения для серверных

Десятилетиями в серверных комнатах использовалась система воздушного кондиционирования, где были оборудованы стойки, холодные и горячие коридоры и фальшпол. Воздух здесь прокачивается с помощью бытового или высокоточного (прецизионного) кондиционера, сделанного под параметры конкретного помещения.

Бытует мнение, что для системы серверов мощностью до 5 кВт отдельная серверная – лишние траты. Все оборудование можно утрамбовать в одну стойку и оставить ее в углу рабочего помещения. Для системы до 10 кВт достаточно бытового кондиционера. Это выглядит разумным, пока не берутся в расчет убытки от простоев, потери данных при сбоях в отсутствии регулярных бэкапов.

Система традиционного кондиционирования с фальшполом

В современном дата-центре практически невозможно встретить систему охлаждения в виде фальшпола (для него, кстати, критически важна высота полотков) и компрессорных кондиционеров, где горячий воздух переносится от внутреннего блока во внешнюю среду. Это экономически чрезвычайно затратно при большой плотности оборудования.

Сам процесс охлаждения в серверной комнате или мини дата-центре можно разделить на несколько частей:

Охлаждение серверов.
Охлаждение помещение.
Выведение горячего воздуха за пределы помещения.

Современные решения являются комбинацией различных систем (воздушное, жидкостное охлаждение). Кондиционеры могут быть установлены на каждый серверный шкаф, сервер или даже процессор могут охлаждаться отдельно.

Есть варианты прямого (direct) и непрямого (indirect) кондиционирования. Второй обычно применяется в условиях, когда крайне нежелательно смешение воздуха в помещении с воздухом с улицы (загрязнение, насекомые и т.д.). В этом случае воздух перемещается по закрытой петле, отработанные потоки охлаждаются жидкостью (вода, этиленгликоль).

Считается, что системы жидкостного охлаждения более экологичны и экономичны. Экономия здесь идет за счет низкой стоимости хладагента, плюс такую систему легко масштабировать. По прогнозам, рынок жидкостных систем кондиционирования в мировом масштабе вырастет к 2020 году на 16%.

Погружение в масло

Новая продвинутая технология иммерсионного охлаждения серверов с помощью минерального масла была представлена на саммите OpenStack в ноябре прошлого года. Данный метод охлаждения не нов, он уже применяется в электрических трансформаторах и промышленных конденсаторах.

Во-первых, масло не проводит электричества, поэтому проблема возможных протечек решается сама собой. Во-вторых, это один из самых энергоэффективных вариантов. Масло обладает более высокой теплопроводностью, помогая лучше поглощать тепло и выводить его избытки.

В-третьих, как утверждают разработчики, такие системы готовы работать в экстремальных условиях даже на улице без постоянного контроля влажности и кондиционирования воздуха. Да и потом вода для охлаждения тоже в большинстве стран мира становится дефицитным ресурсом.

Подобное решение представила компания Horizon Computing. Их системы является, по сути, частью модульного дата-центра и представляют собой алюминиевый корпус размером 70x70x70 см, внутри которого могут располагаться четыре материнских платы microATX или восемь mini-ITX. Он заполнен специальным маслом, в который погружено оборудование. Правильная температура обеспечивается конвекцией радиатора.

Предположим, что процессор работает на полной мощности при температуре воздуха 32°С, его средняя температура составит 85°С. При наличие масла с температурой 34°С, средняя температура ЦП упадет ниже 65°С. При этом поддержание температурного режима в масляной ванне на уровне 34°C требует значительно меньше энергии, чем поддержание температуры воздуха в пределах 32°C. Система также позволяет довести плотность размещения компонентов в одной стойке до 65 кВт.

Компактные модули на литиевых батареях

Еще один революционный вариант, способный обеспечить энергоэффективность охлаждения серверных, представила недавно компания Teslamiser. Традиционный подход базируется на непрерывных источниках энергоснабжения (UPS) от стационарных генераторов или свинцово-кислотных аккумуляторных батарей. Это дорого с точки зрения как капитальных, так и операционных издержек.

Новый подход основывается на применении компактных модулей, источников питания для охладителей. Компания предлагает использовать литиевые батареи, наподобие тех, что установлены на автомобилях Tesla. В комплекте идет система мониторинга, способная обеспечить резервное питание при отключении электричества и оптимизировать расходование энергии.

По утверждению разработчиков, подобный резервный модуль может быть установлен на любой бытовой или промышленный кондиционер или систему с переменным током высокого напряжения.

Проектирование и установка системы охлаждения серверной комнате в каждом отдельном случае это индивидуальное решение. Серьезный фактор – климатические условия региона, а также плотность оборудования.

По классификации AFCOM, показатель плотности размещения 8 кВт на стойку уже считается достаточно высоким. В этом случае простым фрикулингом не обойтись, по крайней мере, в теплые периоды. Необходимо будет устанавливать компрессионные или жидкостные кондиционеры и оборудовать систему воздухоотвода.

Система мониторинга (в идеале охлаждение и энергопотребление должно контролироваться одной программой) для сложных комбинированных систем также является непременным условием их нормального функционирования.

Материал оказался полезным? Поделитесь с друзьями:

Стратегии охлаждения для серверных и небольших помещений | Журнал сетевых решений/LAN
 В архитектуре ЦОД и больших компьютерных залов всегда предусматривается система охлаждения. При этом многие ИТ-устройства по-прежнему располагаются за пределами машинных залов в локальных серверных, филиалах и других местах, при проектировании которых никаких требований к охлаждению оборудования не предъявлялось. Плотность размещения ИТ-оборудования со временем увеличивается, а в результате распределенное ИТ-оборудование (маршрутизаторы VoIP, коммутаторы и серверы) преждевременно выходит из строя из-за перегрева.
 Как правило, эти вопросы попросту игнорируются: организации начинают предпринимать необходимые меры только при возникновении проблем. Однако все больше и больше пользователей находят такой подход неудовлетворительным и требуют более активных действий по обеспечению должного уровня готовности распределенного ИТ-оборудования. Ниже излагаются основные принципы охлаждения небольших распределенных ИТ-сред и даются рекомендации по выработке эффективных спецификаций и проектированию вспомогательных систем охлаждения.
  ПРИЕМЛЕМАЯ РАБОЧАЯ ТЕМПЕРАТУРА В СЕРВЕРНЫХ
 Чтобы правильно подобрать решение для охлаждения серверной, сначала необходимо определить температуру, при которой будет функционировать оборудование в этом помещении. Поставщики обычно указывают максимальную температуру окружающей среды, при которой оно способно работать: для активного ИТ-оборудования средний показатель составляет 40°C (речь идет о температуре, при которой поставщик может обеспечить должную производительность и устойчивость работы своих устройств в течение гарантийного периода).
 При этом необходимо помнить, что функционирование в таких условиях не обеспечивает такого же уровня готовности и долговечности, как при более низких температурах. Именно поэтому некоторые поставщики, помимо максимальной, указывают также рекомендованную рабочую температуру. Обычно она составляет от 21 до 24°C.
   Рекомендованную и разрешенную для ИТ-оборудования рабочую температуру публикует также технический комитет TC 9.9 Американского общества инженеров по отоплению, охлаждению и кондиционированию воздуха (American Society of Heating, Refrigeration, and Air Conditioning Engineers, ASHRAE). Цель заключается в том, чтобы предоставить ориентир для обеспечения необходимой устойчивости и производительности аппаратных средств. Соответствующие показатели представлены в табл. 1.
 Таблица 1. Ограничения рабочей температуры ASHRAE TC 9.9
 Температуру следует поддерживать не выше 25°C.
  Если же это невозможно, в серверных с менее критичным оборудованием верхний предел составляет 32°C. В случае превышения этого показателя есть риск выхода оборудования из строя. 32°C — это тот максимум, который Международная организация по стандартизации (International Organization for Standardization, ISO) считает допустимым при небольшой нагрузке.
 Особое внимание следует уделить серверным с установленными в них источниками бесперебойного питания (ИБП). Повышение температуры гораздо сильнее влияет на долговечность батарей, чем на другие типы ИТ-оборудования. При 40°C батарея типового ИБП проработает всего 1,5 года, тогда как в нормальных рабочих условиях — 3–5 лет. Поэтому обязательным требованием должна стать температура ниже 25°C. Альтернативным вариантом может быть размещение централизованных ИБП в хорошо охлаждаемом месте за пределами серверной.
   ОСНОВНЫЕ ПРИНЦИПЫ ОТВОДА ТЕПЛА
 Для лучшего понимания сути вопроса полезнее было бы сформулировать его по-другому — с точки зрения отвода тепла, а не подачи холодного воздуха. Если тепло не отводить, оно будет накапливаться во всех замкнутых пространствах, где находится оборудование, а значит, температура станет повышаться. Каждый киловатт потребляемой ИТ-оборудованием электроэнергии создает киловатт тепла, которое необходимо отвести.
 Тепло можно сравнить с предметом, который катится вниз. Оно передается от объекта или среды с более высокой температурой к объекту или среде, у которых температура ниже. Чтобы отвести тепло, его нужно направить в более холодное место. Во многих реальных ситуациях такая возможность отсутствует.
 Тепло может покинуть небольшое замкнутое пространство, каковым являются офис или серверная, пятью различными способами:
  Естественная теплопроводность. Тепло уходит через стены во внешнюю среду.
 Пассивная вентиляция. Тепло уходит в более холодную среду через вентиляционное отверстие или решетку без применения вентилятора.
 Принудительная вентиляция. Тепло отводится с помощью вентилятора в более холодную среду через вентиляционное отверстие или решетку.
 Климат-контроль. Тепло удаляется с помощью охлаждающих систем здания.
 Выделенная система охлаждения. Тепло отводится с помощью специального кондиционера.
 Пять перечисленных методов имеют разные эффективность, ограничения и стоимость. Пользователи должны понимать, какой метод используется или предлагается в конкретной ситуации, какой больше подходит с учетом существующих ограничений и предпочтений и как должны определяться требования к проекту.
   На рис. 1 представлена общая схема для стратегии охлаждения в зависимости от текущей и целевой температуры в зале при обычных условиях. На ней показаны диапазоны производительности для различных методов. Не надо пытаться перевести эти ограничения в абсолютные цифры, поскольку стратегии перекрываются, а окончательное решение должно учитывать все факторы, от которых зависит степень охлаждения. Системы климат-контроля здесь не представлены, поскольку они могут быть очень разными, а их функционирование — непредсказуемым. Ниже мы рассмотрим этот вопрос более подробно.
 Рис. 1. Сопоставление методов охлаждения в зависимости от энергопотребления и целевой температуры в зале
 ЕСТЕСТВЕННАЯ ТЕПЛОПРОВОДНОСТЬ: ТЕПЛО УХОДИТ ЧЕРЕЗ СТЕНЫ
   В закрытых подсобных помещениях, которые встречаются довольно часто, единственным способом отвода тепла является кондуктивный теплообмен через стены. Чтобы этот метод работал, воздух внутри помещения должен быть более теплым, чем снаружи. Причем температура в нем растет тем сильнее, чем выше уровень энергопотребления работающего ИТ-оборудования.
 Рис. 2. Зависимость температуры в серверной от уровня энергопотребления ИТ-оборудования. Эффективность естественной теплопроводности
 Пример соотношения между средней температурой в серверной (в предположении ее равномерного распределения) и энергопотреблением оборудования приведен на рис. 2. Данное соотношение предполагает наличие закрытого помещения размером 3 × 3 × 3 м с утечкой воздуха со скоростью 23,6 л в секунду, стенами из гипсокартона и комфортным охлаждением снаружи до уровня 20°C (см. подробнее врезку «Предполагаемые условия для типовой серверной»).
   Предполагаемые условия для типовой серверной
 Для описания типовой серверной обычно используется экстенсивная модель, учитывающая теплопроводность стен, конвекцию и излучение. Под конвекцией понимаются естественный теплообмен со стенами комнаты и заданный воздушный поток (в результате утечки воздуха). Предположения об условиях в «типовой» серверной приведены ниже.
 Параметры типовой серверной
 Как видно из рисунка, такая типовая серверная поддерживает энергопотребление до 400 Вт, если температура в ней не должна превышать 25°C, и 1000 Вт, если приемлемым уровнем считается значение 32°C.
 
 Впрочем, серверные отличаются своими размерами и использованными стройматериалами, а на соотношение между температурой и энергопотреблением влияют и другие факторы, которые ограничивают использование этого метода. Основные факторы и характер их влияния перечислены в табл. 2.
 Таблица 2. Факторы, оказывающие влияние на температуру в серверной, и ожидаемый результат их воздействия
 Наиболее очевидный фактор — размеры помещения. Чем больше комната, тем лучше рассеивается тепло благодаря большей площади стен, потолка и пола. И чем она меньше, тем ниже эффективность охлаждения за счет естественной теплопроводности. Разница в эффективности представлена на рис. 3.
 Рис. 3. Влияние размеров помещения на эффективность охлаждения за счет естественной теплопроводности
 
 Материалы, используемые при строительстве стен, потолка и пола, тоже оказывают влияние на соотношение между температурой и рабочей нагрузкой, поскольку способность пропускать тепло у разных материалов разная. Если мы заменим стены из гипсокартона и панельный подвесной потолок, приведенные в примере выше, на 10-сантиметровые бетонные стены и 10-сантиметровые железобетонные перекрытия, эффективность охлаждения заметно повысится. Это наглядно можно увидеть на рис. 4.
 Рис. 4. Влияние строительных материалов на эффективность охлаждения за счет естественной теплопроводности
 Зачастую эффективность охлаждения за счет естественной теплопроводности снижается из-за повышения температуры внутри здания после отключения систем кондиционирования на выходные. Когда такое происходит, температура в серверной с ИТ-оборудованием синхронно увеличивается. В нашем примере при увеличении в выходные дни температуры внутри здания с 20 до 29°C (то есть на 9°C) можно ожидать соответствующего увеличения на 9°C и внутри серверной. Это означает, что в критичной серверной, где температура не должна превышать 25°C, придется отключить всю нагрузку, а в некритичной, где можно допустить 32°C, уровень энергопотребления не должен быть выше 250 Вт.
 
 Еще одно ограничение такого метода охлаждения связано с тем, что, если стены помещения одновременно являются внешними стенами здания, температура внутри будет зависеть от температуры внешней стены, на которую влияют как состояние окружающей среды, так и нагрев под воздействием солнца. Поэтому помещение, примыкающее к наружным стенам, в солнечные дни может перегреваться. В нашем примере в комнате размером 3 × 3 × 3 м при температуре 38°C на улице и солнечной теплоотдаче 1000 Вт/м² можно ожидать повышения температуры внутри помещения на 4–7°C.
 Эффективность охлаждения за счет естественной теплопроводности в закрытых помещениях варьируется в зависимости от их размеров, конструкционных материалов и внешних условий. В общем случае охлаждения исключительно за счет теплопроводности в критичных залах оказывается достаточно, если общее энергопотребление внутри помещения не превышает 400 Вт. При этом следует учитывать влияние и других факторов, перечисленных выше. В некритичных помещениях такой тип охлаждения можно использовать, если энергопотребление оборудования не превышает 1000 Вт.
 Итак, этот метод пригоден только при использовании маломощных ИТ-устройств, например стековых сетевых коммутаторов. Как видно из приведенных выше примеров, при увеличении энергопотребления температура быстро увеличивается. Учтите, что тепло выделяют и другие потребители энергии, в частности электрические лампочки. Поэтому освещение зала нужно организовать с использованием экономичных источников, которые автоматически отключались бы, когда в помещении никого нет.
 ПАССИВНАЯ И ПРИНУДИТЕЛЬНАЯ ВЕНТИЛЯЦИЯ: ТЕПЛО ОТВОДИТСЯ В БОЛЕЕ ХОЛОДНУЮ СРЕДУ ЧЕРЕЗ ВЕНТИЛЯЦИОННЫЕ ОТВЕРСТИЯ И РЕШЕТКИ
 Залы можно охлаждать с помощью воздуха, поступающего из остальной части здания. При этом применяется как пассивная вентиляция через специальные отверстия и воздухозаборники, так и активная — с помощью вентиляторов. Основное условие заключается в том, чтобы температура в зале не превышала значительно температуру в здании.
 Примеры систем вентиляции представлены на рис. 5. Как показано на рис. 6, температура в вентилируемом помещении меняется в соответствии с уровнем энергопотребления ИТ-оборудования.
 Рис. 5. Примеры двух типов вентиляции помещений: а — пассивная вентиляция; б — принудительная вентиляция
 В графическом виде эта ситуация представлена на рис. 5. Кривая пассивной вентиляции характеризует работу оборудования, изображенного на рис. 5, а. В случае принудительной вентиляции (рис. 5, б) температура повышается медленнее (по сравнению с пассивной), при этом предполагается, что поток воздуха генерируется со скоростью 226,5 л в секунду. Рост температуры снижается по мере увеличения потока воздуха. Для этого необходимо установить вентиляторы большей мощности или дополнительную вентиляционную систему.
 Рис. 6. Зависимость температуры в помещении от энергопотребления ИТ-оборудования при пассивной и принудительной вентиляции
 Вентиляция — очень практичный метод охлаждения зала. Для критичных помещений при энергопотреблении ниже 700 Вт вполне достаточно пассивной вентиляции, а если энергопотребление составляет от 700 до 2000 Вт, справится принудительная. Поддержка еще более высоких уровней энергопотребления достигается путем увеличения мощности вентиляторов или установки дополнительных вентиляционных систем.
 В некритичных помещениях для энергопотребления, не превышающего 1750 Вт, достаточно пассивной вентиляции, а в случае 1750–4500 Вт — принудительной. Правильное размещение вентиляционных отверстий и вентиляторов по отношению к ИТ-оборудованию тоже способствует эффективному охлаждению. При этом методе важное значение имеют внешние факторы, роль которых была проиллюстрирована на рис. 4 и 5.
 КЛИМАТ-КОНТРОЛЬ: ТЕПЛО МОЖНО ОТВОДИТЬ С ПОМОЩЬЮ ОХЛАЖДАЮЩИХ СИСТЕМ ЗДАНИЯ
 Во многих зданиях уже установлены системы кондиционирования воздуха или объединенные системы кондиционирования и обогрева, позволяющие создать комфортные условия для персонала. Обычно у таких решений имеется система каналов и воздуховодов, которой можно воспользоваться при прокладке дополнительных вентиляционных каналов. Однако с помощью простого добавления последних редко удается решить проблему охлаждения залов, зачастую, напротив, ситуация только усугубляется.
 Системы комфортного кондиционирования периодически включаются и отключаются. В качестве стандартного средства контроля обычно используется термостат, который размещается в заданной зоне, но не в серверной. Для небольшого пространства серверной, в которой находятся ИТ-устройства, это означает, что температура будет то снижаться, то возрастать. Однако ее существенные перепады наносят еще больший вред оборудованию.
 Передовой опыт использования систем комфортного кондиционирования предусматривает ослабление заданных настроек температуры по ночам и в выходные с целью экономии электроэнергии. Некоторые системы вообще отключаются. Если серверная является частью более крупной зоны, средняя температура в ней увеличивается в соответствии с заданным ограничением. При добавлении канала придется сделать выбор между напрасным расходом электроэнергии по ночам и выходным и еще большим увеличением температурных скачков в серверной.
 Чтобы использовать систему комфортного кондиционирования для охлаждения серверной, ее нужно превратить в выделенную зону с собственными прямыми и возвратными каналами, воздухораспределительными устройствами (вентиляторным доводчиком, системой кондиционирования с переменным расходом воздуха) и управляющими устройствами (термостатами). Но такое решение непрактично.
 Организация выделенной зоны для серверной сопряжена со следующими трудностями:
 Обеспечение адекватного постоянного статического давления во входном канале системы кондиционирования с переменным расходом воздуха (Variable Air Volume, VAV), особенно в жаркие летние дни, когда охлаждающее оборудование работает на полную мощность.
 Очень низкая плотность рассеиваемой мощности. Большинство систем комфортного охлаждения должны обеспечивать охлаждение на уровне 43–54 Вт/м², что эквивалентно 150 Вт на стойку (если считать, что каждая стойка занимает 2,8 м²).
 Недостаточная масштабируемость.
 Высокая стоимость реализации.
 Зачастую центральная система охлаждения является частью основной или дополнительной системы отопления. В таких ситуациях входной воздуховод, построенный для охлаждения серверной, в зимние месяцы будет подавать туда тепло. А это всегда нежелательно.
 Вмешательство в систему комфортного кондиционирования здания для охлаждения ИТ-помещений в общем случае недопустимо. Если воздуховод уже существует, его нужно убрать или отключить либо заменить или дополнить одним из других ранее уже описанных подходов.
 СПЕЦИАЛЬНОЕ ОХЛАЖДЕНИЕ: ТЕПЛО МОЖЕТ ОТВОДИТЬСЯ ВЫДЕЛЕННЫМ КОНДИЦИОНЕРОМ ВОЗДУХА
 Наиболее эффективный способ обеспечить контроль за температурой в серверной — это установка выделенного оборудования для кондиционирования помещения. Однако, по сравнению с использованием пассивной или принудительной вентиляции, выделенное кондиционирование может оказаться слишком сложным и дорогостоящим решением. Такой вариант следует выбирать, только когда это действительно требуется.
 В общем случае выделенную систему кондиционирования рекомендуется устанавливать, когда уровень мощности превышает примерно 2000 Вт для критичных серверных помещений и 4500 Вт для некритичных. При определении мощности очень важно учитывать подробные спецификации энергопотребления, предоставленные поставщиком ИТ-оборудования, и установить уровень мощности для конкретной конфигурации ИТ-оборудования.
 Как правило, фактическая мощность конкретного оборудования значительно ниже номинальной, которая указывается на задней панели, и ее правильное определение может избавить от существенных затрат и уменьшить сложность системы охлаждения. К примеру, конфигурируемые маршрутизаторы с номинальной мощностью 5–6 кВт на самом деле потребляют всего 1–2 кВт. При правильных расчетах, возможно, кондиционер и не понадобится.
 Бывают ситуации, когда выделенный кондиционер нужен, даже если вентиляция представляется технически жизнеспособной альтернативой. К таковым относятся:
 наличие в вентиляционном воздухе за пределами серверной значительной доли пыли и других загрязняющих веществ;
 подверженность вентиляционного воздуха за пределами серверной существенным перепадам температуры;
 невозможность добавления вентиляционных воздуховодов в связи с особенностями условий аренды или ремонта.
 В таких случаях вентиляция, в которой используется воздух, находящийся внутри здания, оказывается нежизнеспособной альтернативой и остается единственный вариант — монтаж выделенной системы кондиционирования.
 ВЛИЯНИЕ ИБП НА СИСТЕМУ ОХЛАЖДЕНИЯ СЕРВЕРНОЙ
 Общая и рекомендованная практика заключается в использовании в серверных небольших распределенных систем ИБП для обеспечения непрерывности бизнеса. В зависимости от предъявляемых требований они могут предоставлять резервное питание ИТ-нагрузки в течение короткого или увеличенного (больше часа) периода времени. В любом случае тепловая нагрузка, создаваемая ИБП, значительно ниже соответствующей нагрузки ИТ-оборудования, и ее можно проигнорировать.
 При наличии ИБП ИТ-оборудование по-прежнему будет в течение какого-то времени генерировать тепло в случае прекращения энергоснабжения. Поэтому охлаждающая система не должна отключаться. Если продолжительность расчетной работы от ИБП меньше 10 мин, термальная масса воздуха и поверхности стен внутри серверной сохраняют температуру в разумных пределах. Никаких предварительных мер предпринимать не требуется.
 Если же ИБП спроектированы для поддержки нагрузки на протяжении более чем 10 мин, системы охлаждения должны работать в течение всего этого периода. Это означает, что при использовании системы принудительной вентиляции или воздушного кондиционера вентилятор и кондиционер должны получать энергоснабжение от ИБП. Потребность в энергоснабжении вентилятора или кондиционера нужно учитывать при расчете необходимой мощности ИБП.
 В случае принудительной вентиляции эта проблема стоит не так остро, но для кондиционеров нужны значительно более мощный ИБП и более емкие батареи (зачастую пусковой ток кондиционера в 4–6 раз превышает номинальный). Поэтому при наличии возможности следует использовать не кондиционеры, а принудительную вентиляцию.
 Практичной и экономичной альтернативой кондиционеру, выделенному для ИБП, считается установка принудительной вентиляции. В идеале вентиляционная система должна получать энергоснабжение при любых условиях, чтобы обеспечивать определенный уровень воздухообмена в комнате. При этом выделенный кондиционер не задействован. Система принудительной вентиляции выполняет резервную роль до момента восстановления энергоснабжения (и автоматического повторного запуска кондиционера).
 АТРИБУТЫ ЭФФЕКТИВНОЙ ПРИНУДИТЕЛЬНОЙ ВЕНТИЛЯЦИИ
 На основании вышеизложенного можно сделать вывод, что чрезмерное тепло в серверной должно вызывать обоснованное беспокойство, а самыми простыми решениями в данном случае являются пассивная или принудительная вентиляция. Несмотря на то что пользователям доступен большой выбор таких систем, существуют и готовые решения с хорошими характеристиками, предназначенные специально для охлаждения серверных. В табл. 3 указано, на что следует обратить внимание при создании вентиляционной системы для серверной.
 Таблица 3. Функции и преимущества вентиляционной системы
 ЗАКЛЮЧЕНИЕ
 Для большинства ИТ-помещений наиболее эффективной и практичной стратегией охлаждения является вентиляция. Хорошо спроектированная и реализованная система пассивной вентиляции эффективна при низких уровнях нагрузки. Для серверных, где установлены маршрутизаторы VoIP и серверы с высоким уровнем энергопотребления, рекомендуется спроектировать принудительную вентиляцию.
 Когда уровень энергопотребления в критичных серверных превышает 2000 Вт (4500 Вт в некритичных серверных) либо окружающий воздух за их пределами становится горячим, неконтролируемым или загрязненным, предпочтительна установка выделенного кондиционера воздуха. Использовать существующие системы комфортного кондиционирования для охлаждения серверной нежелательно, поскольку почти всегда возможны колебания температуры внутри помещения.
 Появление вентиляционных систем, специально разработанных для ИТ-помещений, упрощает процесс выбора и позволяет внедрять стандартизированные решения для их охлаждения.
 Нил Расмуссен, старший президент по инновациям в Schneider Electric,
 Брайан Стэндли, менеджер линейки малых систем охлаждения в American Power Conversion
  
  
  
  
  
  
  
  
 Стратегии охлаждения для серверных и небольших помещений
Поделитесь материалом с коллегами и друзьями
Охлаждение серверной | АквилонСтройМонтаж
Охлаждение серверной – помещения, в котором размещаются компьютеры, сервера, очень важно для полноценной работы предприятия. Это важнейшие технические объекты, несущие всю информационную базу и обеспечивающие связь компании с внешним миром. При работе оборудование выделяет тепло. Если не избавляться от него, то это пагубно скажется на функционировании электроники. При этом нужно добиться не только охлаждения серверной комнаты, но и соблюсти ряд других параметров – поддерживать на определенном уровне влажность и устранять запыленность. В противном случае дорогостоящая электронная техника быстро выйдет из строя. Именно поэтому грамотно спроектированные системы кондиционирования – первостепенная задача при обустройстве серверного помещения.
 
 Нажмите на картинку, чтобы увеличить ее.
Система охлаждения сервернойСуществует несколько разных систем, обеспечивающих охлаждение серверных помещений. Однако не все климатические системы одинаково эффективно справляются с поставленными задачами. Давайте рассмотрим самые распространенные методы кондиционирования и постараемся найти оптимальное решение.
5 причин приобрести системы охлаждения помещений от АквилонСтройМонтаж 
Использовании технологии Регулируемой газовой среды
 
Поддержание заданного температурного режима в каждой точке объема помещения
 
Точное распределение воздушного потока при заданной температуре.
 
Подбор оборудования исходя из существующей теплоизоляции
 
Комплексное использование охлаждения и вентиляции

 ОСТАВИТЬ ЗАЯВКУ
Сплит-система
1.Сплит-система подойдет для небольших помещений с умеренным количеством компьютерной техники. Это могут быть бытовые или промышленные сплит-системы повышенной мощности. Используются разные типы – канальные, настенные, колонные, реже – потолочные. Желательно, еще на стадии проектирования предусмотреть дублирующую климатическую систему на случай поломки основной. Дополнительно приходится монтировать зимний комплект и другие опции для исключения вероятности поломки. Отсюда можно сделать вывод, что охлаждение в серверной при помощи сплит систем имеет немало недостатков:
Температура поддерживается с недостаточной точностью.
Воздух чрезмерно иссушается, что приводит к лишней наэлектризованности.
Неэффективная система фильтрации и малая мощность вентиляторов приводят к появлению пыли, губительной для серверов.
Конденсация выделяемой влаги сопровождается лишним расходом энергии, поэтому КПД понижается.
Круглосуточная и круглогодичная эксплуатация системы очень быстро приводит к выработке ресурса.
Прецизионные кондиционеры
Прецизионные кондиционеры стоят дороже, но гораздо надежнее, если нужно охлаждение для серверной. Это профессиональные климатические системы, способные точно поддерживать заданную температуру и создавать необходимый уровень влажности. По сравнению со сплит-системами они обладают рядом неоспоримых достоинств:
Точнейший температурный режим и уровень влажности.
Могут работать круглогодично без перебоев.
Спокойно выдерживают эксплуатацию при сильном морозе и жаре. Некоторые из них выдерживают показатели от -60 до +60С.
Совместимы с системами управления и диспетчерского контроля.
Классификация этих систем обширна. Они могут выполняться по типу моноблоков или сплит-систем, но при этом имеют совсем другие характеристики. Стандартная система состоит из каркаса с автоматикой, фильтрами, теплообменниками, вентиляторами, силовой электрикой и элементами холодильного контура. Панели надежно защищают все содержимое от негативных внешних воздействий. Их принцип работы достаточно прост. Прибор забирает воздух из помещения или снаружи, внутри он охлаждается, увлажняется и выпускается в помещение. Забор воздуха осуществляется разными способами – снизу или сверху.
Исходя из площади серверной, можно рассматривать три варианта систем охлаждения:
Охлаждается вся площадь в целом.
Обслуживается каждый ряд серверов по отдельности.
Индивидуальное обслуживание каждой стойки и серверного шкафа.
Чаще всего отдают предпочтение первому способу, так как он достаточно эффективен и при этом прост в выполнении. Но стоит отметить неравномерное расхождение охлажденного воздуха, поэтому его целесообразно использовать только для небольших помещений. Кондиционирование по рядам считается более рациональным. На каждый ряд устанавливается отдельный блок, отвечающий за охлаждение.
Если вас интересует охлаждение серверной, но вы не знаете, какому способу отдать предпочтение, то просто обратитесь к нашим специалистам. Квалифицированная помощь быстро решит ваши проблемы. Компания «АквилонСтройМонтаж» по вашему запросу займется разработкой индивидуальной системы в зависимости от площади помещения, количества и технических характеристик установленного в нем оборудования. У нас вы можете рассчитывать на умеренные цены, высокое качество оборудования и предоставляемых услуг.
Охлаждение серверов: новости от Microsoft, Google, Wiwynn, Cooler Master, Vert Rotors, Asperitas и Shell
До недавнего времени мощность IT-оборудования внутри серверных стоек ЦОД оставалась стабильной на уровне от 3 до 5 кВт, что позволяло оптимизировать температурный режим серверов с помощью воздушного охлаждения, используя чиллеры и кондиционеры для машзалов.
Когда плотность мощности IT-оборудования внутри среднестатистической стойки увеличилась до 10 кВт, встал вопрос о повышении эффективности воздушного охлаждения. Для этого были созданы системы «горячих» и «холодных» коридоров, обеспечивая значительную экономию энергии через предотвращение смешивания холодного воздуха, поступающего к серверу, и нагретого воздуха, выходящего из сервера, с помощью физического барьера.
Но на фоне продолжающегося роста плотности мощности IT-оборудования внутри серверных стоек операторы, строители и проектировщики ЦОД вынуждены искать еще более продвинутые подходы к оптимизации температурного режима серверов. И помогают им в этом такие вендоры как Microsoft, Google, Wiwynn, Cooler Master, Vert Rotors, Asperitas и Shell.
Автономное решение для жидкостного охлаждения на уровне стойки от Wiwynn
Компания Wiwynn продемонстрировала автономное решение для жидкостного охлаждения на уровне стойки с серверами следующего поколения, совместимое с открытыми спецификациями Open Compute Project (OCP). Решение поддерживает спецификацию Open Rack Standard V3 (ORV3) от Open Compute Project и обратно совместимо с OCP ORV2.
Усовершенствованное решение Wiwynn для жидкостного охлаждения серверов поддерживает плотность мощности на уровне до 36 кВт на стойку. Система использует теплообменник на задней дверце стойки (RDHx) для охлаждения жидкости, которая передает тепло от мощных компонентов серверов (CPU, GPU или ASIC) через охлаждающие пластины.
Такая конструкция делает продукт автономным, не требует дополнительных охлаждающих блоков и внесения изменений в уже развернутую инфраструктуру ЦОД. А поддержка быстроразъемных соединений повышает удобство обслуживания и управления.
Hyve Solutions и Cooler Master будут вместе создавать серверы с системами жидкостного охлаждения
Ведущий поставщик серверов для гипермасштабных дата-центров Hyve Solutions Corporation объявил о заключении соглашения о партнерстве с компанией Cooler Master Corporation, которая является крупным производителем охладительных решений. Вендоры будут совместно проектировать и производить передовые серверы на базе новейших технологий жидкостного охлаждения для высокоплотных гипермасштабных вычислительных систем.
В частности, партнеры обещают, что их продукты позволят операторам ЦОД удвоить вычислительную мощность без повышения занимаемой теплообменниками площади относительно аналогов на базе воздушного охлаждения. Вендоры нацелены главным образом на сегмент компактных высокопроизводительных вычислительных систем.
Microsoft делится технологиями жидкостного охлаждения серверов
Софтверный гигант Microsoft опубликовал в открытом доступе в рамках инициативы Open Compute Project ряд спецификаций на технологии и системы охлаждения центра обработки данных. Об этом было объявлено на саммите OCP, который в этом году был переведен через интернет из-за пандемии Covid-19.
Представители Microsoft также заявили, что корпорация работает с некоторыми членами OCP, включая Facebook и CoolIT, над созданием нового стандарта по разработке систем оптимизации температурного режима серверов на базе на базе охлаждающих пластин. Такие устройства использовались в суперкомпьютерах в течение многих лет. Но в текущем виде они очень индивидуализированы и не предназначены для легкого обслуживания.
Эксперты софтверного гиганта предсказывают, что жидкостное охлаждение в целом и, в частности, охлаждение серверов погружением выйдут на передний план и продлят существование закона Мура, предполагающего регулярное удвоение плотности размещения транзисторов и вычислительной мощности каждые полтора-два года.
Vert Rotors создает роторный компрессор нового типа
Эдинбургская компания Vert Rotors получила финансирование в размере 720 000 фунтов стерлингов для усовершенствования роторного компрессора новой конструкции и организации массового производства этого продукта. Компания стоит за разработкой конического роторного компрессора, который, как говорят ее инженеры, способен создавать высокое давление при переменных скоростях работы с низким уровнем шума и вибрации.

Вместо того чтобы вращать роторы, расположенные рядом друг с другом, технология Vert Rotors предполагает размещение одного ротора внутри другого. Роторы вращаются в одном и том же направлении с разными скоростями, сжимая воздух по мере его движения вниз по конусу. Это приводит к значительному росту эффективности без увеличения занимаемого пространства и веса.
Технология Vert Rotors была разработана для различных форм-факторов, а также для реализации индивидуальных проектов, требующих сжатия воздуха, газа или хладагентов, Два воздушных компрессора с использованием этой технологии были представлены в прошлом году.
Дополнительное финансирование от группы существующих инвесторов, включая Par Equity, Equity Gap, Aero Den и Scottish Investment Bank, позволит компании организовать массовое производство продукции и вывести ее на новые рынки.
Asperitas и Shell анонсировали новую охлаждающую платформу и жидкость для иммерсионного охлаждения серверов
Новая платформа охлаждения и охлаждающая жидкость были совместно анонсированы Asperitas и Shell на виртуальной конференции Open Compute Project. Новая жидкость Shell Immersion Cooling Fluid S5 X была представлена вместе с новым устройством для жидкостного охлаждения Asperitas AIC24 21. 

Хладагент, разработанный Shell в сотрудничестве с Asperitas, представляет собой синтетическую однофазную жидкость для иммерсионного охлаждения, изготовленную из газа с использованием технологии газожидкостной конверсии Shell. Эта охлаждающая жидкость предназначена для снижения энергетических затрат и выбросов благодаря своим термодинамическим свойствам. Она будет доступна на рынке систем иммерсионного охлаждения серверов.
Что касается нового продукта Asperitas, речь о крупном резервуаре для иммерсионного охлаждения серверов. Он может вместить 24 сервера шириной в 21 дюйм каждый. Продукт позиционируется как решение для иммерсионного охлаждения с естественной конвекцией, но в заявлении компании также говорится, что применяемая в Asperitas AIC24 21 охлаждающая жидкость может использоваться в системах с помпой / принудительной циркуляции хладагента от других поставщиков.
Новый продукт может использоваться для рекуперации тепла. При этом более 98 процентов выделяемой серверами тепловой энергии превращается в горячую воду. Каждый блок Asperitas AIC24 21 поставляется в комплекте с интеллектуальной системой мониторинга и управления на основе встроенных датчиков.
Google AlphaGo поможет снизить энергозатраты на охлаждение серверов
Поисковый гигант Google в сотрудничестве с британской компанией по искусственному интеллекту (ИИ) DeepMind ведет разработку алгоритма ИИ, который снижает энергопотребление ЦОД за счет повышение эффективности систем охлаждения серверов, не требуя развертывания нового дорогостоящего оборудования.
Алгоритм Google и DeepMind, получивший название AlphaGo в связи с его способностью побеждать людей в настольную игру Go, ранее уже был применен в центрах обработки данных Google, что привело к снижению затрат на системы охлаждения на 40 процентов. Этот алгоритм методом проб и ошибок определяет лучшую конфигурацию инфраструктуры охлаждения.
Используя методы глубокого обучения, ИИ разбивает огромное количество статистических данных в разрезе различных аспектов работы центра обработки данных и использует прогнозное моделирование для оценки влияния на энергопотребление тех или иных факторов.
Система глубокого обучения помогает установить вероятные взаимосвязи между различным холодильным оборудованием и IT-инфраструктурой и, применяя прогностические модели, оптимизирует работу систем охлаждения для снижения энергопотребления.
Аналитика на основе ИИ используется для прогнозирования перегрузок системы и вероятностей перегрева. Это позволяет новой платформе выполнять функции помимо прочего и системы раннего предупреждения, на которую могут положиться операторы ЦОД.
В настоящее время DeepMind использует данные, собранные в центрах обработки данных Google, чтобы сократить расходы на охлаждение в других ЦОД, что может привести к огромной экономии электроэнергии. В Google также надеются, что эта инициатива поможет снизить углеродный след дата-центров поискового гиганта и индустрии ЦОД в целом.
сравнение бытовых и прецизионных кондиционеров
Функционирование электрооборудования связано с выделением значительного количества тепла. В связи с этим система охлаждения помещений для серверов является важной частью их обустройства. При планировании кондиционирования учитывается, что мощность системы кондиционирования должна быть не менее пикового тепловыделения ИТ оборудования. Для безопасной работы характеристика должна превышать максимум мощности оборудования, находящегося в помещении на 20-40%. 
Планирование системы охлаждения 
При необходимости обустройства собственной серверной необходимо заранее решить какая система охлаждения будет установлена в помещении. Для серверных помещений, ЦОД выпускаются специальные прецизионные системы кондиционирования. На практике применяют для небольших серверных и обычные сплит системы для экономии капитальных затрат.
Бытовые или полупромышленные сплит-системы в большинстве случаев имеют мощность, не превышающую 10-15 кВт. Для работы электронного оборудования, пиковый параметр которого не превышает этот показатель такого охлаждения будет достаточно. Более мощные кондиционеры относятся к промышленному или коммерческому типу. Их стоимость при этом будет приближаться к цене прецизионных аналогов.
Прецизионные кондиционеры предпочтительнее для снятия теплопритоков от оборудования, поскольку конструктивно имеют большую поверхность испарителя, чем бытовые. Это приводит к минимизации потерь энергии на конденсацию влаги из воздуха (полная холодопроизводительность почти равна явной). В результате при работе прецизионных кондиционеров в режиме охлаждения не происходит осушения воздуха, отрицательно сказывающегося на состоянии серверного оборудования. 
 
Определяя вид системы охлаждения в серверной, необходимо учитывать и дополнительные условия:
наличие отопительных коммуникаций;
локацию помещения;
присутствие другого оборудования;
особенности помещения, ограничивающие отведение тепла.
 
При мощности сервера в 5 кВт достаточно будет установить бытовую сплит-систему с низкотемпературным комплектом для работы зимой в режиме охлаждения. В других случаях оптимально подобрать прецизионный кондиционер. При планировании увеличить количество серверного оборудования в будущем лучше устанавливать систему кондиционирования с запасом по мощности.
Требования к кондиционерам в серверных
Некомпетентный выбор системы кондиционирования для серверной приводит к выходу из строя оборудования. Основные условия, которым должна соответствовать надежная система охлаждения:
бесперебойная круглогодичная работа;
функционировать в диапазоне наружных температур -30℃ – +45℃;
наличие резервного кондиционера, автоматически включающегося при выходе из строя основного;
возможность ротации оборудования для техобслуживания системы охлаждения.
 
Устанавливая систему охлаждения для серверной целесообразней заранее предусмотреть процесс техобслуживания оборудования. Режим остановки одного кондиционера для ТО и автоматического ввода другой системы охлаждения самый оптимальный. Наличие резервного устройства обойдется дешевле, чем ремонт дорогостоящего серверного оборудования.
Периодичность ТО систем охлаждения
Процедура техобслуживания кондиционеров, обеспечивающих работу серверов, заключается в своевременном проведении профилактических работ. Такой подход позволяет определить состояние узлов системы, выполнить замену изношенных деталей. В основном ТО проводится:
ежемесячно;
раз в квартал;
каждые полгода.
 
Проведение работ по техобслуживанию системы охлаждения владелец серверной может назначить самостоятельно, без ущерба для производства.
Что такое жидкостное охлаждение серверов и зачем оно нужно

Тему жидкостного охлаждения за последние десять лет поднимают все чаще — тепловая нагрузка на серверные и ЦОДы растет, а самой распространенной технологией охлаждения все еще является климат-контроль и встроенные вентиляторы серверов, что не всегда эффективно.

Технология, впрочем, не стоит на месте — сначала ведь речь шла о жидкости в кондиционерах, затем о подаче ее прямо в корпусы работающих компьютеров и, наконец, о погружении в охлаждающую жидкость работающих плат. 

Все три варианта называются «жидкостным охлаждением», но наиболее радикальный из них, третий, вызывает больше всего надежд на будущее и применяется сегодня все чаще. Не парадокс ли это? Давайте разбираться.
 
Погружное жидкостное охлаждение

Жидкостное охлаждение, происходящее непосредственно в кондиционере, кажется логичным. Доставка жидкости в корпус работающего компьютера или сервера — рискованной. Но погружение в жидкость плат? С первого взгляда это по крайней мере странно, но на самом деле такой подход — самый «древний», его использовали еще в 1920-х годах для охлаждения высоконагруженного оборудования. Да и сейчас его можно встретить часто, просто в соответствующих устройствах: электротрансформатора высокого напряжения, электроподстанциях, конденсаторах.

Кроме того, использоваться для охлаждения погружением будет, конечно, не вода, а масло — как правило, белое минеральное масло, отличный хладагент с низкой вязкостью, высокой теплоемкостью, нетоксичное и экологичное. Кроме того:
Этот способ охлаждения дешевле. Хладагент можно поддерживать на уровне всего сорока градусов по Цельсию (воздух приходится охлаждать до 24), серверные вентиляторы задействовать больше не нужно — а это экономия до 20% электроэнергии, шедшей на сервер!
Этот способ позволит плотнее располагать оборудование. Немалый вклад в дизайн корпусов Rackmount или Blade внесен необходимостью располагать в них вентиляторы — но теперь в них нет нужды. Зачастую даже в индивидуальных корпусах она пропадает.
Погружное охлаждение делает работу оборудования более надежной. Пыль серверы собирать перестают, поломка вентилятора не будет причиной сбоя, температура распределяется по стойке равномерно — срок эксплуатации сервера увеличивается!
После аварийных ситуаций вернуться в штатный режим проще, а иногда такие ситуации и не возникают: если у вас вышло из строя воздушное охлаждение, то оборудование перегреется за несколько минут, а если жидкостное, то процесс займет от 1 до 4 часов.
Жидкостное охлаждение снижает вибрацию конструкции. Работающий вентилятор же производит такую вибрацию, что может даже приводить к ошибкам чтения и записи жестких дисков.


Конечно, не все так уж радужно, или все серверы уже давно были бы избавлены от корпусов и погружены в масло. Для установки такого охлаждения сервер придется модифицировать, обычные стойки, конечно же, не подойдут, а те, которые подойдут, очень массивны — займут больше места и будут больше весить (прикиньте сколько масла нужно на 42U!)

Последние несколько лет ведутся активные разработки оборудования, которое работало бы в таком вот новом форм-факторе — и так энергозатраты на охлаждение получается уменьшить на 90%, а общие энергозатраты — на 25%. В случае с центрами обработки данных это был бы существенный плюс к прибыли!

Однако главным противником широкого распространения масляного охлаждения является не это, а инерция рынка — даже обширные ЦОДы и корпоративные серверные, способные получить от такого перехода немалую прибыль, еще не приняли технологию как актуальную. 
Создание массива RAID1 на базе контроллера Adaptec
22 Сентября 2017
 ЧитатьМал да удал — HP MicroServer Gen10
28 Февраля 2019
 ЧитатьКак улучшить работу IT-инфраструктуры, задав себе 6 простых вопросов
22 Августа 2019
 ЧитатьКондиционер для серверной комнаты. Охлаждение серверной
Многие предприятия и организации выделяют под серверное и коммутационное оборудование специальные серверные комнаты. Казалось бы, всё сделано по правилам, но и тут может подстерегать проблема: оборудование начинает перегреваться, а это чревато многочисленными проблемами ― от снижения производительности до выхода сервера из строя.
Вот почему кондиционер в серверной ― это не роскошь, а необходимость!
В задачи кондиционеров для серверной комнаты входят:
Охлаждение воздуха в помещении с аппаратурой до оптимальной температуры и поддержание этой температуры.
Очистка воздуха от пыли.
Регулировка влажности воздуха в серверной.
Какие требования предъявляются к кондиционерам в серверной?
1

Здесь не устанавливают маломощные кондиционеры, они не способны обеспечить достаточное охлаждение серверных;
2

В кондиционерах должны быть смонтированы воздушные фильтры для задержки пыли;
3

Необходимо, чтобы в кондиционерах стояли так называемые «зимние комплекты» – они поддерживают постоянную температуру в серверной комнате даже при очень низкой или очень высокой температуре за окном. 
На сегодняшний день мы готовы предложить Вам:  Лучшие цены на высококачественную продукцию известных мировых производителей систем охлаждения серверных помещений.
Реализацию сложных, нестандартных проектов.
Постгарантийное техническое обслуживание, ремонт и поставку запасных частей кондиционеров.Наша компания обладает богатым опытом реализации проектов кондиционирования воздуха на телекоммуникационных объектах и ЦОД. Мы в состоянии выстроить энергоэффективную систему любого уровня сложности и любой конфигурации, отличающуюся высочайшим уровнем надежности и безопасности.
Опираясь на этот опыт, мы находим то единственно верное решение, которое необходимо для конкретной задачи!
Команда инженеров-монтажников «СофтЭксперт» осуществляет полный комплекс услуг в области кондиционирования:
 С помощью тепловизора составляем тепловую карту помещения, вычисляем рассеиваемую мощность серверного оборудования и на основе этих данных подбираем оптимальные мощность и место расположения кондиционеров;
 Помогаем определиться с выбором из более, чем 300 моделей, исходя из индивидуальных требований.
 Доставляем оборудование на объект, монтируем его и занимаемся профессиональным обслуживанием.
Все оборудование, которое мы вам предлагаем, сертифицировано и проходит тщательный выходной контроль перед отгрузкой.
Консультация, аудит, расчет стоимости проекта – бесплатны. Обращайтесь!
 
Контакты для связи:
Телефон (многоканальный): (4872) 70-02-70; доб. 117 
Губоненкова Ирина Львовна 

Должность: руководитель отдела технического обслуживания 

E-mail: [email protected]

 Охлаждение серверной стойки: воздушный поток, вентиляторы и методы 
 Охлаждение сервера создает проблемы, уникальные для среды, в которой находится стойка. Серверные стойки предназначены для управления воздушным потоком и поддержания температуры в соответствии с рабочими характеристиками. Выбор правильного типа вентиляторов и их правильное размещение позволяет менеджерам центров обработки данных подавать холодный воздух из нужных мест и направлять горячий воздух туда, где он должен идти.
 Почему воздушный поток так важен для охлаждения сервера?  Расположение «горячего коридора» / «холодного коридора» Управление теплом на сервере может помочь охладить комнату, снизить счета за электроэнергию или предотвратить сбой сервера.Как и в домашнем компьютере, у серверов есть воздухозаборники и вытяжки, через которые холодный воздух поступает с одной стороны, а горячий — с другой. Поскольку стойка по существу содержит несколько компьютеров, важно не только управлять потоком воздуха в каждом устройстве, но и в самой стойке.
 Планирование отвода воздуха для серверной стойки выполняется таким образом, чтобы все оборудование могло перемещаться в холодном воздухе с одной стороны и выходить из стойки. Обычно это означает, что весь теплый воздух выдувается из задней части стойки и направляется вверх и наружу к потолку.Оттуда по обратным каналам теплый воздух может поступать в обратную камеру, где CRAH (кондиционер для машинного зала) охлаждает воздух и направляет его в охлаждаемые зоны. Кроме того, вентиляторы серверной стойки могут обеспечить направление воздушного потока во все нужные места.
 Кассеты вентиляторов 
 Кассета вентиляторов 1u Кассеты вентиляторов используются для отвода тепла из стойки и устанавливаются там, где может существовать горячая точка. Например, если наверху закрытой стойки нет оборудования, эта область может стать горячей из-за низкой циркуляции.Это то место, где вы разместите кассету с вентиляторами, чтобы заставить воздух двигаться и остановить избыточное тепло.
 Горизонтальные стоечные вентиляторы также отводят тепло от сервера при возникновении горячих точек. Хотя вместо того, чтобы толкать воздух вверх или вниз, он выталкивает его из спины. Это может быть лучше в ситуации, когда выталкивание воздуха вверх может привести к рециркуляции теплого воздуха обратно в охлаждаемую зону.
 Если в сервере есть открытое пространство, вместо использования заглушек для заполнения пространства можно использовать вентилятор стойки для вывода воздуха из стойки.Тем не менее, заглушки отлично подходят для управления воздушным потоком и поддержания хорошей циркуляции.
 Шум вентилятора в серверной стойке  Повреждение слуха может произойти уже при 85 децибелах, что примерно соответствует средней громкости в центре обработки данных. В центрах обработки данных лучший способ противодействовать шуму — хранить оборудование в разных комнатах, если только оно не должно быть вместе.
 Уровень шума дома будет зависеть от качества оборудования, которое вы выберете для охлаждения стойки и серверной комнаты.Проверьте уровень децибел ваших поклонников, чтобы определить, насколько громко они будут звучать в вашей комнате. Если у вас несколько вентиляторов, децибелы не складываются линейно, поэтому вместо вентилятора на 70 дБ, работающего с другим вентилятором на 70 дБ, общая сумма будет около 73 дБ, а не 140 дБ. Поклонники с рейтингом около 30 дБ работают тише, а поклонники с уровнем шума более 65 дБ могут вызывать раздражение. Лучший способ снизить уровень шума сервера — использовать акустическую стойку. Они могут быть очень дорогими: даже стойка высотой 12U стоит около 4000 долларов.Цена связана с их способностью полностью охлаждать сервер, оставаясь при этом тихим. Некоторые из них доступны по более низкой цене, но имеют значительно меньше функций.
 Системы отопления, вентиляции и кондиционирования воздуха  Системы отопления, вентиляции и воздушного охлаждения включают в себя все оборудование, которое контролирует окружающую среду в доме или на предприятии. Поскольку серверные помещения выделяют тепло в помещении уникальным способом, эти системы могут стать очень дорогими. Как минимум, вам понадобится специальный блок переменного тока для вашего серверного блока и какой-то метод удаления отработанного воздуха.
 В центре обработки данных профессионалы используют фальшполы и очень высокие потолки для разделения горячего и холодного воздуха. Под полом воздух рециркулирует и проталкивается через напольную плитку в холодные коридоры. Выше потолка горячий воздух выталкивается в выхлопные трубы и в CRAH (кондиционер для компьютерного зала), который использует вентиляторы и охлажденную воду для отвода тепла.
 Жидкостное охлаждение для серверов  Жидкостное охлаждение может быть чрезвычайно эффективным способом управления теплом в отдельных элементах оборудования или в серверной стойке в целом.Этот тип охлаждения работает путем перекачивания охлажденной жидкости на синхронизатор тепла. Эта синхронизация тепла передает тепло жидкости, которая затем перекачивается обратно в чиллер для повторного охлаждения.
 С повышенной эффективностью приходит сложность. Жидкостное охлаждение сложно реализовать и в основном используется компаниями, которым требуется высокая производительность вычислений, такими как Google и фирмы, занимающиеся высокочастотной торговлей. Водяное охлаждение обеспечивает более высокую плотность процессорных блоков и, как следствие, большую мощность на одном сервере.На видео ниже вы можете увидеть, как Google собрал свою систему жидкостного охлаждения.
  
 Выбор вентиляторов для серверной стойки  Для домашних или офисных серверов  , вероятно, не будет экстремальных температурных требований. Более серьезной проблемой может быть минимизация затрат на электроэнергию, поэтому вы захотите протестировать различные методы, чтобы серверы не нагревали комнату. Это можно сделать, используя вытяжные вентиляторы на сервере, которые направляют вверх к вытяжной трубе потолка или из задней части в вытяжную трубу в стене. Убедитесь, что сервер заполнен оборудованием или заглушками, чтобы предотвратить рециркуляцию горячего воздуха в зону с холодным воздухом и наоборот.
 В серверной  среднего размера , в идеале, у вас должны быть фальшполы и высокие потолки. В противном случае вы все равно можете использовать метод холодного и горячего прохода, но вам понадобится воздуховод, выводящий кондиционер в холодные коридоры, и занавес, защищающий переднюю часть серверов от горячего выхлопа, обеспечиваемого вентиляторами. Чтобы узнать о различных методах охлаждения конструкций, посмотрите это информационное видео.
  Центры обработки данных , которым важны высокопроизводительные вычисления, могут выбрать систему жидкостного охлаждения. Если они выберут воздушное охлаждение, все здание с самого начала будет построено вокруг серверов, поэтому у них, вероятно, будут фальшполы для охлаждения, место в потолке для выхлопных газов и современное оборудование HVAC, способное выдерживать огромное количество тепла.
 Сводка
 Название статьи
 Охлаждение серверной стойки: воздушный поток, вентиляторы и методы — RackSolutions
 Описание
 От воздушного до жидкостного охлаждения существует множество различных методов охлаждения вашего сервера, обеспечивающих максимальную производительность при минимуме Стоимость
 Автор
 Патрик Клис
 Имя издателя
 RackSolutions
 Логотип издателя
 Охлаждение в стойке в серверных залах и центрах обработки данных 
 Решения для охлаждения в стойке высокой плотности для серверных стоек, компьютерных комнат и центров обработки данных 
 Существующим центрам обработки данных часто не хватает мощности и мощности охлаждения для поддержки оборудования сегодняшнего и завтрашнего дня.Несмотря на этот недостаток, организации могут не иметь капитальных ресурсов для проектирования и строительства нового объекта. Для решения этих проблем 42U предлагает жизнеспособное решение, которое дает устаревшим центрам обработки данных новую жизнь: охлаждение в стойке с высокой плотностью размещения.
 Что такое охлаждение в стойке? 
 In-Rack — это наиболее точное охлаждение из имеющихся, поскольку стойка и кондиционер работают в тесном взаимодействии друг с другом. Холодному воздуху ничего не остается, кроме как проходить через серверы; у горячего воздуха нет другого выбора, кроме как проходить через теплообменник.
 Охлаждение In-Rack обеспечивает вычислительную среду — микроклимат, — который термически нейтрален по отношению к остальной части комнаты.
 Высокая плотность, высокая эффективность 
 Как и его родственная стратегия (охлаждение в ряду), охлаждение в стойке выгодно за счет расстояния. Пути воздушного потока небольшие, что требует меньше энергии вентилятора. Кроме того, отработанный воздух улавливается в самой горячей точке, максимально увеличивая дельту Т охлаждающего змеевика.
 Пользователи, знакомые со стратегиями сдерживания, могут рассматривать охлаждение в стойке как полностью развитую систему сдерживания: и горячий, и холодный коридоры в одном месте.
 Охлаждающая среда 
 При охлаждении в стойке, в зависимости от продукта, в качестве охлаждающей среды используется охлажденная вода или хладагент. Хотя есть исключения, большинство продуктов не доставляют жидкость в фактическую серверную стойку. Кондиционер с подключением к воде размещен в соседнем, но отдельном корпусе. Оборудование на уровне стойки по-прежнему охлаждается воздухом.
 Для агрегатов с охлажденной водой потребуется подключение к чиллерам для подачи охлажденной воды и окончательного отвода тепла.
 Вентиляторы для стоек и блоки вентиляторов для монтажа в стойку 
 Для стоек с меньшей плотностью вентиляторы могут быть жизнеспособным решением для усиления охлаждения, облегчая движение окружающего воздуха через стойку. Вентиляторы могут быть установлены на крыше, по бокам и дверям или могут быть встроены непосредственно в стойку в виде выдвижных кассет вентиляторов. Для повышения эффективности любых вентиляторов рекомендуется надлежащее управление воздушным потоком за счет использования заглушек и герметизирующей ленты.
 Доступны как вентиляторы шкафа в сборе, так и вентиляторы для монтажа в стойку сверху и снизу.Хотя однофазные вентиляторы 115 В являются наиболее распространенными, многие устройства доступны с различным напряжением, в конфигурациях переменного или постоянного тока.
 Модель 42U Advantage 
 42U убедилась в преимуществах охлаждения в стойке на собственном опыте. Наша база инсталляций варьируется от небольших компьютерных залов до корпоративных центров обработки данных и коммутационных шкафов с высокой плотностью размещения — различных сред, которые явно более масштабируемы и эффективны, чем их предыдущие жизни.
 Эти уникальные среды требуют одинаково уникальных знаний продукта и опыта применения.Позвоните  1-800-638-2638 , чтобы поговорить со специалистом по продукту.
 Более 55 000 компаний-клиентов выбрали 42U 
 Не зря мы выбираем № 1 среди многих ИТ-специалистов.
 Вопросы? Звоните нам. 
 Позвоните и поговорите с одним из наших знающих инженеров по решениям, который ответит на любые ваши вопросы.
 1-800-638-2638 
 Запросить оценку 
 Один из наших специалистов по решениям для центров обработки данных будет работать вместе с вами, чтобы найти оптимальное решение для вашей системы.
 Запросить оценку 
 Что следует знать о технологиях охлаждения центров обработки данных 
 Средний центр обработки данных потребляет довольно много электроэнергии. Это не должно вызывать удивления, учитывая количество вычислительных мощностей, которые им удается разместить на одном информационном этаже, не говоря уже об инфраструктуре охлаждения, необходимой для поддержания идеальной операционной среды для всего этого оборудования. В совокупности центры обработки данных потребляют около трех процентов мировой электроэнергии.В связи с появлением в ближайшие годы большего количества энергоемких гипермасштабных объектов потребление энергии, вероятно, продолжит расти, несмотря на повышение эффективности.
  Быстрые ссылки 
 Для заказчиков колокации важно понимание характеристик питания и охлаждения инфраструктуры центра обработки данных, поскольку это помогает им лучше оценить свои потенциальные затраты и будущие вычислительные потребности. Например, схема энергоснабжения центра обработки данных может оказать серьезное влияние на то, как компания решит увеличить свои мощности.К счастью, возможности центра обработки данных по питанию и охлаждению, как правило, относительно легко оценить.
 Энергопотребление центра обработки данных 
 Оценка требований к электропитанию — одна из первых задач, которую должна выполнить любая организация, когда она решает переместить активы в центр обработки данных. Потребляемая мощность оборудования обычно составляет значительную часть затрат на размещение, и развертывание мощных серверов в шкафах с высокой плотностью размещения будет дороже, чем сопоставимое количество менее впечатляющих устройств.Независимо от типа используемых серверов, им также потребуются блоки распределения питания (PDU), способные выдерживать большую силу тока, которую они потребляют во время использования.
 Электрическая система центра обработки данных должна включать в себя некоторый уровень резервирования, который включает системы бесперебойного питания (ИБП), аккумуляторные батареи и резервный генератор, который может обеспечить достаточную мощность в мегаваттах для поддержания работы объекта в случае отключения основного питания в течение любого периода времени. В случае отключения электроэнергии системы ИБП будут поддерживать все вычислительное оборудование в рабочем состоянии достаточно долго, чтобы генератор мог выйти в оперативный режим.Во многих случаях инфраструктура электроснабжения центра обработки данных включает в себя несколько линий электропитания, подключенных к объекту, что обеспечивает дополнительное резервирование.
 Объекты Colocation также имеют четко определенные характеристики электропитания, в которых указано, сколько мощности они могут подать на каждый шкаф. Для развертываний с высокой плотностью размещения заказчики должны найти инфраструктуру центра обработки данных, способную обеспечивать от 10 до 20 кВт мощности на каждый шкаф. Хотя компании с гораздо более низкими потребностями в электроэнергии могут не беспокоиться об этих ограничениях на начальном этапе, им всегда следует иметь в виду, что их требования к мощности могут со временем увеличиваться по мере роста.Масштабирование операций в среде центра обработки данных с учетом схемы электропитания часто предпочтительнее, чем хлопот по переходу на совершенно другой объект.
 Как охлаждаются центры обработки данных? 
 В традиционных методах охлаждения центра обработки данных используется комбинация фальшполов и инфраструктуры кондиционирования воздуха в компьютерном зале (CRAC) или обработчика воздуха в компьютерном зале (CRAH). Установки CRAC / CRAH будут создавать давление в пространстве под фальшполом и проталкивать холодный воздух через перфорированные плитки в воздухозаборники серверов.Как только холодный воздух проходит через компоненты сервера и выходит наружу в виде горячего выхлопа, этот воздух возвращается в CRAC / CRAH для охлаждения. Большинство центров обработки данных установили бы температуру возврата блока CRAC / CRAH в качестве основной контрольной точки для всей среды цеха обработки данных.
 Проблема с этим развертыванием в том, что оно неэффективно и не имеет точного контроля. Холодный воздух просто попадал в серверную. Хотя это работало достаточно хорошо для небольших развертываний с низкой плотностью и низким энергопотреблением, это работало хуже для больших площадей данных с более высокой плотностью. Вот почему большинство предприятий приняли стратегии сдерживания горячего и холодного проходов, чтобы физически отделить холодный воздух, предназначенный для впуска сервера, от горячего воздуха, выходящего через его вытяжные отверстия. Предотвращение смешивания этого воздуха обеспечивает более стабильную температуру и максимизирует эффективность, гарантируя, что холодный воздух остается холодным, а горячий воздух направляется в устройства обработки воздуха без повышения температуры окружающей среды.
 Современные центры обработки данных используют множество инновационных технологий охлаждения центров обработки данных для поддержания идеальных и эффективных рабочих условий.Эти решения охватывают весь спектр от простых вентиляторов до гораздо более сложных технологий теплопередачи. Некоторые из них даже полагаются на внешние источники холодного воздуха или воды, чтобы обеспечить более энергоэффективное охлаждение центра обработки данных.
 В чем разница между блоками CRAC и CRAH? 
 Кондиционер для машинного зала (CRAC) не сильно отличается от обычного кондиционера, в котором используется компрессор для охлаждения хладагента. Они работают, обдувая воздухом охлаждающий змеевик, заполненный хладагентом.Относительно неэффективные, они обычно работают на постоянном уровне и не позволяют точно контролировать охлаждение.
 С другой стороны, в кондиционерах для компьютерных залов (CRAH) используется установка с охлажденной водой, которая снабжает охлаждающий змеевик холодной водой. Воздух охлаждается, когда проходит над этим змеевиком. Хотя основной принцип аналогичен блоку CRAC, большая разница заключается в отсутствии компрессора, что означает, что CRAH в целом потребляет гораздо меньше энергии.
 Какая идеальная температура для центра обработки данных? 
 По данным Американского общества инженеров по отоплению, охлаждению и кондиционированию воздуха (ASHRAE), средняя температура на входе в сервер (то есть воздуха, который втягивается в сервер для охлаждения внутренних компонентов) должна составлять от 18 до 27 градусов. Цельсия (или 64.От 4 до 80,6 градусов по Фаренгейту) с относительной влажностью от 20 до 80 процентов. Однако это довольно большой диапазон, и Uptime Institute рекомендует верхний предел в 25 градусов по Цельсию (77 градусов по Фаренгейту).
 Имейте в виду, что это рекомендуемая температура для фактических входных отверстий сервера, а не для всей серверной комнаты. Воздух вокруг серверов будет теплее просто из-за динамики теплопередачи. В частности, серверы высокой плотности выделяют огромное количество тепла.Вот почему в большинстве серверных обычно бывает намного холоднее, чем указанные выше пределы, обычно около 19 или 21 градуса по Цельсию (от 66 до 70 градусов по Фаренгейту).
 Стоит отметить, что гипермасштабируемые центры обработки данных, которыми управляют такие крупные компании, как Google, часто работают при более высоких температурах, близких к отметке 27 градусов по Цельсию (80 градусов по Фаренгейту). Это потому, что они работают по модели «ожидаемого сбоя», которая предполагает, что серверы будут выходить из строя на регулярной основе, и создает резервные копии программного обеспечения для обхода отказавшего оборудования. Для крупного предприятия затраты на замену отказавших серверов чаще, чем обычно, могут со временем оказаться менее затратными, чем затраты на эксплуатацию гипермасштабируемого объекта при более низких температурах. Однако это редко верно для небольших организаций.
 Технология охлаждения центра обработки данных 
 В то время как требования к электропитанию совместно размещенного оборудования являются основным фактором затрат на размещение, решения по охлаждению центра обработки данных также имеют большое значение. Высокая стоимость инфраструктуры охлаждения часто является одной из основных причин, по которой компании отказываются от локальных решений для обработки данных в пользу услуг колокации.Частные центры обработки данных часто бывают весьма неэффективными, когда дело касается их систем охлаждения. Кроме того, им обычно не хватает возможностей мониторинга объектов для колокационных объектов, что затрудняет полную оптимизацию инфраструктуры для снижения требований к охлаждению.
 В связи с быстрым увеличением плотности мощности многие компании вкладывают значительные средства в новые технологии охлаждения центров обработки данных, чтобы гарантировать, что они смогут использовать вычислительную мощность процессоров следующего поколения.Более крупные технологические компании, такие как Google, даже используют возможности искусственного интеллекта для повышения эффективности охлаждения. А ранее надуманные решения, такие как жидкостные системы охлаждения серверов, быстро становятся обычным явлением, поскольку компании экспериментируют с инновационными способами охлаждения нового поколения высокопроизводительных процессоров.
 Одним из наиболее важных нововведений в управлении инфраструктурой центров обработки данных за последние годы стало применение прогнозной аналитики. Современные центры обработки данных генерируют огромные объемы информации о своих потребностях в питании и охлаждении.Наиболее эффективные предприятия использовали эти данные для моделирования тенденций и моделей использования, что позволило им лучше управлять потребностями в питании и охлаждении центров обработки данных. Захватывающие новые инструменты бизнес-аналитики, такие как отмеченная наградами платформа vXchnge  in \ site , даже позволяют клиентам колокации отслеживать производительность сети и серверов в режиме реального времени. За счет отключения серверов в периоды низкого трафика и предвидения, когда потребности в электропитании и охлаждении будут максимальными, центры обработки данных смогли значительно улучшить свои показатели эффективности.
 Определение технологий охлаждения центров обработки данных 
 Учитывая важность инфраструктуры охлаждения центра обработки данных, стоит уделить время изучению некоторых широко используемых и новых технологий охлаждения центра обработки данных.
 Калиброванное векторное охлаждение (CVC) 
 Технология охлаждения центра обработки данных, разработанная специально для серверов с высокой плотностью размещения. Он оптимизирует путь воздушного потока через оборудование, позволяя системе охлаждения более эффективно управлять теплом, что позволяет увеличить соотношение печатных плат на шасси сервера и использовать меньше вентиляторов.
 Система охлажденной воды 
 Система охлаждения центра обработки данных, обычно используемая в центрах обработки данных среднего и крупного размера, в которой используется охлажденная вода для охлаждения воздуха, поступающего от устройств обработки воздуха (CRAH). Вода подается чиллерной установкой, расположенной где-то на территории объекта.
 Проектирование холодного и горячего коридора 
 Распространенная форма развертывания серверной стойки центра обработки данных, в которой используются чередующиеся ряды «холодных коридоров» и «горячих коридоров». Холодные коридоры имеют воздухозаборники холодного воздуха на передней части стоек, а горячие коридоры представляют собой выпускные отверстия горячего воздуха на задней стороне стоек.Горячие коридоры направляют горячий воздух в воздухозаборники системы кондиционирования для охлаждения, а затем отводят в холодные коридоры. Пустые стеллажи заполняются панелями-заглушками, чтобы предотвратить перегрев или потерю холодного воздуха.
 Кондиционер компьютерного зала (CRAC) 
 Одна из наиболее распространенных особенностей любого центра обработки данных, блоки CRAC очень похожи на обычные кондиционеры, приводимые в действие компрессором, который втягивает воздух через охлаждающий блок, заполненный хладагентом. Они довольно неэффективны с точки зрения энергопотребления, но само оборудование относительно недорогое.
 Кондиционер для воздуха в компьютерном зале (CRAH) 
 Блок CRAH функционирует как часть более широкой системы, включающей установку охлажденной воды (или чиллер) где-то на предприятии. Охлажденная вода проходит через охлаждающий змеевик внутри агрегата, который затем использует модулирующие вентиляторы для забора воздуха извне. Поскольку они работают за счет охлаждения наружного воздуха, блоки CRAH намного более эффективны при использовании в местах с более низкими годовыми температурами.
 Критическая нагрузка охлаждения 
 Это измерение представляет собой общую полезную охлаждающую способность (обычно выражаемую в ваттах мощности) на полу центра обработки данных для целей охлаждения серверов.
 Прямое охлаждение микросхемы 
 Метод жидкостного охлаждения центра обработки данных, в котором используются трубы для подачи охлаждающей жидкости непосредственно к охлаждающей пластине, которая встроена в процессоры материнской платы для рассеивания тепла. Отведенное тепло подается в контур охлажденной воды и отводится в холодильный агрегат объекта. Поскольку эта система охлаждает процессоры напрямую, это одна из наиболее эффективных форм системы охлаждения серверов.
 Испарительное охлаждение 
 Управляет температурой, подвергая горячий воздух воздействию воды, в результате чего вода испаряется и забирает тепло из воздуха.Вода может подаваться либо в виде системы туманообразования, либо в виде влажного материала, такого как фильтр или мат. Хотя эта система очень энергоэффективна, поскольку в ней не используются блоки CRAC или CRAH, для нее требуется много воды. Градирни центра обработки данных часто используются для облегчения испарения и передачи избыточного тепла в атмосферу.
 Естественное охлаждение 
 Любая система охлаждения центра обработки данных, которая использует внешнюю атмосферу для подачи более холодного воздуха в серверы, а не для постоянного охлаждения одного и того же воздуха.Хотя это может быть реализовано только в определенных климатических условиях, это очень энергоэффективная форма системы охлаждения сервера.
 Погружная система 
 Новое инновационное решение для жидкостного охлаждения центра обработки данных, при котором оборудование погружается в ванну с непроводящей, негорючей диэлектрической жидкостью.
 Жидкостное охлаждение 
 Любая технология охлаждения, использующая жидкость для отвода тепла из воздуха. Жидкостное охлаждение центра обработки данных все чаще относится к решениям прямого охлаждения, при которых компоненты сервера (например, процессоры) подвергаются воздействию жидкости для более эффективного охлаждения.
 Фальшпол 
 Рама, которая поднимает этаж центра обработки данных над бетонным перекрытием здания. Пространство между ними используется для труб водяного охлаждения или увеличения воздушного потока. В то время как силовые и сетевые кабели иногда также проходят через это пространство, более новая конструкция охлаждения центра обработки данных и передовые методы размещают эти кабели над головой.
 Прогнозы роста рынка систем охлаждения для центров обработки данных 
 Последние исследования рынка указывают на активный и постоянный интерес к рынку систем охлаждения для центров обработки данных.Согласно прогнозам ResearchandMarkets.com, в период с 2020 по 2025 год совокупный годовой темп роста (CAGR) составит 3%.
 Кроме того, различные, но связанные выводы из Отчета об исследовании рынка, опубликованного в декабре 2017 года, специально посвящены новым технологиям охлаждения центров обработки данных и рыночной стоимости, связанной с ними. Исследование указывает на еще более существенный рост, связанный с технологическим аспектом, но рассматривает вероятное увеличение стоимости до 2024 года, а не до 2023 года, как это делалось в предыдущем исследовании. Он показывает прогнозируемый среднегодовой темп роста 12 процентов и общую стоимость в 20 миллиардов долларов.
 Одной из причин роста общего рынка охлаждения центров обработки данных является тенденция строительства центров обработки данных в развивающихся странах или регионах, таких как Сингапур и Латинская Америка. Аналитики считают, что по мере того, как центры обработки данных начнут работать в этих местах, особое внимание будет уделяться максимально эффективной эксплуатации объектов. Эта реальность, естественно, увеличивает вероятность того, что владельцы и менеджеры центров обработки данных будут искать инновационные варианты, тем самым увеличивая ценность инновационных новых технологий охлаждения центров обработки данных, таких как жидкостное охлаждение.
 Центры обработки данных и технология жидкостного охлаждения 
 Несмотря на то, что технология воздушного охлаждения претерпела множество улучшений за эти годы, она все еще ограничена рядом фундаментальных проблем. Помимо высоких затрат на электроэнергию, системы кондиционирования воздуха занимают много ценного пространства, вносят влагу в герметичные помещения и довольно известны своими механическими поломками. Однако до недавнего времени у центров обработки данных не было других вариантов удовлетворения своих потребностей в охлаждении. С новыми разработками в области жидкостного охлаждения многие центры обработки данных начинают экспериментировать с новыми методами решения текущих проблем с теплом.
 Что такое жидкостное охлаждение? 
 В то время как ранние воплощения систем жидкостного охлаждения были сложными, беспорядочными и очень дорогими, последнее поколение технологии обеспечивает более эффективное и действенное решение для охлаждения. В отличие от воздушного охлаждения, которое требует большого количества энергии и вносит в центр обработки данных как загрязняющие вещества, так и конденсат, жидкостное охлаждение является более чистым, целенаправленным и масштабируемым. Двумя наиболее распространенными конструкциями охлаждения являются полное иммерсионное охлаждение и охлаждение непосредственно на кристалле.
 Погружные системы включают погружение самого оборудования в ванну с непроводящей, негорючей диэлектрической жидкостью. И жидкость, и оборудование находятся в герметичном корпусе. Диэлектрическая жидкость поглощает тепло гораздо более эффективно, чем воздух, и когда нагретая вода превращается в пар, она конденсируется и падает обратно в жидкость, чтобы помочь в охлаждении. Для охлаждения непосредственно на кристалле используются трубки, по которым жидкий хладагент подается непосредственно на охлаждающую пластину, которая находится на процессоре материнской платы, для отвода тепла.Затем извлеченное тепло подается в контур охлажденной воды, который транспортируется обратно в охлаждающую установку объекта и выводится во внешнюю атмосферу. Оба метода предлагают гораздо более эффективные решения по охлаждению для требовательных к энергопотреблению центров обработки данных.
 AI потребности в энергии 
 Эффективность будет ключевым фактором для центров обработки данных в будущем. Новое поколение процессоров, способных запускать мощные программы машинного обучения, искусственного интеллекта и аналитики, требует огромных затрат энергии и выделяет огромное количество тепла.От специально созданных модулей тензорной обработки (TPU) Google до высокопроизводительных процессоров, ускоряемых ускорителями графических процессоров (GPU), вычислительная мощность, на которой работает современный ИИ, уже ограничивает мощность и охлаждающую способность инфраструктуры центра обработки данных. Поскольку все больше и больше организаций внедряют машинное обучение и даже предлагают решения ИИ в качестве услуги, эти потребности, несомненно, будут расти.
 Google выяснил это на собственном горьком опыте, когда представил свой TPU 3.0 процессоров. В то время как технологии воздушного охлаждения было достаточно для охлаждения первых двух поколений, последняя итерация генерировала слишком много тепла для эффективного охлаждения с помощью чего-либо, кроме прямого жидкостного охлаждения кристалла. К счастью, технический гигант в течение нескольких лет исследовал жизнеспособные решения для жидкостного охлаждения и смог относительно быстро интегрировать новую систему.
 Сервер высокой плотности требует 
 Даже для инфраструктур центров обработки данных, которые не поддерживают машинное обучение на основе ИИ, плотность серверных стоек и плотность хранения быстро растут.Поскольку рабочие нагрузки продолжают расти, а поставщики рассматривают возможность замены старых, менее эффективных систем охлаждения центров обработки данных, у них будет больше стимулов рассматривать решения с жидкостным охлаждением, поскольку это не означает обслуживания двух отдельных систем. В настоящее время центры обработки данных участвуют в гонке вооружений за увеличение плотности стоек, чтобы предоставлять своим клиентам более надежные и комплексные услуги. Эффективность и производительность — от небольших модульных объектов до гигантских гигантов — идут рука об руку, поскольку каждое поколение серверов позволяет им делать больше с меньшими затратами. Если в ближайшие годы потребности в электроэнергии для этих систем будут продолжать расти, неэффективная технология воздушного охлаждения перестанет быть жизнеспособным решением.
 В течение многих лет жидкостное охлаждение нельзя было использовать для накопителей, поскольку в старых жестких дисках (HDD) использовались движущиеся внутренние части, которые не могли подвергаться воздействию жидкости и не могли быть герметизированы. С быстрым распространением твердотельных накопителей (SSD), разработкой герметичных жестких дисков, заполненных гелием, и инновационной новой технологией хранения, такой как кристаллы памяти 5d, решения для охлаждения на основе иммерсии стали гораздо более практичными и надежными.
 Развертывания периферийных вычислений 
 Системы жидкостного охлаждения могут обеспечить сравнимую эффективность охлаждения с системами воздушного охлаждения при гораздо меньшей занимаемой площади. Это потенциально может сделать их идеальным решением для периферийных центров обработки данных, которые, как правило, меньше по размеру и в будущем, вероятно, будут содержать больше оборудования с высокой плотностью размещения. Проектирование этих объектов с нуля с использованием решений жидкостного охлаждения позволит им разместить больше вычислительной мощности в меньшем пространстве, предоставляя им универсальность, которую компании ожидают от периферийных центров обработки данных.
 Хотя жидкостное охлаждение, вероятно, не заменит системы кондиционирования воздуха в каждом центре обработки данных в ближайшее время, оно становится все более привлекательным решением для многих объектов. Для центров обработки данных с чрезвычайно высокой плотностью развертываний или предоставления мощных услуг машинного обучения жидкостное охлаждение может позволить им продолжать расширять свои услуги благодаря своей способности обеспечивать более эффективное и действенное охлаждение.
 6 больших ошибок в охлаждении центров обработки данных 
 Поскольку эффективность крайне важна для контроля затрат на охлаждение центра обработки данных и обеспечения бесперебойной работы, вот шесть серьезных ошибок, которых следует избегать менеджерам центров обработки данных.
 1. Плохая компоновка шкафа 
 Хорошая компоновка шкафа должна включать систему охлаждения центра обработки данных с горячим и холодным коридорами, с кондиционерами воздуха в компьютерном зале в конце каждого ряда. Использование островной конфигурации без хорошо продуманной ориентации очень неэффективно.
 2. Пустые шкафы 
 Пустые шкафы могут перекосить воздушный поток, позволяя горячему отработанному воздуху просачиваться обратно в холодный коридор. Если у вас пустые шкафы, убедитесь, что ваш холодный воздух не проникает внутрь.
 3.Пустые пространства между оборудованием 
 Сколько раз вы видели шкафы с пустыми открытыми пространствами между оборудованием? Эти пустые пространства могут испортить вам управление воздушным потоком. Если места в шкафу негерметичны, горячий воздух может просочиться обратно в холодный коридор. Добросовестный оператор позаботится о том, чтобы места были закрыты.
 4. Утечки в фальшполах 
 Утечки из фальшпола возникают, когда холодный воздух проникает под фальшпол в опорные колонны или соседние помещения. Эти утечки могут вызвать потерю давления, что может привести к попаданию пыли, влажности и теплого воздуха в холодный коридор. Чтобы устранить фантомные утечки, кому-то потребуется провести полную проверку опорных колонн и периметра и закрыть все обнаруженные утечки.
 5. Утечки вокруг отверстий для кабелей 
 В полу и шкафах много отверстий для прокладки кабелей. Пока они находятся под фальшполом и проверяют наличие утечек, им также следует искать незапечатанные кабельные отверстия, отверстия под удаленными силовыми панелями и распределительными устройствами.Если оставить эти отверстия открытыми, через них может выходить холодный воздух.
 6. Множественные кондиционеры борются за контроль влажности 
 Что происходит, когда один кондиционер пытается осушить воздух, а другой пытается увлажнить тот же воздух? В результате может быть потрачено много энергии, пока два юнита борются за контроль. Тщательно спланировав точки контроля влажности, вы сможете снизить риск этого.
 4 ключа к оптимальной системе охлаждения центра обработки данных 
 Для большинства предприятий первым шагом в оптимизации системы охлаждения центра обработки данных является понимание того, как работает охлаждение центра обработки данных — или, что более важно, как охлаждение центра обработки данных должно работать в соответствии с их конкретными бизнес-требованиями и техническими требованиями.
 Вот четыре передовых метода обеспечения оптимального охлаждения центра обработки данных:
 1. Используйте конструкцию горячего и холодного коридора 
 В этой конструкции охлаждения центра обработки данных серверные стойки располагаются в чередующихся рядах для создания «горячих проходов» (состоящих из выхода горячего воздуха на задней стороне стоек) и «холодных проходов» (состоящих из воздухозаборников холодного воздуха на передней части стоек). . Идея состоит в том, чтобы горячий коридор выталкивал горячий воздух в воздухозаборники системы кондиционирования, где он охлаждается и проталкивается через вентиляционное отверстие кондиционера для рециркуляции в холодный коридор.
 2. Принять меры сдерживания 
 Поскольку воздух имеет устойчивую тенденцию перемещаться куда угодно, современные центры обработки данных применяют дополнительные меры сдерживания, устанавливая стены и двери для прямого потока воздуха, удерживая холодный воздух в холодных коридорах и горячий воздух в горячих коридорах. Эффективная изоляция позволяет центрам обработки данных использовать стойки с большей плотностью при одновременном снижении энергопотребления.
 3. Проверка и герметизация утечек по периметру, опорным колоннам и отверстиям для кабелей 
 Повреждение водой представляет огромную проблему для центров обработки данных и является второй ведущей причиной потери данных и простоев после электрических пожаров.Поскольку ущерб, причиненный водой, часто не покрывается полисами страхования бизнеса (и даже если это так, невозможно восстановить потерянные данные), центры обработки данных не могут позволить себе игнорировать угрозу. К счастью, большинство утечек легко обнаружить и предотвратить с помощью предусмотрительности и осторожности. Такие инструменты, как кабели датчиков и химикатов, зонные контроллеры и датчики влажности, могут обнаруживать утечки до того, как они станут серьезной проблемой.
 4. Синхронизация контрольных точек влажности 
 Во многих центрах обработки данных используются системы экономайзера на воздушной стороне или «свободное воздушное охлаждение».«Эти системы подают наружный воздух в центр обработки данных для повышения энергоэффективности; к сожалению, они также могут пропускать влагу внутрь. Слишком много влаги в воздухе может привести к конденсации, которая в конечном итоге приведет к коррозии и короткому замыканию в электрических системах. уменьшение влажности может показаться решением, но это также может привести к проблемам. Если воздух становится слишком сухим, может накапливаться статическое электричество, которое также может вызвать повреждение оборудования. Поэтому крайне важно, чтобы средства контроля влажности в центре обработки данных учитывали влага, поступающая с наружным воздухом, поддерживает идеальные условия для серверных.
 Получение максимальной отдачи от охлаждения центра обработки данных 
 По мере того, как потребности в электроэнергии продолжают расти, потребуются новые технологии охлаждения для центров обработки данных, чтобы поддерживать работу объектов на максимальной мощности. Оценка возможностей центра обработки данных по питанию и охлаждению имеет решающее значение для клиентов, использующих колокацию.
 Определив объекты с надежной инфраструктурой центра обработки данных, которая может повысить эффективность и повысить производительность, заказчики колокации могут принимать более обоснованные долгосрочные решения в отношении своей собственной инфраструктуры.Учитывая трудности, связанные с миграцией активов и данных, поиск партнера для центра обработки данных, обладающего мощностью и мощностью охлаждения для удовлетворения как нынешних, так и будущих потребностей, может обеспечить стратегическое преимущество для растущей организации.
 Для охлаждения серверов ЦОД Microsoft использует кипящую жидкость 
  Куинси, Вашингтон  — Ping!
 Электронные письма и другие сообщения, отправляемые между сотрудниками Microsoft, буквально кипятят жидкость внутри стального резервуара, заполненного компьютерными серверами, в этом центре обработки данных на восточном берегу реки Колумбия.
 В отличие от воды, жидкость внутри резервуара в форме кушетки безвредна для электронного оборудования и рассчитана на температуру кипения 122 градуса по Фаренгейту, что на 90 градусов ниже точки кипения воды.
 Эффект кипения, возникающий в результате работы серверов, уносит тепло от работающих компьютерных процессоров. Низкотемпературное кипение позволяет серверам непрерывно работать на полной мощности без риска отказа из-за перегрева.
 Внутри резервуара пар, поднимающийся из кипящей жидкости, контактирует с охлаждаемым конденсатором в крышке резервуара, в результате чего пар превращается в жидкость и возвращается обратно на погруженные серверы, создавая систему охлаждения с замкнутым контуром.
 «Мы являемся первым поставщиком облачных услуг, который использует двухфазное иммерсионное охлаждение в производственной среде», — сказал Хусам Алисса, главный инженер по аппаратному обеспечению в группе Microsoft по передовой разработке центров обработки данных в Редмонде, штат Вашингтон.
 Иоаннис Манусакис, главный инженер-программист в Azure (слева), и Хусам Алисса, главный инженер по аппаратному обеспечению в группе Microsoft по расширенной разработке центров обработки данных (справа), осматривают внутреннюю часть резервуара двухфазного иммерсионного охлаждения в центре обработки данных Microsoft.Фото Джина Тведта для Microsoft.
 Закон Мура для центров обработки данных  Внедрение двухфазного иммерсионного охлаждения в производственной среде является следующим шагом в долгосрочном плане Microsoft по удовлетворению спроса на более быстрые и мощные компьютеры для центров обработки данных в то время, когда надежные достижения в области технологии компьютерных микросхем с воздушным охлаждением замедлились.
 На протяжении десятилетий развитие микросхем происходило из-за возможности разместить больше транзисторов на микросхеме того же размера, примерно вдвое увеличивая скорость компьютерных процессоров каждые два года без увеличения их потребности в электроэнергии.
 Это явление удвоения называется законом Мура в честь соучредителя Intel Гордона Мура, который наблюдал эту тенденцию в 1965 году и предсказал, что она будет продолжаться как минимум десять лет. Он продержался в течение 2010-х годов и теперь начал замедляться.
 Это потому, что ширина транзисторов уменьшилась до атомных масштабов и достигла физического предела. Между тем, как отметила Алисса, спрос на более быстрые компьютерные процессоры для высокопроизводительных приложений, таких как искусственный интеллект, увеличился.
 Чтобы удовлетворить потребность в производительности, компьютерная индустрия обратилась к архитектуре микросхем, способной обрабатывать больше электроэнергии. Например, мощность центральных процессоров или ЦП увеличилась со 150 до более 300 Вт на чип. Графические процессоры, или графические процессоры, увеличились до более чем 700 Вт на чип.
 Чем больше электроэнергии проходит через эти процессоры, тем горячее становятся чипы. Повышенный нагрев привел к увеличению требований к охлаждению, чтобы предотвратить сбой в работе микросхем.
 «Воздушного охлаждения недостаточно, — сказал Кристиан Белади, выдающийся инженер и вице-президент группы перспективных разработок центров обработки данных Microsoft в Редмонде. «Это то, что побуждает нас использовать иммерсионное охлаждение, при котором мы можем кипятить непосредственно с поверхности чипа».
 По его словам, теплопередача в жидкостях на несколько порядков эффективнее, чем в воздухе.
 Более того, добавил он, переход на жидкостное охлаждение привносит образ мышления, подобный закону Мура, во все центры обработки данных.
 «Жидкостное охлаждение позволяет нам работать более плотно и, таким образом, продолжить тенденцию закона Мура на уровне центров обработки данных», — сказал он.
 Кристиан Белади, выдающийся инженер и вице-президент группы перспективных разработок центров обработки данных Microsoft, стоит рядом с резервуаром двухфазного иммерсионного охлаждения в центре обработки данных Microsoft. Фото Джина Тведта для Microsoft.
 Уроки, полученные от майнеров криптовалюты  Жидкостное охлаждение — отработанная технология, отметил Беладий. Большинство автомобилей сегодня используют его для предотвращения перегрева двигателей.Несколько технологических компаний, включая Microsoft, экспериментируют с технологией холодных пластин, при которой жидкость подается через металлические пластины к серверам охлаждения.
 Участники криптовалютной индустрии впервые применили жидкостное иммерсионное охлаждение для вычислительного оборудования, используя его для охлаждения микросхем, которые регистрируют транзакции с цифровой валютой.
 Microsoft исследовала погружение в жидкость в качестве решения для охлаждения высокопроизводительных вычислительных приложений, таких как искусственный интеллект. Среди прочего, исследование показало, что двухфазное иммерсионное охлаждение снижает энергопотребление любого сервера на 5-15%.
 Полученные данные побудили команду Microsoft работать с Wiwynn, производителем и разработчиком ИТ-систем для центров обработки данных, над разработкой решения для двухфазного иммерсионного охлаждения. Первое решение сейчас работает в центре обработки данных Microsoft в Куинси.
 Этот бак в форме кушетки заполнен специальной жидкостью от 3M. Жидкие охлаждающие жидкости 3M обладают диэлектрическими свойствами, которые делают их эффективными изоляторами, что позволяет серверам нормально работать при полном погружении в жидкость.
 Этот переход на двухфазное жидкостное иммерсионное охлаждение обеспечивает повышенную гибкость для эффективного управления облачными ресурсами, по словам Маркуса Фонтуры, технического сотрудника и корпоративного вице-президента Microsoft, который является главным архитектором вычислений Azure.
 Например, программное обеспечение, которое управляет облачными ресурсами, может распределять внезапные всплески вычислительной нагрузки центра обработки данных на серверы в резервуарах с жидкостным охлаждением. Это потому, что эти серверы могут работать с повышенной мощностью — процесс, называемый разгоном, — без риска перегрева.
 «Например, мы знаем, что с Teams, когда вы добираетесь до 1 или 2 часов, наблюдается огромный всплеск, потому что люди присоединяются к собраниям в одно и то же время», — сказал Фонтура. «Иммерсионное охлаждение дает нам большую гибкость при работе с такими резкими рабочими нагрузками.”
 Кипящая жидкость уносит тепло, выделяемое компьютерными серверами в центре обработки данных Microsoft. Microsoft — первый поставщик облачных услуг, запустивший двухфазное иммерсионное охлаждение в производственной среде. Фото Джина Тведта для Microsoft.
 Устойчивые центры обработки данных  Добавление серверов с двухфазным иммерсионным охлаждением к доступным вычислительным ресурсам также позволит программному обеспечению машинного обучения более эффективно управлять этими ресурсами в центре обработки данных, от питания и охлаждения до технических специалистов по обслуживанию, добавил Фонтоура.
 «Мы окажем не только огромное влияние на эффективность, но и огромное влияние на устойчивость, потому что вы убедитесь, что нет потерь, и что каждый элемент ИТ-оборудования, которое мы развертываем, будет использоваться надлежащим образом», — сказал он.
 Жидкостное охлаждение также является безводной технологией, которая поможет Microsoft выполнить свое обязательство по восполнению большего количества воды, чем потребляется к концу этого десятилетия.
 Охлаждающие змеевики, которые проходят через резервуар и позволяют пару конденсироваться, подключены к отдельной системе с замкнутым контуром, которая использует жидкость для передачи тепла от резервуара к сухому охладителю за пределами резервуара.Алисса объяснила, что поскольку жидкость в этих змеевиках всегда теплее окружающего воздуха, нет необходимости распылять воду, чтобы подготовить воздух к испарительному охлаждению.
 Microsoft вместе с партнерами по инфраструктуре также изучает, как управлять резервуарами таким образом, чтобы уменьшить потери жидкости и практически не повлиять на окружающую среду.
 «Если все сделано правильно, двухфазное иммерсионное охлаждение будет соответствовать всем нашим требованиям к стоимости, надежности и производительности одновременно с существенно меньшей затратой энергии по сравнению с воздушным охлаждением», — сказал Иоаннис Манусакис, главный инженер-программист Azure.
 Команда Microsoft изучает технологию двухфазного иммерсионного охлаждения. На фото слева направо: Дэйв Старкенбург, управление операциями центра обработки данных, Кристиан Белади, выдающийся инженер и вице-президент группы передовых разработок центров обработки данных Microsoft, Иоаннис Манусакис, главный инженер-программист в Azure, и Хусам Алисса, главный инженер по аппаратному обеспечению в группе Microsoft для продвинутых центров обработки данных. разработка. Фото Джина Тведта для Microsoft.
 «Мы принесли море к серверам»  Исследование Microsoft двухфазного иммерсионного охлаждения является частью многосторонней стратегии компании, направленной на то, чтобы сделать центры обработки данных более устойчивыми и эффективными в построении, эксплуатации и обслуживании.
 Например, группа перспективных разработчиков центров обработки данных также изучает возможность использования водородных топливных элементов вместо дизельных генераторов для резервного производства электроэнергии в центрах обработки данных.
 Проект жидкостного охлаждения аналогичен проекту Microsoft Project Natick, который исследует потенциал подводных центров обработки данных, которые быстро развертываются и могут годами работать на морском дне, запечатанные внутри подводных труб, без какого-либо обслуживания на месте людьми.
 Вместо инженерной жидкости подводный центр обработки данных заполнен сухим азотным воздухом.Серверы охлаждаются вентиляторами и водопроводной системой теплообмена, которая перекачивает морскую воду, подаваемую по трубопроводу, через герметичную трубу.
 Ключевой вывод Project Natick заключается в том, что количество отказов серверов на морском дне в одну восьмую меньше, чем количество отказов серверов-реплик в наземном центре обработки данных. Предварительный анализ показывает, что отсутствие влажности и коррозионное воздействие кислорода в первую очередь ответственны за превосходную работу серверов под водой.
 Алисса ожидает, что серверы внутри жидкостного иммерсионного резервуара будут иметь аналогичную превосходную производительность. «Мы подвели к серверам море, а не погружали дата-центр под воду», — сказал он.
 Иоаннис Манусакис, главный инженер-программист Azure, извлекает блейд-сервер из двухфазного иммерсионного охлаждающего резервуара в центре обработки данных Microsoft. Фото Джина Тведта для Microsoft.
 Будущее  Если серверы в погружном резервуаре столкнутся с пониженной интенсивностью отказов, как и ожидалось, Microsoft может перейти к модели, в которой компоненты не заменяются немедленно при выходе из строя.Это ограничит потерю паров, а также позволит размещать резервуары в удаленных, труднодоступных для обслуживания местах.
 Более того, возможность плотно разместить серверы в резервуаре позволяет изменить архитектуру серверов, оптимизированную для работы с низкими задержками, высокопроизводительными приложениями, а также с низкими эксплуатационными расходами, отметил Белади.
 Такой танк, например, можно было бы разместить под вышкой сотовой связи 5G в центре города для таких приложений, как беспилотные автомобили.
 На данный момент у Microsoft есть одна емкость, выполняющая рабочие нагрузки в гипермасштабируемом центре обработки данных. В течение следующих нескольких месяцев команда Microsoft проведет серию тестов, чтобы доказать жизнеспособность танка и технологии.
 «Этот первый шаг направлен на то, чтобы люди чувствовали себя комфортно с концепцией и продемонстрировали, что мы можем выполнять производственные нагрузки», — сказал Белады.
 Связанные   Джон Роуч пишет об исследованиях и инновациях Microsoft. Следуйте за ним в Twitter    .
 Expert Server Room Cooling and Monitoring Best Practices 
 Большинство людей знают, почему в серверной комнате должно быть холодно. Но охлаждение серверных — это бесконечная битва. По мере того как технологии продолжают соблюдать закон Мура и увеличиваются как вычислительная мощность, так и потребление энергии на квадратный фут, становится теплее и появляются новые способы сбить с толку экологические системы вашей серверной. Каковы передовые практики решения для охлаждения серверных комнат?
 Какие условия окружающей среды действительно необходимо контролировать? 
 Однако вы не можете просто позволить своим серверам работать при высоких температурах из-за страха повреждения.Также нельзя допускать, чтобы в серверной комнате или центре обработки данных была высокая или низкая влажность, которая может вызвать короткое замыкание вашего оборудования. Хотя это звучит достаточно просто, поскольку оборудование выдает 750 Вт на квадратный фут, недостаточно просто запустить блок воздушного охлаждения и ожидать, что ваша серверная комната останется прохладной.
 Воздух в серверной, особенно рядом с процессорами в вашем оборудовании, быстро поднимется до опасной температуры, если не будет должным образом охлажден и циркулирует. Вы не хотите, чтобы ваши серверы и смонтированное в стойке оборудование принимали горячий воздух, выходящий из других серверов, иначе вы можете увидеть сбои оборудования или, по крайней мере, неэффективную работу сервера.
 Даже если бы у вас было достаточно блоков переменного тока, чтобы поддерживать разумную температуру в серверной, вы бы потратили на это дорогостоящее количество энергии. Есть гораздо более эффективные способы поддерживать прохладу в серверной.
 Важность поддержания прохлады в серверной комнате: избегайте необратимых повреждений оборудования и дорогостоящего ремонта 
 Вы можете знать, что важно поддерживать прохладу в серверной комнате и оборудовании, но вы не можете полностью понять причину. Сильная жара и высокая влажность могут серьезно повредить ваше критически важное оборудование.В случае сильного нагрева многие компоненты вашего оборудования рассчитаны на работу только в определенном температурном диапазоне. Если температура в серверной комнате превышает этот предел, части вашего оборудования могут перестать работать — или, что еще хуже, полностью поджариться, что приведет к необратимым повреждениям.
 Что касается влажности, то это известный факт, что вода и электронное оборудование плохо сочетаются друг с другом. Ваше оборудование может справиться с небольшим количеством воды, естественным образом находящейся в воздухе. Но если влажность упадет до определенного процента, вас ждут проблемы.Если уровень влажности в серверной комнате становится слишком высоким, вода в воздухе может вызвать короткое замыкание на вашем оборудовании.
 Хотя вам может повезти просто высушить его, в большинстве случаев повреждение водой приводит к необратимому повреждению оборудования, и его необходимо будет заменить. Чтобы избежать замены дорогостоящего оборудования из-за предотвратимых повреждений, убедитесь, что ваша серверная комната находится под надлежащим наблюдением.
 Современные методы охлаждения серверных комнат и центров обработки данных 
 Системы с жидкостным охлаждением могут помочь в охлаждении.Системы с жидкостным охлаждением пропускают охлажденную воду или жидкий хладагент через змеевики рядом с серверами и стойками, на них или через них, чтобы они оставались прохладными. Такие системы часто представляют собой закрытые системы, монтируемые в стойку, которые охлаждают и рециркулируют хладагент, когда он проходит над, под и вокруг вашего горячего оборудования. Конечно, жидкостное охлаждение стоит дорого и увеличивает объем вашей серверной.
 Системы кондиционирования воздуха в серверной намного дешевле, но они просто не будут работать так хорошо, если не будут организованы таким образом, чтобы максимально увеличить охлаждающий потенциал.Необходимо контролировать поток холодного воздуха, и должен быть способ гарантировать, что серверы впускают холодный воздух, а выпускают горячий воздух и что они не выпускают горячий воздух во впускные отверстия других систем.
 Чтобы справиться с этой проблемой, технические специалисты и менеджеры серверных комнат обращаются к стратегиям горячего коридора, которые помогут контролировать воздушный поток. В этой стратегии серверы и стойки размещаются рядами так, чтобы их воздухозаборники были обращены друг к другу, а выпускные — в противоположную сторону. Это вызывает чередование холодных и горячих коридоров.
 Холодный воздух закачивается через отверстия в фальшполе в холодных коридорах. Серверы всасывают холодный воздух и выпускают его в горячие коридоры. В горячих коридорах блоки CRAC (кондиционеры машинного зала) втягивают горячий возвратный воздух и охлаждают его по мере того, как он перекачивается обратно под фальшпол для повторного входа в систему.
 Мониторинг помогает поддерживать охлаждение серверной комнаты 
 Охлаждение серверной комнаты зависит от ряда различных переменных. К ним относятся воздушный поток, влажность, возврат и распределение оборудования.Вот почему вам необходимо контролировать эффективность экологических систем вашей серверной во многих местах.
 Вы должны убедиться, что система работает правильно. Вы не можете просто предоставить контроль окружающей среды органам управления окружающей средой в серверной комнате, поскольку они размещаются только в тех местах, где легче всего контролировать охлаждение, воздушный поток и влажность.
 То, что с вашими блоками CRAC все в порядке, не обязательно означает, что холодный воздух распределяется в нужные места в вашей серверной.Влажность в вашем пространстве возвратного воздуха может быть нормальным, но на полу серверной при другой температуре вы можете измерить что-то другое. Разнообразная среда серверной комнаты требует, чтобы вы разместили датчики и оборудование для мониторинга по всей серверной комнате.
 Топ-3 стратегии для мониторинга ваших систем охлаждения 
 Конечно, размещение датчиков в серверной — непростая задача. Существует три основных стратегии наблюдения за серверной комнатой:
 Вы можете контролировать участки в помещении, которые наиболее подвержены экстремальным условиям.Если температура, воздушный поток и влажность находятся в пределах допустимого диапазона в самых экстремальных точках вашей серверной, вы можете быть уверены, что ваши системы охлаждения и распределение оборудования исправны.
 Вы можете контролировать температуру, влажность и воздушный поток на уровне стойки. Если уровни окружающей среды находятся в пределах нормы на уровне сервера, внутри стоек, то, очевидно, ваше оборудование HVAC работает нормально.
 Вы можете комбинировать две стратегии, чтобы уменьшить слабые стороны любой из них. Это самый дорогой маршрут, но самый тщательный и наиболее рекомендуемый для обеспечения сохранности вашего снаряжения.
 TempDefender: максимальная защита для вашей серверной комнаты и оборудования 
 Для наблюдения за различными точками в серверной комнате с одного устройства, DPS Telecom создает TempDefender. TempDefender — это небольшой, монтируемый в стойку блок удаленной телеметрии (RTU), который может обрабатывать до 16 аналоговых датчиков, сообщающих обо всех факторах окружающей среды в вашей серверной.
 Датчики для TempDefender могут быть соединены гирляндной цепочкой, поэтому вам не придется прокладывать беспорядочные кабели обратно к TempDefender. Вы также можете закрепить датчики на расстоянии до 600 футов от RTU, что позволит вам перемещать датчики в самые крайние точки в вашей серверной с централизованно расположенного устройства, не беспокоясь о проблемах с подключением.
 Будьте осторожны, измеряя таким образом систему охлаждения серверной. Обязательно направьте датчики на места, которые могут быть горячими. К ним относятся указанное выше оборудование, горячие проходы и около ваших самых горячих стоек.
 Также следует размещать датчики там, где больше всего необходим воздушный поток. Сюда могут входить проходы с горячим воздухом по обе стороны от холодных.
 Это обеспечит равномерное распределение холодного воздуха. Вы хотите, чтобы воздух, как холодный, так и горячий, эффективно проходил через систему. Потери и неэффективность приводят к тому, что серверные комнаты нагреваются, и на процесс охлаждения расходуется больше энергии — это не так плохо, как полное расплавление, но все же не оптимально.
 NetGuardian 216 G3: лучший RTU для онлайн-мониторинга окружающей среды 
 Если вы ищете решение «стойка-стойка», вам следует подумать о чем-то вроде пульта DPS Telecom NetGuardian 216 G3.Устройство имеет четыре аналоговых входа, с помощью которых можно измерять окружающую среду в стойке (или ряд датчиков на нескольких стойках), и 16 дискретных входов сигнализации, чтобы вы могли напрямую контролировать свои серверы и другое оборудование.
 NetGuardian 216 представляет собой комплексное решение, с помощью которого вы можете контролировать датчики окружающей среды и сухие контакты, поступающие непосредственно с ваших серверов, так что независимо от того, связана ли ваша проблема с окружающей средой или нет, вы об этом узнаете.
 Установка RTU в каждую стойку — более дорогое решение, и, хотя оно обеспечивает прямой мониторинг ваших серверов, который поможет вам обеспечить их безопасность и непрерывную работу, он не обязательно многое расскажет о системах охлаждения в вашей серверной комнате, помимо адекватны они или нет.Измерение отдельных серверов и стоек вряд ли укажет вам на неэффективность системы.
 Датчики для мониторинга показателей окружающей среды в серверной для защиты жизненно важного оборудования 
 DPS также предлагает линейку датчиков, которые без проблем работают с вашим RTU, чтобы обеспечить вам полную видимость окружающей среды в серверной комнате. Датчики с D-образным проводом позволяют измерять температуру, влажность и воздушный поток, и до 16 датчиков могут быть подключены последовательно друг к другу. Датчики позволяют вам мгновенно контролировать состояние серверной комнаты, чтобы вы могли решить проблему, пока не стало слишком поздно. Другие варианты датчиков включают датчик температуры с зондом, аналоговые датчики температуры и влажности без D-Wire, датчики дыма и внешние датчики погоды.
 Мониторинг для полной видимости удаленного объекта: какое решение для мониторинга окружающей среды является лучшим? 
 Объединение обеих стратегий с TempDefender, NetGuardians и датчиками даст вам наиболее полное представление о состоянии вашей серверной.Хотя это может показаться серьезным вложением средств, вы не можете позволить себе оставлять свое оборудование уязвимым для повреждений.
  Связанные темы: 
 Мониторинг температуры серверной комнаты.
 Решения для вентиляторов и охлаждения для серверных стоек 
 Давайте поговорим об охлаждении центра обработки данных 
 Когда дело доходит до центров обработки данных и серверных комнат, управление температурой является одной из наиболее важных задач, которые необходимо решить. Простой факт в том, что тепло не очень хорошо для электроники, и, наоборот, серверы выделяют много тепла.Чем больше серверов вы поместите в ограниченное пространство, тем больше тепла вы будете генерировать. Перегрев может привести к повреждению компонентов, не говоря уже о простоях, которые могут иметь ужасные последствия. Существует множество способов управления теплом и охлаждения серверной среды — от кондиционирования воздуха до проектирования компоновки. Мы их рассмотрим, но сначала давайте немного углубимся в историю.
 В начале … 
 Одним из первых методов охлаждения центров обработки данных был метод «хаотичного» распределения воздуха… броское название, не так ли? В этом методе у вас были блоки кондиционирования воздуха компьютерного зала (CRAC) по периметру центра обработки данных, которые подавали бы много-много холодного воздуха в комнату, который охлаждает оборудование и направляет горячий воздух в обратные каналы для охлаждения. CRAC.Это было не идеально по многим причинам. Холодный воздух не всегда попадал туда, где он был больше всего необходим, а горячий воздух не всегда попадал в обратные каналы, вместо этого попадая в воздухозаборники серверов и делая оборудование опасно горячим. Кроме того, чтобы подать больше холодного воздуха, блоки CRAC будут откачивать воздух слишком быстро, чтобы воздухозаборники сервера могли его втянуть, поэтому он в конечном итоге попадал обратно в обратные каналы, прежде чем у него даже была возможность охладить оборудование. . Очевидно, это было неэффективно, поэтому в конечном итоге был разработан макет, который помог решить эти проблемы.
 Тебе жарко, потом тебе холодно … 
 Первые шаги, которые вы можете предпринять для управления воздушным потоком, связаны с обустройством вашего помещения. Разработка «горячего коридора / холодного коридора» помогла решить множество проблем, связанных с методом «хаоса», и стала популярной компоновкой для серверов. По сути, вы устанавливаете свое оборудование так, чтобы воздухозаборники (для холодного воздуха) были обращены друг к другу, а выхлопные (для горячего воздуха) были обращены друг к другу (или к настенным блокам переменного тока). Зоны с выходами выхлопных газов становятся «горячими коридорами», а зоны с обращенными друг к другу воздухозаборниками — «холодными коридорами».Обычно воздух из горячего коридора улавливается установками CRAC, охлаждается и затем подается в холодный коридор через системы перфорированных фальшполов …
 Здесь жарко … 
 Тем не менее, проблема с горячим / холодным коридорами все еще существует: горячий и холодный воздух могут проникать в нежелательные зоны. Вот почему после того, как ваши проходы настроены в этой конфигурации, вам необходимо разработать метод сдерживания, чтобы холодный воздух не попадал в горячий воздух и наоборот.Думайте об этом как о Охотниках за привидениями, только вместо того, чтобы удерживать кучу жутких призраков от бесчинства в Нью-Йорке, вы пытаетесь не дать горячему воздуху вторгнуться в ваши прохладные помещения и разрушить его прохладную атмосферу. Есть много элементов, которые могут помочь в управлении воздушным потоком в вашей серверной среде.
 Юбка воздушной заслонки, которая прикрепляется с помощью магнитов или липучки к нижней или верхней части шкафа, помогает блокировать воздух, который может проходить под или поверх серверного шкафа.
 Панели-заглушки не позволяют воздуху проходить через неиспользуемое пространство стойки. Их можно приобрести в виде отдельных блоков высотой 1U или в виде листов, чтобы занять большую площадь.
 Пенопластовые воздушные заслонки или щеточные втулки могут помочь создать плотно прилегающий барьер вокруг любых пучков кабелей или труб, которые могут проходить между горячими и холодными зонами, что снижает количество тепла и холода, которые могут выходить между проходами.
 Разделенные задние двери также могут помочь перенаправить горячий воздух вверх и от холодных проходов.
 Думайте не только о CRAC 
 Хотя блоки CRAC по-прежнему используются для охлаждения центров обработки данных, существует множество дополнительных охлаждающих устройств, которые также дополняют блоки CRAC. Переносные блоки кондиционирования воздуха, такие как блоки ClimateCab AC от Black Box, можно прикреплять непосредственно к стойкам или корпусам для охлаждения компонентов, а не к области вокруг них. Доступен также широкий выбор вариантов охлаждения с помощью вентилятора. Вентиляторы помогают поддерживать охлаждение отдельных компонентов во время работы и являются вариантом для установки в стойку в ограниченном пространстве, где более крупные блоки переменного тока могут быть не нужны или нецелесообразны.Обычно они занимают всего 1U в стойке и могут быть установлены непосредственно в стойку или корпус.
 Дата-центр по фен-шуй 
 Последнее слово о дизайне центра обработки данных: по возможности лучше спроектировать комнату вокруг оборудования, а не наоборот. На практике это, конечно, не всегда возможно. Однако традиционный метод размещения в комнате как можно большего количества ИТ-оборудования и охлаждающего оборудования имеет некоторые очевидные недостатки, которые могут вызвать серьезные проблемы в будущем.Очевидно, что мы не можем все быть Google и Facebook, проектируя центры обработки данных размером с гигантские склады, чтобы удовлетворить потребности наших серверов. Тем не менее, лучше не перегружать пространство большим количеством оборудования, чем оно может вместить. В конечном итоге вы будете платить в долгосрочной перспективе, поэтому убедитесь, что ваша охлаждающая мощность способна удовлетворить потребности вашего тепловыделения таким образом, чтобы это было достаточно эффективно, чтобы не нарушать ваш бюджет.
 Microsoft погружает серверы в жидкие ванны 
 Microsoft начинает погружать свои серверы в жидкость, чтобы повысить их производительность и энергоэффективность.Стойка с серверами теперь используется для производственных нагрузок в том, что выглядит как жидкая ванна. Этот процесс погружения существует в отрасли уже несколько лет, но Microsoft утверждает, что это «первый облачный провайдер, использующий двухфазное иммерсионное охлаждение в производственной среде».
 Охлаждение осуществляется путем полного погружения серверных стоек в специально разработанную непроводящую жидкость. Жидкость на основе фторуглерода работает, отводя тепло при прямом попадании на компоненты, и жидкость достигает более низкой точки кипения (122 градуса по Фаренгейту или 50 градусов по Цельсию), конденсируется и снова падает в ванну в виде дождевой жидкости.Это создает систему охлаждения с замкнутым контуром, снижая затраты, поскольку не требуется энергия для перемещения жидкости по резервуару, а также не требуется охладитель для конденсатора.
  Кипящая жидкость окружает серверы в центре обработки данных Microsoft.   Изображение: Microsoft  «По сути, это ванна», — объясняет Кристиан Белади, вице-президент группы перспективных разработок Microsoft для центров обработки данных, в интервью  The Verge .«Стеллаж будет лежать внутри этой ванны, и вы увидите, что кипит так же, как если бы вы кипели в своей кастрюле. Температура кипения в вашей кастрюле составляет 100 градусов по Цельсию, а в данном случае — 50 градусов по Цельсию «.
 Этот тип жидкостного охлаждения использовался криптомайнерами в последние годы для майнинга биткойнов и других криптовалют. Этот метод вдохновил Microsoft на то, чтобы опробовать его использование в течение последних нескольких лет, используя его для тестирования всплесков спроса на облако и интенсивных рабочих нагрузок для таких приложений, как машинное обучение.
 В настоящее время большинство центров обработки данных имеют воздушное охлаждение, использующее наружный воздух и охлаждающее его, понижая его до температуры ниже 35 градусов Цельсия с помощью испарения. Это называется болотным охлаждением, но для этого требуется много воды. Эта новая техника жидкой ванны предназначена для уменьшения расхода воды. «Это потенциально устранит необходимость в потреблении воды в центрах обработки данных, так что это действительно важно для нас», — говорит Белады. «На самом деле все дело в том, чтобы управлять автомобилем все меньше и меньше, где бы мы ни приземлились.”
  Microsoft надеется увидеть меньше отказов оборудования.   Изображение: Microsoft  Этот набор серверов также позволяет Microsoft более плотно упаковать оборудование, что должно сократить объем пространства, необходимого в долгосрочной перспективе, по сравнению с традиционным воздушным охлаждением. Microsoft сначала тестирует это с небольшой внутренней производственной нагрузкой, и в будущем планирует использовать ее более широко. «Это в небольшом центре обработки данных, и мы смотрим на стоимость одной стойки», — говорит Белады.«У нас есть целиком поэтапный подход, и довольно скоро наш следующий этап с несколькими стойками».
 Microsoft будет в основном изучать последствия для надежности этого нового охлаждения и с какими типами всплесков рабочих нагрузок оно может даже помочь для облачных вычислений и спроса на ИИ. «Мы ожидаем гораздо большей надежности. Наша работа с программой Project Natick несколько лет назад действительно продемонстрировала важность устранения влажности и кислорода из окружающей среды », — поясняет Белады.
  Специальный контейнер Microsoft для серверов с жидкостной ванной.  Изображение: Microsoft  В рамках проекта Natick Microsoft погрузила весь центр обработки данных на дно Шотландского моря, погрузив в воду 864 сервера и 27,6 петабайт хранилища. Эксперимент увенчался успехом, и количество отказов Microsoft было лишь в восемь раз меньше, чем у наземного центра обработки данных. «То, что мы ожидаем от погружения, — это аналогичная тенденция, потому что жидкость вытесняет кислород и влажность, и оба они вызывают коррозию… и это то, что вызывает сбои в наших системах», — говорит Белади.
 Часть этой работы также связана с экологическим обязательством Microsoft решить проблему нехватки воды. Компания обязалась пополнить к 2030 году еще больше воды, чем она использует для своих глобальных операций. Это включает в себя использование Microsoft системы сбора дождевой воды в своих офисах и сбор конденсата от кондиционеров для водоснабжения. Тем не менее в 2019 году Microsoft забрала почти 8 миллионов кубометров воды из муниципальных систем и других местных источников по сравнению с чуть более 7 миллионами в 2018 году.
 Усилия Microsoft по решению проблемы использования воды будут чрезвычайно сложными, учитывая ее тенденцию к увеличению использования воды, но такие проекты, как двухфазное погружение, безусловно, помогут, если они будут развернуты более широко. «Наша цель — свести к нулю потребление воды», — говорит Белады. «Это наша метрика, поэтому мы и работаем над этим».
 .