Resfriamento por imersão vs. Resfriamento direto-para{2}}o chip: o que isso significa para suas especificações de tubulação

Introdução: a decisão que acontece tarde demais

A maioria dos engenheiros de data centers escolhe a tecnologia de resfriamento - por imersão ou direta-ao-chip - com base nas metas de densidade do rack e no orçamento de capital. A especificação da tubulação vem depois, muitas vezes tratada como um detalhe de execução em vez de um driver de design. Essa sequência é um erro.

O sistema fluido que você constrói em torno da arquitetura de resfriamento escolhida não é intercambiável. Uma especificação de tubulação escrita para resfriamento de placa fria-direto ao-chip (D2C)-falhará - literalmente e operacionalmente - se for adaptada para imersão-monofásica e vice-versa. Com as densidades de rack de GPU agora excedendo rotineiramente 50 kW e as cargas de trabalho de IA chegando a 100 kW por rack, acertar as especificações do tubo na fase de projeto esquemático não é mais opcional. Um único vazamento em um sistema D2C pode derrubar um rack inteiro de US$ 400.000 em hardware de GPU em segundos.

Este guia foi escrito para engenheiros mecânicos e hidráulicos que já tomaram (ou estão tomando) a decisão de arquitetura de resfriamento e precisam traduzir essa escolha em uma especificação de tubulação defensável e compatível com-a ASHRAE.

 

 

Direto para chip de resfriamento líquido data center GPU rack CDU

 

1. Duas arquiteturas, duas lógicas de loop de fluido completamente diferentes

Antes de abordar uma programação de tubulação, entenda que o resfriamento por imersão e o D2C operam com princípios hidráulicos fundamentalmente diferentes.

Direto-para{1}}o chip (D2C)circula líquido - normalmente água deionizada ou uma mistura de água-glicol - através de placas frias montadas diretamente em CPUs, GPUs e ASICs. O calor é absorvido na superfície do chip e transportado para uma unidade de distribuição de refrigerante (CDU), que o troca com o sistema de água da instalação. O resultado é uma rede densa e pressurizada de tubos de pequeno-diâmetro, coletores, acessórios de-desconexão rápida e placas frias, todos os quais devem funcionar simultaneamente em equilíbrio hidráulico.

Resfriamento-de imersão monofásicosubmerge placas de servidor inteiras em um fluido dielétrico - normalmente um hidrocarboneto sintético ou fluido de engenharia - dentro de um tanque. O calor é transferido de todos os componentes para o fluido, que é então bombeado através de um trocador de calor externo. A rede de tubulação externa é mínima: essencialmente duas conexões por tanque (fornecimento e retorno) indo para uma CDU ou circuito de resfriamento da instalação.

A diferença arquitetônica é gritante: o D2C distribui o desafio hidráulico em dezenas de pontos de conexão por rack; a imersão o consolida em um circuito externo simples-de baixa pressão. Tudo a jusante em suas especificações de tubulação flui dessa distinção.

 

2. Seleção de material de tubo: onde a ASHRAE define o limite

ASHRAE TC 9.9 e TC 9.6 são explícitos sobre compatibilidade de materiais. Para circuitos de resfriamento à base de água-D2C, a orientação proíbe zinco, alumínio e latão contendo mais de 15% de zinco -, todos os quais aceleram a corrosão galvânica na presença de água tratada. Em termos práticos, isso exclui acessórios de latão amarelo padrão e tubos de aço galvanizado que permanecem comuns em sistemas hidrônicos HVAC.

Para o loop do Technology Cooling System (TCS) - o loop secundário que atende placas frias diretamente -Aço inoxidável 304 ou 316é a especificação padrão. O circuito TCS normalmente utiliza água deionizada ou altamente tratada, que na verdade é mais agressiva à corrosão do que a água municipal porque quase não tem capacidade tampão. Uma válvula de isolamento em cada rack, classificada para a pressão operacional do sistema e fabricada em aço inoxidável 316, é necessária tanto para manutenção de rotina quanto para isolamento de vazamento de emergência.

Para o resfriamento por imersão, o desafio do material muda completamente. O fluido dielétrico é quimicamente inerte em relação à maioria dos metais, mas ataca agressivamente os elastômeros - EPDM padrão e juntas Buna-N usadas em aplicações HVAC irão inchar e degradar dentro de meses de contato com fluidos dielétricos à base de hidrocarbonetos-. O próprio material da tubulação (aço inoxidável, aço carbono) é geralmente compatível, mas cada junta, anel de vedação e conexão flexível no circuito externo devem ser especificados como PTFE ou um material de fluoropolímero classificado para o fluido específico em uso.

 

3. Dimensionamento de tubos, velocidade de fluxo e queda de pressão

ASHRAE TC 9.6 define uma velocidade máxima de fluido de2,1 m/s para diâmetros de tubo maiores que 3 polegadaspara evitar erosão em acessórios e curvas. Abaixo de 3 polegadas, o limite prático está mais próximo de 1,5–1,8 m/s antes que o ruído e o risco de erosão aumentem inaceitavelmente. Esses limites se aplicam a ambas as arquiteturas de resfriamento, mas criam resultados de dimensionamento muito diferentes.

Nos sistemas D2C, a vazão é ditada pela carga térmica de cada placa fria. À medida que o TDP (Thermal Design Power) do chip aumenta, - as modernas GPUs H100 operam com TDP de 700 W, com aceleradores de próxima{5}}geração projetados para 1.000 W+ -, a demanda de fluxo por placa fria aumenta proporcionalmente. Um rack de 50 kW com resfriamento D2C pode exigir de 8 a 12 litros por minuto de refrigerante no coletor do rack, distribuídos em 8 a 16 placas frias individuais. Isso gera a necessidade de um equilíbrio hidráulico cuidadoso: as placas frias em paralelo devem compartilhar o fluxo de maneira equitativa, ou os chips mais quentes - normalmente aqueles no final do ramal do coletor - ficarão sem capacidade de resfriamento.

Em sistemas de imersão, o circuito de tubulação externo transporta toda a carga de calor do tanque, mas com velocidade e pressão muito mais baixas, porque o mecanismo de acionamento dentro do tanque é a convecção e o bombeamento de baixa-velocidade, e não o fluxo forçado de alta-pressão. Um tanque de imersão de 250 kW normalmente requer apenas 20–30 litros por minuto através do circuito externo do trocador de calor, em pressões do sistema raramente excedendo 2–3 bar.

A decisão de roteamento aéreo versus subterrâneo também afeta o dimensionamento. A orientação da ASHRAE observa que os trechos de tubulação subterrânea devem levar em conta a espessura do isolamento e a folga de cruzamento do tubo - adicionar 50 mm ao diâmetro do tubo ao contabilizar o envoltório de isolamento é um erro de planejamento comum que cria conflitos de coordenação com-layouts de piso elevados.

 

4. Válvulas de isolamento, filtros e controle de vazamento: o detalhe da especificação que protege o tempo de atividade

É aqui que as especificações da tubulação determinam diretamente a resiliência operacional e onde a maioria dos documentos de especificação são subscritos.

Para sistemas D2C, cada rack deve ter uma válvula de isolamento nas pernas de alimentação e retorno, permitindo que um único rack seja isolado e drenado para manutenção sem desligar os racks adjacentes. O tipo de válvula preferido para esta aplicação é umaVálvula de esfera roscada de 3 peçasem aço inoxidável 304 ou 316. O projeto do corpo de três{3}}peças é fundamental aqui: diferentemente das válvulas de uma-peça ou duas-peças, ela pode ser desmontada no lugar - sem cortar o tubo ou remover o corpo da válvula da linha - para substituir as vedações ou limpar a sede. Em um ambiente de data center ativo, onde minimizar o tempo de inatividade do rack é fundamental, essa-capacidade de manutenção em linha é uma vantagem operacional significativa, e não um luxo de especificação.

A montante de cada coletor de rack, é necessário um filtro em Y de aço inoxidável para proteger os micro-canais da placa fria contra contaminação por partículas. Geometrias de placas frias para GPUs de alto-desempenho usam larguras de canal tão estreitas quanto 0,5–1,0 mm; uma partícula de 200 mícrons pode bloquear parcialmente um canal e criar um ponto quente localizado que o monitoramento térmico pode não detectar até que o estrangulamento do chip comece. Especifique filtros com uma classificação de malha de 50 mícrons ou mais fina no circuito TCS, de acordo com as diretrizes de qualidade da água ASHRAE TC 9.9.

Na perna de retorno, uma válvula de retenção de aço inoxidável evita o fluxo reverso através do trocador de calor CDU quando um rack é isolado ou uma bomba aciona - um evento de refluxo que pode introduzir fluido quente no coletor de alimentação e elevar as temperaturas do líquido refrigerante em toda a fileira antes que os controles respondam.

Para conexões de servidor-para{1}}coletor, especifique acessórios de desconexão-rápida-seca com um derramamento máximo permitido de 1 centímetro cúbico por ciclo de desconexão, de acordo com os padrões de conexão OCP (Open Compute Project). Os segmentos de mangueira flexíveis nessas conexões devem ser fixados com braçadeiras adicionais em intervalos de 150 mm para evitar queda de pressão-induzida e tensão nas roscas da conexão.

Para sistemas de imersão, a especificação de isolamento é mais simples, mas não trivial. Cada tanque precisa de válvulas de isolamento de fornecimento e retorno dimensionadas para o fluxo total do tanque, além de uma porta de amostra para monitoramento da qualidade do fluido. Especifique as conexões do circuito externo em um material compatível com o fluido dielétrico específico - confirme a compatibilidade com o fornecedor do fluido por escrito antes de finalizar a especificação, pois as formulações proprietárias do fluido variam.

O cabo de detecção de vazamento deve ser direcionado ao longo de todo o comprimento de todas as tubulações de alimentação D2C, posicionado no ponto mais baixo acessível de cada bandeja de tubos ou bandeja de cabos. Para sistemas de imersão, sensores-detectores de vazamento pontuais em cada base do tanque e na CDU são suficientes, visto que as conexões de tubos externos são poucas e de alta{3}}visibilidade.

 

 

Válvula de esfera roscada Leadtek de 3 peças

 

5. Uma lista de verificação de especificações práticas antes de emitir para construção

Antes de sua especificação de tubulação sair da equipe de engenharia, verifique o seguinte em relação à arquitetura de resfriamento escolhida:

Conformidade material: Todos os metais molhados foram confirmados como isentos de zinco e ligas de alumínio (D2C); todos os elastômeros confirmados como compatíveis com a química do fluido dielétrico (imersão)

Verificação de velocidade: Máximo 2,1 m/s em tubos com diâmetro maior ou igual a 3", de acordo com ASHRAE TC 9.6

Válvulas de isolamento: Uma válvula esférica rosqueada de 3 peças por rack, fornecimento e retorno, com capacidade de-manutenção em linha (D2C)

Classificação do filtro: Menor ou igual a malha de 50 mícrons na alimentação TCS, a montante de cada coletor de rack (D2C)

Verifique o posicionamento da válvula: Perna de retorno da CDU, cada ramal de retorno do rack (D2C)

Especificação-de desconexão rápida: Ruptura-seca, menor ou igual a 1 cc de derramamento, compatível com OCP-(D2C)

Detecção de vazamento: Cabo contínuo em todos os trechos de alimentação (D2C); sensores pontuais na base do tanque e CDU (imersão)

Liberação do piso: OD do tubo mais isolamento mais folga cruzada de 50 mm confirmado no modelo vazio no piso

Plano de tratamento de água: Programa químico-específico do local ativado antes do preenchimento do sistema, com protocolo de monitoramento contínuo especificado

 

Conclusão: Especifique o sistema de tubulação para corresponder à arquitetura de resfriamento, e não o contrário

A decisão da tecnologia de resfriamento e a especificação da tubulação não são etapas sequenciais - elas são uma única decisão de engenharia integrada. A escolha entre resfriamento por imersão e D2C define a lógica hidráulica, as restrições de material, a estratégia de isolamento e o perfil de risco de vazamento de todo o seu sistema de fluidos. Tentar adaptar uma especificação genérica de tubo hidrônico HVAC a qualquer arquitetura produzirá um sistema com desempenho operacional inferior e criará exposição desnecessária à manutenção.

Envolva suas especificações de tubulação no projeto esquemático, juntamente com a seleção da arquitetura de resfriamento. Use ASHRAE TC 9.6 e TC 9.9 como sua estrutura de conformidade básica e verifique cada seleção de material em relação à química real do fluido em seu sistema - e não uma suposição genérica de "água". Os 30 minutos gastos para obter o tipo de válvula de isolamento e a classificação da malha do filtro logo no estágio de especificação economizarão consideravelmente mais de 30 minutos em tempo de inatividade futuro.

 

Perguntas frequentes

P: Posso usar tubo de aço carbono HVAC padrão para um circuito de resfriamento direto-ao-chip?

O aço carbono é usado em circuitos de água gelada no lado da instalação (FWS), mas não é apropriado para o circuito do Technology Cooling System (TCS) que atende diretamente placas frias. O circuito TCS utiliza água altamente purificada com baixo teor iônico, que é mais corrosivo para o aço carbono do que a água HVAC tratada. Especifique aço inoxidável 304 ou 316 para todas as tubulações e conexões de circuito TCS.

P: Por que o fabricante da minha CDU especifica um tamanho de conexão de tubo diferente daquele do meu fornecedor de placa fria?

CDUs e placas frias são frequentemente provenientes de diferentes fabricantes e projetadas para diferentes suposições de resistência ao fluxo interno. A incompatibilidade de tamanho da conexão é um problema de balanceamento hidráulico: se a CDU espera 10 L/min a 2 bar e as placas frias exigem coletivamente 14 L/min para manter as temperaturas de junção do chip, nenhuma especificação do fornecedor está errada - o projeto do sistema não as reconciliou. Um modelo hidráulico do circuito TCS completo, desde a saída da CDU até cada placa fria e vice-versa, deve ser concluído antes de finalizar qualquer dimensionamento de conexão.

P: Com que frequência os filtros Y devem ser limpos em um circuito de resfriamento D2C?

Durante os primeiros 90 dias de operação, inspecione as cestas do filtro mensalmente - os novos sistemas de tubulação liberam partículas à medida que os revestimentos dos tubos curam e as conexões assentam. Após o período-de adaptação, a inspeção trimestral normalmente é suficiente para sistemas-de circuito fechado com monitoramento contínuo da qualidade da água. Se sua CDU incorporar um sensor de pressão diferencial no filtro, defina um alarme em 0,3 bar delta-P como linha de base-limpa da cesta.

P: A tubulação de resfriamento por imersão é mais simples de especificar do que a D2C?

A rede de tubulação externa para resfriamento por imersão é significativamente mais simples -menos pontos de conexão, pressão mais baixa e nenhuma distribuição-de coletor em nível de rack. No entanto, a especificação do material é mais complexa porque a compatibilidade do fluido dielétrico deve ser verificada para cada elastômero, gaxeta e conector flexível do sistema. O modo de falha de compatibilidade incorreta de materiais em um sistema de imersão é lento e difícil de detectar: ​​degradação da vedação ao longo de 12 a 18 meses, seguida por perda gradual de fluido e contaminação, em vez do evento de vazamento imediato e visível que os sistemas D2C produzem.

P: Qual é a altura mínima do vazio do piso necessária para que o tubo de resfriamento D2C passe sob um piso elevado?

A orientação da ASHRAE não estabelece um mínimo universal, pois depende do diâmetro do tubo, da especificação do isolamento e se os tubos se cruzam. Uma regra prática de planejamento é permitir o maior diâmetro externo do tubo no trecho, mais 75 mm de isolamento em todos os lados, mais 50 mm de folga acima para tubos cruzados, mais 25 mm abaixo para suportes. Para uma rede de alimentação de 4- polegadas com isolamento de 25 mm, isso produz um vazio mínimo no piso de aproximadamente 300 mm - maior do que o vazio de 250 mm comum em data centers legados com piso elevado, o que é uma restrição de modernização que vale a pena identificar antecipadamente.