Os seis erros mais comuns em projetos de pequenos e médios data centers

Organização de racks
5 de julho de 2019

Os seis erros mais comuns em projetos de pequenos e médios data centers

Fonte: Revista RTI - Redes, telecom e instalações

Em projetos de grandes data centers, enterprise ou comerciais, normalmente há equipes de projetistas multidisciplinares que, aplicando seus conhecimentos e experiências, e seguindo as melhores práticas e normas, minimizam aplicações e conceitos desatualizados, evitando os chamados erros repetitivos. Já nos data centers de uso próprio, cuja demanda é de poucos racks (entre 30 ou 40), a realidade é bastante diferente, apesar de a criticidade ser basicamente igual à dos grandes projetos. Devido à demanda.

Devido à demanda por alta disponibilidade, às vezes a implantação é até mais difícil de ser levantada e dimensionada de imediato nos pequenos e médios data centers pela equipe técnica de TI e alguns erros básicos são cometidos.

Orçamentos reduzidos também podem induzir a erros, pois muitas vezes levam a soluções equivocadas e à compra de equipamentos não adequados, que cedo ou tarde precisarão ser substituídos a custos que normalmente podem chegar ao dobro do valor inicial.

Um data center tem as seguintes especialidades de engenharia:
• Arquitetura e civil – edificação, estudo de fundações, impermeabilização, piso elevado, paredes e portas corta-fogo, estanqueidade, base de equipamentos em áreas externas, etc.:
• Elétrica – entrada de energia, gerador de emergência, quadros elétricos, distribuição de energia interna, dimensionamento de UPS e demais equipamentos elétricos, sistema de aterramento, etc.:
• Mecânica – ar-condicionado, racks, distribuição de ventilação, confinamento, sistema de diesel, etc. • Conectividade – backbone, cabeamento óptico e metálico. • Segurança – prevenção e combate de incêndio, CFTV, controle de acesso, monitoramento ambiental, BMS, DCIM, etc.

É preciso agregar toda esta engenharia em pequenos espaços e, preferencialmente, com custos acessíveis para possibilitar a validação dos investimentos junto à diretoria. Grande parte das empresas exerce atividades não vinculadas à área de TI, aumentando assim o nível de exigência do planejamento para que possam ter o investimento aprovado.

Principais erros em projetos

Caso 1 – Dimensionamento de carga de TI

O principal e mais corriqueiro problema é o sobredimensionamento da infraestrutura. Entre as causas 52 – RTI – AGO 2019 INFRAESTRUTURA estão informações de TI não ajustadas à realidade atual e ao fator de crescimento. Abaixo a realidade da implantação inicial:
• Total de racks inicial = 5
• Racks de ativos = 4
• Rack de telecom/cabeamento = 1
• Racks futuros = 3
• Consumo médio medido = 5,5
a 6,5 kW, média de 6 kW de carga térmica A solução foi montada utilizando ar-condicionado perimetral com insuflamento sob o piso elevado. O corredor frio conta com placas posicionadas na frente do racks. Já o corredor quente retorna pelo próprio ambiente ao topo dos equipamentos de ar, que são de 10 TR, ou próximos a 30 kW de calor sensível.

São respeitados os espaçamentos de no mínimo 1,2 m na frente dos racks e um corredor de circulação na parte posterior com 1,5 m. O projeto utilizou 2 UPS de 40 kW na configuração dual bus (dividindo a carga igualmente para cada UPS). Para o quadro geral foi estimado um consumo total de 65 kW, sendo 48 kW na entrada do UPS (considerando a recarga de bateria), 12 kW para consumo de ar e mais 5 kW para serviços adicionais. Assim o grupo gerador foi dimensionado em torno de 80 kVA/64 kW (stand by)

Como exemplo, mostramos abaixo as premissas solicitadas para atender à demanda de um projeto final:
• Total de racks = 8
• Racks de ativos = 7
• Potência por racks de ativos = 4 kW
• Rack de telecom/ cabeamento = 1
• Potência do rack = 1 kW
• Potência final do projeto = 29 kW de carga térmica

Pode-se deduzir, como consequência do sobredimensionamento da carga de TI, que houve um investimento inicial acima do necessário.

Na prática a maioria dos ativos de TI vem trabalhando com 50% ou menos da energia especificada pelos dados de placa. Gestores de TI têm adotado premissas de crescimento baseadas nas tecnologias atuais ou naquelas que estão aplicadas em sua arquitetura de TI, sem se importar com os impactos técnicos e financeiros.

Caso 2 – Subcarregamento de UPS

Ainda utilizando o exemplo do caso 1, com o dimensionamento dos UPS para a carga final indicada de 40 kW, e a realidade de consumo implantado inicialmente na média de 6 kW, a condição de trabalho dos UPS, com a situação estável em regime dual bus, é de 3 a 4 kW de potência de saída. Ou seja, estão perto de 5 kW de potência de entrada, o que significa menos de 15% da capacidade nominal.

A equação abaixo mostra que o fator de potência de entrada varia de 0,99 indutivo a 100% de carga a 0,98, porém capacitivo com cargas baixas.

Fator de potência de entrada >0,99 à carga máxima; >0,98 a meia carga Geradores não funcionam bem com cargas capacitivas. No caso em discussão, por se tratar de uma instalação dedicada ao data center, o gerador enxerga uma carga com características capacitivas, o que impende a boa operação do sistema como um todo.

Há também os problemas inerentes
a falhas mecânicas do conjunto:
• Motores diesel trabalhando com baixa carga acabam não queimando todo o combustível, sobrando partículas carbonizadas e outros resíduos de óleo e água. As impurezas ficam carbonizadas nos cabeçotes. Para evitar danos maiores, são necessárias limpezas periódicas.
• Segundo padrões de testes definidos pela American Society for Testing and Materials, o óleo diesel, quando armazenado por longos períodos, degrada-se até 26% ao mês. Sistemas de pequeno porte dificilmente têm bombas e filtros de recirculação e filtragem, que poderiam reduzir o processo de degradação, fazendo uma circulação do diesel semanal em torno de 8 a 12 horas. Uma das alternativas para resolver o problema de entrada capacitiva dos Fig. 2 – Curvas de rendimento de UPS 54 – RTI INFRAESTRUTURA UPS é dimensionar os equipamentos de forma a permitir um crescimento modular. O uso de um UPS modular vai permitir que se faça um maior carregamento, deixando seu FP – fator de potência indutivo e sanando o problema.

A figura 2 mostra as curvas de rendimento de diversos UPS onde é possível ver que, abaixo de 30%, a eficiência não é mostrada. A maioria dos fabricantes só considera como eficiência energética razoável valores acima desse carregamento.

Caso 3 – Utilização equivocada de tecnologia de equipamento

Imagine que, no cenário da figura 1, tivessem sido utilizados equipamentos de ar condicionado de conforto e não de precisão.

Uma solução de ar de conforto do tipo split piso/teto levaria a uma mudança de layout, com os racks invertidos de lado, ou seja, a frente ficaria voltada para o lado da porta de entrada com o objetivo de direcionar o ar frio dos splits para a frente dos racks. A figura 3 mostra o layout alterado.

Para essa solução, com redundância e sem utilizar nenhum fator de redução de capacidade de refrigeração, seria necessário ter, no mínimo, três equipamentos de 14 kW cada.

Equipamentos de conforto não são adequados para esse tipo de aplicação, pois não são projetados para trabalhar em um regime de uso contínuo. Além disso, atuam com uma carga de 70% de calor sensível e 30% de calor latente. No caso as seguintes falhas seriam comuns de ocorrer no uso diário:
• Congelamento na evaporadora – ocorre quando há filtros sujos ou equipamentos trabalhando com níveis baixos de temperatura e carga térmica.:
• Entupimento dos drenos – o acúmulo de condensação na serpentina ocorre quando os equipamentos trabalham com níveis baixos de temperatura e carga térmica. A água, em excesso, pode sobrecarregar ou entupir os drenos.:
• Risco de condensação ambiental – é comum que o ajuste de temperatura fique abaixo de 18ºC, o que, somado com a baixa carga térmica, acabe por deixar o ambiente frio. Esse fator, combinado com a entrada de umidade externa, gera condensação nas partes metálicas das instalações e no interior dos racks.:
• Quebra/parada de um dos splits – por serem equipamentos não projetados para esse fim, e geralmente controlados por uma automação precária, é comum a quebra de uma ou mais unidades. O dano, como consequência, leva à parada total dos sistemas de processamento, com desligamento por alta temperatura no ambiente. Fig. 3 – Layout alterado 56 – RTI – AGO 2019:
• Curto-circuito térmico: Com o insuflamento pela frente dos racks, o ar quente da parte traseira necessita retornar aos splits, reduzindo a eficiência do sistema.

Caso 4 – Subcarregamento de ar de precisão

Todo equipamento de precisão necessita de calor para trabalhar bem. Analisando os dados de catálogos dos fabricantes, é possível verificar que os compressores, sejam eles do tipo digital scroll ou inverter, conseguem variar a taxa de compressão de 20% a 100% da capacidade do equipamento.

No caso 1 a carga de uma máquina funcionando a 6 kW fica em torno de 20% da capacidade de variação do compressor. Isto leva a dois efeitos básicos:

1) O compressor funcionará no regime de on/off, diminuindo sua vida útil e demandando ações mais frequentes nas manutenções preventivas e corretivas. Isso acontece pois ele liga na taxa de compressão mínima, inicia a refrigeração do ambiente e, em poucos minutos ou segundos, já desliga.

2) Como não ocorre a compressão, e somente a ventilação é suficiente para manter a temperatura, o sistema não consegue realizar o ciclo de retirar a umidade do ambiente.

Uma das alternativas para resolver o problema é a modulação de aparelhos de ar condicionado. No caso 1 o ideal seria trabalhar com três equipamentos de 5 ou 7 TR. A escolha do equipamento deve prever a possibilidade de um deles trabalhar com carregamento mínimo de 30% a 50%, escolhendo um frame de capacidade de refrigeração. Os efeitos citados podem ocorrer com equipamentos perimetrais dos tipos downflow e in row.

Em soluções in row o efeito é ainda pior, pois a capacidade nominal do equipamento é dada para uma condição de retorno com temperatura elevada.

A capacidade de variação de um compressor inverter para máquina in row (30% a 100%) e como os dados de placa são dimensionados a uma temperatura de retorno de 37ºC, 27% de umidade relativa e 45ºC de temperatura de condensação.

Ao analisar os dados de um equipamento do tipo in row, é possível notar que, quanto mais baixa a temperatura de retorno, menor é a capacidade de refrigeração. Essa é a razão pela qual usualmente confina-se o corredor quente neste tipo de solução. Determinados casos permitem o enclausuramento do corredor frio.

A figura 4 mostra uma solução com níveis baixos de temperatura de retorno e carregamento (em torno de 6 kW de carga de TI). As unidades de equipamentos in row são de 3 x 10 kW. Nesse caso o contratante optou por trabalhar sempre com duas unidades em operação, mantendo a temperatura de retorno baixa e diminuindo a taxa de uso de compressão.

A consequência aparece na dificuldade de controle de umidade no Fig. 4 – Solução com baixa temperatura de retorno e carregamento 57 – RTI – AGO 2019 ar insuflado, bem como na baixa eficiência do sistema. Nota-se que somente a modularidade não resolve. É preciso trabalhar com uma previsão de crescimento e início de operação mais assertivos.

Caso 5 – Layout inadequado

Um data center bem organizado precisa respeitar algumas premissas para que atenda às normas e também seja operacionalmente viável. Indica-se para o corredor frio um espaçamento de no mínimo duas placas de piso, para viabilizar a instalação das placas perfuradas ou grelhas de insuflamento, bem como para que os ativos de TI possam ser inseridos/retirados dos racks de forma apropriada.

figura 5 mostra um distanciamento mínimo ideal: Frente dos racks – (Ca) = 1,2 m Traseira dos racks – (Cf) = 1 m Laterais dos racks na cabeceira das fileiras – (Cs) = 1 m

Na maioria das instalações as áreas são pequenas, e é preciso abrir mão de alguns distanciamentos. Apesar disso algumas premissas devem ser mantidas:
• Frente dos racks – mínimo de 1,2 m • Atrás dos racks – mínimo de 0,6 m
a 0,7 m (permite a circulação confortável de um operador)
• Pelo menos uma das cabeceiras deve ter uma área, de no mínimo 1,2 m, que permita o transporte de um rack. A outra cabeceira pode ser encostada.
• Distância na frente de equipamentos de utilidades como ar-condicionado, UPS, quadros elétricos, sistema de detecção e combate, etc. - no mínimo um pouco acima da própria profundidade do equipamento. Por exemplo, um ar-condicionado perimetral de 0,9 m de profundidade precisa de 1 m na frente livre para acesso de manutenção operacional, ou para a própria retirada do equipamento sem necessidade de mexer nos racks.
• Piso elevado para instalação de utilidades e uso de ar downflow – mínimo de 0,4 m, sendo o ideal de 0,5 a 0,6 m. Fig. 5 – Distanciamento mínimo ideal 58 – RTI – AGO 2019 INFRAESTRUTURA
• Com in row, recomenda-se que a altura do piso elevado seja de, no mínimo, 0,3 m. Essa profundidade permite trabalhar com bastante folga no bandejamento de distribuição elétrica, cabeamento metálico e óptico (caso não se queira fazer a distribuição óptica sobre os racks), linha frigorígena e drenos de arcondicionado.
• Altura recomendada sobre o piso elevado – pé direito livre de 2,6 a 2,7 m.
• Sempre deixar o vão sob o corredor frio desobstruído de leitos e infraestrutura para melhor circulação de ar.
• No caso de confinamento de corredor frio, o vão de abertura da porta confinada deve ser de 1,2 m.

A figura 6 mostra um erro não tão incomum: a sala de TI foi montada com os racks back to back e dois corredores frios na frente. O data center é composto de 20 racks, sendo duas fileiras de 10 racks, 2 UPS de 40 kW cada, três equipamentos downflow de 7,5 TR trabalhando em 2N +1.

O usuário deixou apenas 60 cm entre racks, o que é o mínimo aceitável. Foram colocadas placas perfuradas no corredor quente para diminuir a temperatura, seguindo uma percepção do gestor, equivocada.

Também existiam outros erros, tais como a falta de escovas de vedação e ausência de tampas cegas. O consumo elétrico estava em torno de 34 kW e o de ar-condicionado necessitava das três unidades em funcionamento. Quando uma máquina desligava, o data center caia sobre a temperatura.

Para sanar as falhas foi retirada a ventilação no corredor quente, instaladas tampas cegas e escovas e trocadas as placas perfuradas por modelos com vazões variáveis. O sistema voltou à estabilidade, onde dois aparelhos de ar passaram a sustentar a carga com tranquilidade.

Caso 6 – Confinamento de corredor frio

Um passo muito comum para melhorar a eficiência energética e a refrigeração do conjunto é o uso de confinamento.

Quando se fala em confinar o corredor frio, o que tem sido a solução mais usual, temos de tomar vários cuidados pois a dinâmica da distribuição do ar frio muda, ocasionando problemas como zonas de baixa temperatura, condensação e hot spots. Junto com o confinamento deve-se realizar um estudo de distribuição do ar frio no ambiente, direcionando o ar corretamente.

Algumas premissas básicas devem ser seguidas para que um confinamento tenha o resultado esperado:
• Placas cegas em espaços de rack não utilizados.
• Uso de escovas ou vedadores nas aberturas de piso elevado, para o caso de ar down flow ou in row.
• No caso de aplicação de equipamentos in row, utilizar sensores de temperatura e umidade nos racks próximos (pelo menos dos dois laterais).
• Trabalhar com placas de vazões e direcionamento de fluxo de ar variáveis para a distribuição aos racks confinados.
O projeto da figura 7 apresenta as seguintes premissas de ocupação total: • Total de racks ativos e TI = 10 + 2 = 12
• Racks de servidores = 8 com 6 kW cada
• Racks de storage = 2 com 4 kW cada
• Rack de telecom = 2 com 2 kW cada
• Demanda total = 60 kW carga térmica
Para a carga nominal de 60 kW foram selecionados três equipamentos de ar de 30 kW, na configuração de 2+1. No projeto original todos os racks têm, em sua parte frontal uma placa com 32% de área perfurada.

A ocupação inicial do data center apresentava as potências da figura 8, que também indica a temperatura média na tomada de ar dos racks a 1,5 m da base. As temperaturas estão bastante baixas, com 18ºC no insuflamento de saída dos refrigeradores.

Racks com demanda de meia carga estão com 21ºC de entrada, enquanto os de baixa ou sem carga estão com 18ºC.

Como consequência, é necessário que dois equipamentos estejam ativos, jogando ar no pleno confinado e atendendo racks que não necessitam de vazão de ar.

Uma alternativa foi optar por uma redistribuição com placas com vazão de 54% e fluxo direcionado por seção de rack (placas com três venezianas, sendo cada uma direcionada para 1/3 da altura do rack). Com essa alteração a distribuição de temperatura ficou mais equilibrada e homogênea, conforme mostrado na figura 9.

As venezianas ficaram abertas somente nas áreas dos racks, onde os ativos encontram-se instalados, e fechadas em locais onde não há necessidade de insuflamento de ar frio.

Foi feito o reajuste da temperatura de insuflamento para 20,5ºC. Pode-se notar uma melhor distribuição de ar no pleno do corredor confinado, onde a média passou a ser em torno de 21ºC a 22ºC.

Também ocorreu o ganho no consumo de energia de ar, necessitando apenas de um equipamento em operação na média mensal. Na área de telecom fora do confinamento, foram deixadas placas com 25% de abertura. Outro fato importante foi a redução dos riscos de condensação, zonas de baixa e alta temperatura e também no desperdício de ar e energia.

Conclusão

Independentemente do tamanho do data center, os conceitos, as boas práticas do mercado e as normas devem ser seguidas e aplicadas.

Os problemas apontados neste artigo são recorrentes em projetos de pequeno e médio portes. Todas as soluções apontadas são de simples aplicabilidade, tanto no projeto inicial como em instalações em funcionamento. São ações que podem reduzir custos além de evitar uma série de problemas técnicos e operacionais.

Outro item raramente mencionado e dificilmente mensurado é a perda do lucro cessante quando da queda de um data center, muitas vezes causada por problemas que poderiam ser facilmente evitados. Também deve ser dada uma atenção especial à manutenção, operação do data center e suas utilidades, a serem realizadas por equipe treinada e qualificada.

Fonte: Revista RTI - Redes, telecom e instalações