A Supermicro amontoa 18 GPUs em um servidor de IA 3U que é um pouco lento por design
Servidores aprimorados por GPU normalmente podem acomodar até oito aceleradores, mas a Supermicro construiu uma caixa que consegue acomodar 18 deles dentro de um chassi refrigerado a ar que ocupará apenas 3U de espaço em rack.
O deliciosamente nomeado SYS-322GB-NR ostenta 20 slots PCIe, com a expectativa de que é onde você conectará GPUs. Esse é um arranjo incomum hoje em dia: a maioria dos servidores de IA oferece o soquete SXM da Nvidia ou usa a especificação Open Accelerator Module, já que ambos oferecem mais largura de banda entre chips do que PCIe.
Mas esta caixa não foi projetada para fazer o trabalho pesado exigido de outros servidores de IA. A Supermicro sugere esta máquina para tarefas como executar cargas de trabalho de aprendizado de máquina e inferência de IA na borda, como parte de sistemas de produção automatizados que exigem que dados sejam processados a partir de feeds de câmeras ou sensores em latências muito baixas. Outra função sugerida é usar GPUs dedicadas a gráficos em vez de IA e conectar até 64 monitores – o tipo de coisa que deixa os especialistas em visualização entusiasmados com a perspectiva de construir 46.080 x 12.960 pixels exibe.
Na parte traseira do sistema há espaço para 18 GPUs de slot único ou dez placas de slot duplo. Ou pelo menos é o que afirma o comunicado de imprensa – as imagens de marketing parecem indicar oito placas de slot duplo, embora isso possa ser menos um limite físico e mais um limite de energia e refrigeração.
A Supermicro não diz quais placas suportará – talvez porque estamos entre os principais lançamentos da Nvidia e da AMD – mas observa que aceleradores de ambos os fornecedores estão no menu.
Para IA de ponta, suspeitamos do diminutivo da Nvidia Aceleradores L4 será uma configuração popular. Enquanto isso, para aqueles que precisam de um pouco mais de esforço, um banco de dez GUPs Nvidia L40S produzindo 3,6 petaFLOPS de desempenho denso de FP16 pode ser o ingresso – assumindo que a fonte de alimentação pode fornecer cerca de 5,5 kW de energia, estimamos que tal configuração seria necessária sob carga .
Suportar todas essas GPUs também não é trivial. No coração do sistema está um par de Intel 6900-série Xeons com suporte para até 128 núcleos, 256 threads e 96 pistas de PCIe 5 por peça, que alimentam 20 slots PCIe na placa-mãe. O observador notará que mesmo com 192 pistas PCIe, isso ainda não é suficiente para 18 – muito menos 20 – slots PCIe x16.
Não está claro se a Supermicro suporta apenas oito pistas por slot quando totalmente preenchida ou se está usando um switch PCIe para superar a limitação. Se tivéssemos que adivinhar, provavelmente seria o primeiro. A menos que as GPUs precisem embaralhar os dados entre si, oito pistas por slot provavelmente são suficientes. E se o fizerem, a Supermicro venderá sistemas mais adequados para esse caso de uso. De qualquer forma, pedimos comentários sobre potência e largura de banda PCIe e informaremos o que descobrimos.
Além do grande número de slots PCIe à sua disposição, o sistema é um servidor vanilla que suporta até 6 TB de DDR5 ou, se você preferir algo mais rápido, MRDIMMs de 8.800 MT/seg. O armazenamento também é bastante padrão, com suporte para sua escolha de 14 drives E1.S ou 6 U.2 NVMe.
Ah, e se GPUs não são sua praia, mas servidores densos e cheios de memória são, Gigabyte recentemente anunciado um sistema Epyc de soquete duplo com incríveis 48 slots DIMM. ®
