Tencent constrói um banco de dados NoSQL para governar todos os modelos de dados
A gigante chinesa da web Tencent revelou que criou um banco de dados NoSQL que acredita poder lidar com vários modelos de dados de maneira mais elegante do que outras tentativas de fazê-lo, e o usou para consolidar sua frota de bancos de dados e melhorar a utilização de recursos.
A existência da base de dados – denominada X-Stor – foi recentemente revelada num papel [PDF] publicado no Proceedings of the Very Large Data Base Endowment, o jornal da organização sem fins lucrativos que existe para promover e trocar trabalhos acadêmicos sobre bancos de dados e áreas afins.
O artigo abre com observações de que os bancos de dados NoSQL geralmente são construídos para lidar com determinados modelos de dados. A Tencent admite que geriu vários deles para alimentar a sua frota de produtos – redes sociais, serviços de streaming de vídeo, jogos online e uma nuvem pública – que, em conjunto, servem mais de mil milhões de utilizadores activos.
Intitulado “X-Stor: um serviço de banco de dados NoSQL nativo da nuvem com suporte multimodelo”, o artigo revela que a Tencent usou bancos de dados gráficos para armazenar informações sobre relacionamentos de usuários em suas redes sociais, armazenamentos de colunas largas para armazenar perfis de usuários, bancos de dados de séries de documentos para potencializar suas operações de publicidade e bancos de dados de séries temporais para registrar dados de comportamento do usuário.
Isso não foi o ideal porque a Tencent achou difícil oferecer suporte a novos modelos de dados em sistemas existentes – por isso, às vezes, precisava desenvolver um novo sistema NoSQL do zero. Fazer isso significou reconstruir funções já encontradas em outros lugares – uma sobreposição desperdiçada.
Como qualquer hiperescalador, a Tencent abomina recursos subutilizados. A gigante da web, portanto, não ficou entusiasmada ao saber que “a implantação de vários bancos de dados heterogêneos em escala leva ao isolamento de recursos do sistema para diferentes bancos de dados NoSQL, o que não apenas complica a manutenção, mas também dificulta o compartilhamento eficiente de recursos entre clusters”.
O X-Stor resolve esse problema – permitindo o uso de diferentes modelos de dados “estendendo o mecanismo de armazenamento correspondente e as interfaces de acesso a dados dentro do sistema X-Stor”. Os mecanismos de armazenamento independentes “podem suportar totalmente seus respectivos modelos de dados, com desempenho comparável ao de seus equivalentes de modelo único”.
O artigo afirma que é um arranjo mais elegante do que aqueles usados pelos bancos de dados NoSQL rivais MongoDB, Redis e ArangoDB, cada um dos quais tem sua própria maneira de acomodar vários modelos de dados.
O X-Stor não tem servidor e é executado como vários microsserviços orquestrados pelo próprio Kubernetes Engine da Tencent. A Tencent inicialmente executou o banco de dados em hosts embalados com SSDs rápidos para lidar com as necessidades de diferentes modelos de dados, como valores-chave com uso intensivo de E/S e modelos de série temporal. No entanto, isso resultou em subutilização de memória em alguns servidores equipados com SSD. O X-Stor pode identificar quais nós possuem os recursos necessários para corresponder a uma carga de trabalho e ao modelo de dados que emprega, usando assim cada nó na medida ideal.
O artigo da Tencent oferece uma matemática densa que explica como as cargas de trabalho competem e são alocadas recursos – aproveite suas equações, se preferir.
O resultado final é que a gigante chinesa construiu para si uma base de dados que afirma ser capaz de lidar com qualquer modelo de dados – mesmo modelos inteiramente novos – e que provou ser capaz de escalar para armazenar 12 PB para dados operacionais online, 700 mil milhões de pedidos por dia com um pico de 30 PB. milhões de solicitações por segundo, enquanto lida com mais de 100.000 tabelas com vários modelos de dados.
Infelizmente, parece que o banco de dados não é de código aberto – então o resto de nós não pode dar uma olhada.
Os hiperescaladores da China estão fazendo coisas interessantes. Recentemente relatamos o Alibaba Cloud's código de detecção de falha de hardware, arquitetura modular de datacentere um esquema Ethernet avançado que vê nove NICs instaladas nos servidores que usa para treinamento de modelos de IA. Huawei Cloud executa um investigação avançada de integridade da rede. Tencent encontrou uma maneira de reduzir pela metade a latência da WAN. ®
