Empresas fazendo avanços significativos em LLMs indianos – Tech Mahindra, Gnani.ai, Sarvam

Estamos oficialmente na era da Inteligência Artificial ou IA. A IA está pronta para entrar em nossas vidas em grande estilo e o ChatGPT da Open AI é um dos principais exemplos de IA se tornando popular. Os Large Language Models (LLMs) estão no centro da revolução da IA ​​que está ocorrendo. No entanto, a maioria dos large language models do ocidente oferece suporte limitado para línguas índicas. Mas isso está pronto para mudar com o desenvolvimento significativo agora focado em LLMs regionais e línguas índicas.

Bhashini

Bhashini, uma iniciativa de tradução de idiomas baseada em IA do governo da Índia, visa quebrar as barreiras linguísticas em toda a Índia. Ela oferece suporte a 22 idiomas, mais de 300 modelos de IA e registrou mais de 500 mil downloads de aplicativos móveis. AI4Bharat, um laboratório de pesquisa no IIT Madras, dedica-se a avançar a tecnologia de idiomas indiana desenvolvendo conjuntos de dados, ferramentas, modelos e aplicativos de código aberto. Seu trabalho pioneiro neste campo foi reconhecido em importantes conferências internacionais. Entre suas principais contribuições estão projetos como IndicCorp, BPCC, Shrutilipi, Kathbath, IndicBERT, IndicTrans, IndicXlit, IndicWav2Vec, Indic Whisper e TTS.

Leia também: A IA o1 ‘Strawberry’ da OpenAI pode pensar como humanos, mas por que seu nome é uma homenagem a uma fruta?

Sarvam IA

Sarvam AI, uma startup no espaço Generative AI fundada por Vivek Raghavan e Pratyush Kumar e apoiada pela Lightspeed, Peak XV Partners e Khosla Ventures, está desenvolvendo modelos generativos de IA focados em línguas indianas. A Sarvam AI visa aumentar a precisão de aplicativos generativos de IA na Índia a custos mais baixos. Recentemente, a Sarvam AI introduziu um modelo de 2 bilhões de parâmetros, Sarvam 2B, que eles tornaram de código aberto e disponibilizaram no Hugging Face. A Sarvam AI afirma que seu modelo é significativamente mais eficiente para línguas indianas em comparação com o Llama 3.1 da Meta, o Gemma 2 do Google e o GPT-4o.

Tecnologia Mahindra

A Tech Mahindra anunciou recentemente o Projeto Indus com foco no desenvolvimento do maior LLM indiano do zero. Kunal Purohit, Presidente – Next Gen Services, Tech Mahindra disse “A Índia tem sido tradicionalmente uma consumidora de tecnologia como nação; no entanto, agora estamos tomando medidas proativas para a transição para uma produtora de tecnologia. Essa mudança gerou um impulso positivo, e fizemos avanços consideráveis ​​com o Projeto Indus e o Indic LLM. Desde o início, nosso objetivo foi construir um modelo fundamental do zero. Com o Projeto Indus, alcançamos nosso marco inicial ao criar um modelo fundamental de código aberto. Nosso objetivo era atender aos vários dialetos falados na Índia. Lançamos com sucesso o Indus, um modelo de parâmetro de 1,2 bilhão treinado em hindi e seus mais de 37 dialetos, permitindo que os usuários façam perguntas em seus dialetos nativos e recebam respostas precisas. Este modelo garante um envolvimento perfeito entre marcas e indivíduos em todos esses dialetos”.

Leia também: O Google agora ajudará você a transformar suas notas em podcast, com o novo recurso de visão geral de áudio com suporte de IA sendo lançado

Gnani.ai

Outra empresa que adota uma abordagem interessante é a Gnani.ai, que vem desenvolvendo SLMs ou modelos de linguagem pequena para casos de uso específicos da indústria. A empresa vem investindo em IA muito antes de se tornar popular. Ela patenteou várias inovações e conta com a Samsung Ventures e a Infoedge Ventures como investidores, devido à expertise em vários idiomas indianos que desenvolveu internamente. Ganesh Gopalan, cofundador e CEO da Gnani.ai, acredita que a IA pode resolver vários problemas fundamentais na Índia, como educação primária, assistência médica materna e muito mais. Ele acredita que mal arranhamos a superfície quando se trata de utilizar o poder da IA. Ele acrescenta que os ruídos que você ouve na Índia são muito diferentes de qualquer lugar do mundo, sejam pessoas falando em um auto-riquixá ou trem.

Projeto Vaani

O Projeto Vaani, uma iniciativa colaborativa do IISc Bangalore, ARTPARK e Google, visa oferecer aos desenvolvedores acesso a mais de 14.000 horas de dados de fala em 59 idiomas, coletados de 80 distritos em toda a Índia. O Google está levando essa iniciativa adiante ao investir em um novo projeto conhecido como Morni e desenvolver modelos de IA para dar suporte a quase 125 idiomas índicos.

Embora o desenvolvimento local e o treinamento de modelos de IA sejam viáveis, ainda há uma forte dependência de GPUs NVIDIA e escassez de hardware capaz. Recentemente, o Governo de Telangana fez uma parceria com a Yotta Data Services para lançar o maior supercomputador de IA da Índia, equipado com 25.000 GPUs de alto desempenho. O campus do AI Cloud Data Center contará com uma infraestrutura de nuvem de GPU dedicada, oferecendo acesso a recursos de computação de alto desempenho, alimentados por aproximadamente 4.000 GPUs NVIDIA H100/H200, com capacidade de escalar para mais de 25.000 GPUs no futuro. Essas GPUs serão interconectadas por meio de redes de alta velocidade. Essa infraestrutura será disponibilizada para startups, instituições educacionais, laboratórios de pesquisa, empresas e organizações governamentais.

Leia também: WhatsApp vai impulsionar Meta AI com múltiplas opções de voz para melhorar interações personalizadas do usuário

Os bots de voz surgiram como uma aplicação de IA proeminente na Índia, amplamente impulsionados pelo rápido crescimento do setor de fintech. A IA está claramente definida para se tornar difundida em todo o país, com muitas implementações atuando como copilotos para aprimorar os processos existentes. Vale ressaltar que o desenvolvimento de modelos de idioma índico demanda significativamente mais recursos do que aqueles para o inglês. Apesar desses desafios, a Índia está definida para se tornar um dos maiores mercados para adoção generalizada de IA.