Na terça-feira, a Amazon Web Services reservou um momento para se parabenizar por ter sido pensada dentro da caixa, especificamente, no quadrado superior direito que faz parte do Quadrante Mágico, marca registrada da Gartner.
Este conjunto específico de caixas mapeia a visão da consultoria de TI sobre assistentes de código de IA. A AWS está compreensivelmente satisfeita por conseguir um lugar no quadrilátero de “líderes” para seu serviço Q Developer, ao lado do GitHub Copilot, GitLab Duo e Gemini Code Assist do Google Cloud.
As outras três caixas são reservadas para “visionários” (menor capacidade de execução em comparação aos líderes), “desafiadores” (que executam bem, mas têm problemas de visão) e “jogadores de nicho” (que ficam para trás em execução e visão).
Assim como no setor de segurança, onde empresas entraram com queixas legais depois que seus softwares foram rotulados como spyware ou malware, empresas de TI colocadas em categorias menos desejáveis contestaram a designação na justiça.
A NetScout Systems, por exemplo, entrou com uma ação judicial contra a Gartner em 2014 por sua colocação na caixa “challenger”. O caso foi dispensado em 2017, com a Gartner enfatizando que suas classificações não estão à venda. Outra empresa, a ZL Technologies, processou a Gartner em 2009 por sua designação de “player de nicho”, apenas para perder no tribunal e em apelação.
Portanto, é talvez compreensível que a AWS se gabe do reconhecimento da Gartner, como tem feito há muito tempo. regular base para anos.
“Acreditamos que esta colocação de Líder reflete nosso rápido ritmo de inovação, o que torna todo o ciclo de vida de desenvolvimento de software mais fácil e aumenta a produtividade do desenvolvedor com controles de acesso e segurança de nível empresarial”, disse Channy Yun, principal defensora dos desenvolvedores da AWS.
No entanto, “líder” não se refere necessariamente à contagem de clientes para o Q Developer. Um porta-voz da Amazon disse que a empresa não divulga números de adoção específicos, o que geralmente significa que eles são menores do que a concorrência. O GitHub da Microsoft, por outro lado, felizmente se gaba do uso do Copilot. Em fevereiro, havia “mais de 1,3 milhão de assinantes pagos do GitHub Copilot”.
O CEO da Amazon, Andy Jassy, ofereceu no mês passado uma maneira diferente de avaliar o sucesso do Q Developer. Ele disse que a Amazon usou o serviço de codificação de IA generativa para modernizar seus sistemas Java de produção atualizando o código para Java 17.
“Os benefícios vão além do esforço que economizamos para os desenvolvedores”, Jassy disse“As atualizações aumentaram a segurança e reduziram os custos de infraestrutura, proporcionando ganhos de eficiência anualizados estimados em US$ 260 milhões.”
A Amazon afirma que os agentes da Q Developer para transformação de código ajudaram a Amazon a migrar 30.000 aplicativos de produção do Java 8 para o Java 17, economizando mais de 4.500 anos de trabalho de desenvolvimento, além dos US$ 260 milhões em melhorias de desempenho citadas por Jassy.
Jassy não mencionou com que frequência as sugestões de código de IA precisam de correção ou os custos associados a essas correções. No ano passado, pesquisadores avaliado ChatGPT, GitHub Copilot e Amazon CodeWhisperer (agora Q Developer) descobriram que os ajudantes de IA geraram código correto 65,2%, 46,3% e 31,1% das vezes, respectivamente.
Questionado sobre isso, um porta-voz da Amazon disse: “O Amazon Q Developer tem as maiores taxas de aceitação de código relatadas no setor para assistentes que realizam sugestões de código de várias linhas — com o BT Group relatando que eles aceitaram 37% das sugestões de código do Q e o National Australia Bank relatando uma taxa de aceitação de 50%.
Um conjunto de testes para pequenos modelos de IA chamado CanAiCode não menciona Q Developer e fileiras Claude 3 Opus da Anthropic no topo dos modelos avaliados.
A Gartner, em seu relatório sobre assistentes de código de IA, projeta que até 2028, 90% dos engenheiros de software corporativo usarão a tecnologia, ante menos de 14% no início de 2024.
No entanto, os acadêmicos argumentam que a IA não tornará a engenharia de software obsoleta. Em uma pré-impressão recente papelOs professores de ciência da computação da Carnegie Mellon, Eunsuk Kang e Mary Shaw, concluem: “A IA generativa está agora a inflar ansiosamente as nossas aspirações, mas a sua capacidade ainda não é suficientemente fiável e robusta para fazer parte do núcleo estável da [software engineering] métodos. A IA já é comprovadamente útil sob supervisão cuidadosa, e podemos esperar que sua utilidade para tarefas de programação de rotina melhore rapidamente.” ®
