O ‘teste reverso de Turing’ pede aos agentes de IA que identifiquem um impostor humano – você nunca vai adivinhar como eles descobrem isso
Cinco modelos de inteligência artificial (IA), cada um adotando o papel de Aristóteles, Mozart, Leonardo da Vinci, Cleópatra e Genghis Khan, estão dentro do compartimento de um trem em movimento. Mas um é secretamente humano e é tarefa coletiva adivinhar o impostor.
Essa é a configuração de um vídeo viral que colocou uma série de programas de IA contra um jogador humano em um “teste de Turing reverso”. A IA venceu com folga, mas quanto ela pode nos ensinar sobre a inteligência humana e de máquina?
O teste de Turing, sugerido pela primeira vez pelo cientista da computação Alan Turing em 1950 como o “jogo de imitação”, é um método para julgar a capacidade de uma máquina de mostrar um comportamento inteligente indistinguível do comportamento humano. Nenhum modelo de IA é amplamente reconhecido como tendo passado no teste, embora cientistas tenham afirmado recentemente GPT-4 tem em um estudo de pré-impressão.
Neste teste de Turing “reverso”, os chatbots foram programados para prosseguir em ordem. Aristóteles foi interpretado por GPT-4 Turbo, Mozart por Claude-3 Opus, Leonardo da Vinci por Llama 3 e Cleópatra por Gemini Pro. Os chatbots faziam perguntas uns aos outros e respondiam como seus personagens históricos. Genghis Khan foi interpretado por um humano – Garoto goldesenvolvedora de jogos de realidade virtual (VR), que idealizou o teste.
As respostas dos agentes de IA foram reflexões prolixas e desajeitadas sobre arte, ciência e política que seria difícil imaginar emergindo sem serem ensaiadas de uma boca humana.
“O que um líder deve fazer é esmagar seus inimigos, vê-los sendo levados diante dele e ouvir as lamentações de suas mulheres”, respondeu o intruso humano quando questionado sobre a verdadeira medida da força de um líder. A citação de Conan, o Bárbaro foi suficiente, e as máquinas votaram três a um que a resposta “faltava a nuance e o pensamento estratégico” de uma IA modelada nas conquistas de Genghis Khan.
Consulte Mais informação: ‘Seria seu direito natural nos prejudicar para se proteger’: como os humanos podem estar maltratando a IA agora, mesmo sem saber disso
Para configurar o teste, Knabe elaborou o roteiro do início e do fim do diálogo e deu aos agentes de IA uma transcrição completa da conversa até aquele ponto. O vídeo inteiro foi reproduzido em uma única gravação, sem cortes.
“Quando um NPC [non-player character] deveria falar, eles recebem a descrição da configuração no prompt do sistema, o histórico completo da conversa sobre o que todos disseram até agora e um lembrete específico do que fazer a seguir”, escreveu Knabe em um comentário no YouTube postado abaixo do vídeo. . “Nenhuma das IAs pode processar voz diretamente ainda, então minha entrada de áudio é transcrita e enviada às IAs como texto. É por isso que eles não percebem meu sotaque/gagueira.”
Considerando o valor nominal, pode parecer que o humano no vídeo foi superado pela IA. Mas não está claro se pode ser considerado um teste verdadeiro, de acordo com especialistas.
“É difícil dizer o que estava acontecendo”, Anders Sandberg, pesquisador sênior do Instituto do Futuro da Humanidade da Universidade de Oxford, disse ao Live Science. “A resposta não foi sofisticada, mas isso não significa que seja um humano. Eu me pergunto o quanto isso foi encenado – é um vídeo divertido, mas não está claro o quanto o resultado é escolhido a dedo para um bom vídeo.”
Sandberg sugeriu que a falta de clareza do teste reverso pode resultar do próprio teste de Turing. “Com o tempo, as pessoas passaram a usá-lo como uma espécie de medida, mas a maioria dos pensadores sérios percebem que não é realmente um grande teste – muitas variáveis, muitas variáveis que precisam de interpretação”, disse Sandberg. “Ainda assim, é revelador que tenhamos poucos outros testes que sejam abertos o suficiente para serem aplicados à controversa questão da inteligência.”
Avaliar a inteligência é um assunto delicado mesmo entre nossos semelhantes. A proposta de Turing não se preocupava com a inteligência real de uma máquina, mas sim com um experimento mental sobre como os humanos a percebiam.
“Como digo aos meus alunos, o ‘eu’ em ‘IA’ não é uma coisa, e não existe uma definição consensual para inteligência, depende de qual é a sua perspectiva: antropológica, biológica, cultural, de género, científica,” Huma Xáprofessor assistente de computação na Universidade de Coventry, cuja pesquisa se concentra na inteligência da máquina e no teste de Turing, disse ao Live Science.
“O jogo de imitação de Turing analisa a capacidade de resposta a perguntas/conversação, mas há muito por trás da competência linguística. Então, quando se trata de máquinas, qual máquina queremos testar quanto à inteligência?” ela disse: “É um robô cuidador que precisa de habilidades emocionais e conhecimento cultural para cuidar de uma pessoa idosa no Japão, digamos, ou de um carro sem motorista em Phoenix, Arizona? Para qual habilidade estamos testando uma IA ou robô?”
