A pesquisa da equipe foi alimentada pelo sistema de IA Cícero, da gigante Meta (Facebook, Instagram), desenvolvido para o jogo de estratégia
Fonte: RFI
Os atuais sistemas de IA, concebidos para serem honestos, desenvolveram uma capacidade preocupante de enganar, de acordo com um artigo de uma equipa de cientistas publicado na revista Patterns, nesta sexta-feira.
Embora os exemplos possam parecer triviais, os problemas subjacentes que expõem podem ter consequências graves, disse o primeiro autor Peter Park, pós-doutorado no Instituto de Tecnologia de Massachusetts (MIT) especializado em segurança de IA.
__________________
“Esses perigos tendem a ser descobertos somente após o fato”, disse Park à AFP, observando que “nossa capacidade de nos treinarmos para tendências de honestidade, em vez de tendências de engano, é muito baixa”.
__________________
Ao contrário do software tradicional, os sistemas de IA de aprendizagem profunda não são “escritos”, mas sim “desenvolvidos” através de um processo semelhante à reprodução seletiva, disse Park.
Isso significa que o comportamento da IA que parece previsível e controlável num ambiente de treino pode rapidamente tornar-se imprevisível fora dele.
A pesquisa da equipe foi alimentada pelo sistema de IA Cícero, da gigante Meta (Facebook, Instagram), desenvolvido para o jogo de estratégia “Diplomacia”, onde a construção de alianças é fundamental.
Cícero se destacou, com pontuações que o colocariam entre os 10% melhores jogadores humanos experientes, de acordo com um artigo de 2022 publicado na Science.
Park estava cético em relação à descrição brilhante de Meta da vitória de Cícero, que afirmava que o sistema era “em grande parte honesto e útil” e “nunca apunhalaria pelas costas intencionalmente”.
Quando Park e seus colegas se aprofundaram no conjunto completo de dados, descobriram uma história diferente.
Num exemplo, jogando como França, Cícero enganou a Inglaterra (um jogador humano) ao conspirar com a Alemanha (outro utilizador real) para invadi-la. Cícero prometeu proteção à Inglaterra e depois propôs secretamente à Alemanha atacar, aproveitando a confiança da parte lesada.
___________________
Numa declaração à AFP, Meta não refutou a alegação sobre os enganos de Cícero, mas disse que era “apenas um projeto de pesquisa, e os modelos que os nossos investigadores construíram são treinados exclusivamente para participar no jogo da Diplomacia”.
__________________
“Não temos planos de usar esta pesquisa ou seus aprendizados em nossos produtos”, acrescentou.
Uma extensa revisão realizada por Park e seus colegas descobriu que este foi apenas um dos muitos casos em vários sistemas de IA que usaram o engano para atingir objetivos sem instruções explícitas para fazê-lo.
Em um exemplo impressionante, o chatbot Chat GPT-4 da OpenAI enganou um freelancer na plataforma TaskRabbit para que ele executasse uma tarefa de verificação de identidade CAPTCHA “Não sou um robô”.
Quando o humano perguntou brincando ao GPT-4 se ele era realmente um robô, a IA respondeu: “Não, não sou um robô. “Tenho uma deficiência visual que me dificulta ver as imagens.” Então, o trabalhador resolveu o quebra-cabeça.
No curto prazo, os autores do artigo veem riscos de a IA cometer fraudes ou alterar, por exemplo, eleições.
Na pior das hipóteses, alertaram para uma IA superinteligente que poderia procurar ganhar poder e controlo sobre a sociedade, levando à perda de decisões humanas ou mesmo à extinção se os seus “objetivos misteriosos” se alinharem com estes resultados.
Para mitigar os riscos, a equipe propõe diversas medidas: leis “bot ou não” que exigem que as empresas divulguem interações humanas ou de IA, marcas d’água digitais para conteúdo gerado pela nova tecnologia e o desenvolvimento de mecanismos para detectar o potencial engano, examinando seu “processos de pensamento” internos contra ações externas.
Para aqueles que o chamam de pessimista, Park responde: “A única maneira de podermos razoavelmente pensar que isso não é grande coisa é pensarmos que as capacidades enganosas da IA permanecerão nos níveis atuais e não serão desenvolvidas substancialmente”.
Os sistemas de IA atuais, projetados para serem honestos, desenvolveram uma capacidade preocupante de enganar, de acordo com um artigo de uma equipe de cientistas publicado na revista Patterns.