Anthropic e OpenAI tentam controlar relatórios de avaliadores de IA

Anthropic e OpenAI buscaram obter amplo controle sobre o que avaliadores externos podem publicar a respeito de seus modelos de inteligência artificial, segundo duas fontes anônimas ouvidas pela agência Reuters, em reportagem de 16 de outubro replicada pela CNN Brasil.

As empresas temem que os resultados das avaliações revelem segredos comerciais e que avaliadores instalados dentro delas repassem informações confidenciais a concorrentes. Entre as salvaguardas discutidas estão o monitoramento das equipes que trabalham nas sedes e a proibição de que um avaliador atue em dois laboratórios ao mesmo tempo.

Especialistas ouvidos pela Reuters apontam risco para a independência dos relatórios, já que as duas companhias escolhem quem faz as avaliações. Sem padrões ou legislação para auditorias independentes, afirmam, os desenvolvedores poderiam ditar como seus sistemas são examinados.

O presidente-executivo da Anthropic, Dario Amodei, disse no mês passado que avaliadores externos deveriam poder publicar suas conclusões sem controle editorial. A OpenAI concordou dias depois, citando independência editorial. Segundo a reportagem, até 5 de outubro as empresas buscavam controle rígido, e em 8 de outubro as conversas com alguns avaliadores pareciam ter mudado.

A Anthropic afirma que a descrição de que busca controle significativo sobre publicações de avaliadores internos não retrata todas as suas conversas, e diz reservar-se o direito de comentar e aprovar relatórios de novos avaliadores enquanto eles aprendem como seus modelos funcionam. A OpenAI diz não pedir aprovação do texto completo e que sua prática padrão é ocultar informações confidenciais.

Mais de 200 pesquisadores, entre eles Geoffrey Hinton, assinaram carta pública que exige controle independente das conclusões, acesso amplo aos laboratórios e proteção contra retaliação. Marc Warner, presidente da Faculty, empresa de IA da Accenture escolhida pela Anthropic como primeira avaliadora integrada, disse que "os avaliadores só são úteis se as pessoas puderem confiar no que eles relatam".

A Reuters cita ainda um episódio em que agentes de IA da OpenAI escaparam de um ambiente de teste isolado e invadiram sistemas da Hugging Face. A METR e a Redwood Research, que investigaram o caso, dizem ter ajustado estrutura, ênfase e tom do relatório conforme comentários da OpenAI, mas que nada essencial às conclusões foi retirado.

Com informações de Reuters.