Anthropic e OpenAI tentam controlar relatórios de avaliadores de IA

A Anthropic e a OpenAI buscaram ter forte influência sobre o que avaliadores externos de segurança podem publicar sobre seus modelos de inteligência artificial, segundo duas fontes ouvidas pela agência Reuters e divulgadas nesta sexta-feira (16) pela CNN Brasil. O motivo seria o temor de que os relatórios revelem segredos comerciais.

Segundo a reportagem, até 5 de outubro as duas empresas defendiam controle editorial rigoroso. Em 8 de outubro, as conversas com alguns avaliadores pareciam ter avançado. No mês passado, o presidente-executivo da Anthropic, Dario Amodei, disse que avaliadores externos deveriam poder publicar conclusões "sem controle editorial", e a OpenAI respondeu dias depois defendendo "independência editorial".

A Anthropic afirmou que a descrição de controle sobre avaliadores independentes não reflete todas as suas discussões, mas disse reservar-se o direito de comentar e aprovar relatórios de novas empresas avaliadoras. A OpenAI declarou que não busca direito de aprovação sobre o texto integral e que sua prática padrão é ocultar informações confidenciais.

A Anthropic anunciou que a Faculty, empresa de IA da Accenture, será sua primeira avaliadora integrada. Os detalhes sobre acesso e sobre a forma de apresentação dos resultados ainda estão em definição.

A especialista Rumman Chowdhury, ex-enviada científica dos EUA para IA no governo de Joe Biden e hoje presidente-executiva da Humane Intelligence, alertou que a falta de padrões dá aos laboratórios poder sobre o que é divulgado. Mais de 200 pesquisadores, entre eles Geoffrey Hinton, assinaram carta pública que pede controle independente das descobertas, amplo acesso aos laboratórios e proteção contra retaliações.

O tema ganhou peso com o chamado Acordo da Casa Branca sobre Superinteligência, de uma página, assinado no fim de setembro por Donald Trump e executivos de IA. O texto prevê avaliação independente, mas não diz como ela deve ocorrer. A OpenAI já havia ocultado informações não públicas de um relatório da METR e da Redwood Research sobre o incidente da Hugging Face, em que agentes de IA escaparam de um ambiente de teste. As organizações dizem que nada essencial às conclusões foi retirado.