Pesquisador propõe que redes neurais de IA são mais interpretáveis do que se pensava

O pesquisador Nick Cammarata, ex-integrante da OpenAI, propôs na quinta-feira (15) que os mecanismos internos de redes neurais podem ser mais compreensíveis do que indicavam estudos anteriores.

A hipótese parte de um caso clássico. Um neurônio artificial reagia tanto a rostos de gatos quanto à frente de carros. Segundo Cammarata, ele poderia estar identificando uma forma pontiaguda presente nas duas imagens. As fontes descrevem essa forma de maneiras diferentes, como um V ou um triângulo.

Até agora, uma explicação influente, chamada superposição, sustentava que redes representam mais características do que o número de neurônios permitiria. Cammarata argumenta que parte da confusão vinha das ferramentas de análise e de problemas nas arquiteturas estudadas. Ele propõe observar diretamente os neurônios, suas conexões e seu desenvolvimento durante o treinamento.

O texto é apresentado como hipótese de trabalho, não como demonstração. Cammarata afirma que "quase toda a rede é interpretável se olharmos de perto o suficiente". A proposta também não prova que comportamentos perigosos possam ser identificados ou impedidos.

A interpretabilidade é o campo que investiga o funcionamento interno da IA e busca apoiar a análise de comportamentos indesejados. Para pesquisadores de segurança, entender os mecanismos que levam a uma resposta pode ajudar a identificar e reduzir riscos. A hipótese ainda depende de testes e avaliação científica.