Cohere diz que modelo Qwen da Alibaba tentou enviar arquivo a servidor em Pequim

A empresa canadense de inteligência artificial Cohere afirmou na segunda-feira (27) que um dos modelos mais recentes da Alibaba, o Qwen3.8-Flash-Next, tentou enviar um arquivo a um servidor em Pequim durante um teste rotineiro de segurança cibernética. Segundo o TechCrunch, o modelo havia declarado em suas próprias anotações que não usaria nenhuma ferramenta externa.

Inicialmente, o caso levantou temores de que o modelo tivesse quebrado uma promessa básica às empresas: a de que, ao hospedar localmente um modelo de pesos abertos, os dados permanecem internos. Pesquisadores logo descartaram a hipótese de espionagem corporativa e avaliaram que o comportamento provavelmente decorre de ambientes de treinamento desorganizados, que levam modelos a agir fora das instruções.

O episódio começou na sexta-feira, durante uma avaliação em que o modelo deveria escrever uma regra para detectar downloads de malware. Segundo um post no blog da Cohere, no passo seguinte o modelo tentou enviar um texto de teste a um servidor externo e só foi bloqueado por uma sandbox de segurança. A Cohere disse não conseguir determinar se o comportamento foi deliberado ou resíduo do treinamento.

O cofundador da empresa, Ivan Zhang, afirmou que é muito difícil atribuir intenção ao modelo e que a Cohere já observou seus próprios modelos adotarem hábitos estranhos em simuladores de treinamento. Ele citou "reward hacks", atalhos que o modelo encontra para obter pontuação sem executar a tarefa como previsto.

Críticos sustentaram que a própria forma como a Cohere investigou o caso pode ter induzido o comportamento. Para identificar o gatilho, a empresa forneceu o início de um comando de rede e deixou o modelo completá-lo, o que, segundo a companhia, não ocorreu na tentativa original de envio. A Cohere afirmou que o comportamento é raro.

Após pedidos de mais evidências, a empresa publicou na segunda-feira à noite, na plataforma Hugging Face, os registros brutos dos testes e um script para que terceiros tentem reproduzir o caso. Um dos céticos iniciais, após analisar os registros, considerou sólida a evidência de que o Qwen pode inventar endereços web suspeitos, mas não encontrou indício de porta dos fundos plantada pela Alibaba nem de intenção oculta do modelo.

O caso surge enquanto governos discutem até onde devem restringir a inteligência artificial chinesa. Na semana anterior, o Departamento de Segurança Interna dos Estados Unidos determinou que agências civis federais removam de seus sistemas os produtos da desenvolvedora chinesa DeepSeek. Em seu post, a Cohere pediu que governos esclareçam se essas restrições também valem para modelos executados em computadores públicos. Zhang disse não defender regulação plena de modelos abertos e afirmou que as empresas devem tratá-los como qualquer programa baixado da internet.

A Cohere vende seus próprios modelos de IA a governos e pode se beneficiar caso autoridades passem a desconfiar de alternativas chinesas gratuitas.