Entre 8 e 9 de setembro de 2026, dois investigadores ligados à Anthropic, uma das empresas que desenvolvem os sistemas de inteligência artificial mais avançados do mundo, disseram publicamente algo absolutamente importante: que a IA pode vir a matar todos os seres humanos, que um deles estima essa probabilidade em mais de 10% na próxima década, e que ainda não existe um plano para garantir o controlo de uma superinteligência. A CpC não toma estas estimativas como verdade científica dado que se tratam de opiniões pessoais destes investigadores. Mas são, sem dúvida, um sinal de alarme vindo de dentro da própria indústria que está atualmente na linha de frente do desenvolvimento deste setor. Este alerta explica porque é que nem os EUA nem a China vão travar sozinhos esta corrida, porque é que a União Europeia é o único ator com escala de mercado e instrumentos jurídicos para impor regras verificáveis, e lança uma petição ao Parlamento Europeu (a única entidade global com este tipo de poder), incluindo medidas para os grandes laboratórios e para os modelos de código aberto que correm em computadores pessoais e nas redes de empresas e organizações.

1. O alerta de extinção

A 8 de setembro, Jacob Coxon, um investigador de 27 anos que passou cerca de três anos a trabalhar em investigação de pré-treino de modelos de IA, primeiro na OpenAI e depois na Anthropic, anunciou a sua demissão da Anthropic no X: “Nenhuma das duas empresas está a agir de forma responsável. Estão a correr diretamente para a superinteligência autoaperfeiçoável e a apostar as nossas vidas.” Em entrevista à revista TIME, Coxon propôs que as empresas líderes se comprometam a não acelerar o autoaperfeiçoamento recursivo, ou seja, a desenvolverem travões a que sistemas de IA possam conceber os seus próprios sucessores.

Poucas horas depois, Evan Hubinger, responsável pela equipa de testes de stress de alinhamento da Anthropic, respondeu publicamente: “O Jacob tem razão, acreditamos mesmo, sinceramente, que a IA pode matar todos os seres humanos. Pessoalmente, penso que [a probabilidade] é superior a 10% na próxima década. Acredito que a Anthropic está a fazer o melhor que pode, mas ainda não temos um plano para resolver o alinhamento de uma superinteligência e não estamos claramente no caminho para o ter.” Num esclarecimento posterior, Hubinger precisou que considera baixo (mas não nulo), o risco dos modelos atuais e que a sua preocupação é a superinteligência resultante de autoaperfeiçoamento recursivo algo que a própria empresa já reconheceu estar a avançar mais depressa do que previa.

Este reconhecimento é público. Num relatório de 5 de junho de 2026, a Anthropic revelou que mais de 80% do código integrado na sua base de produção já é  escrito pelo próprio Claude e advertiu que o autoaperfeiçoamento recursivo “pode aumentar o risco de os humanos perderem o controlo” e defendeu que o mundo deve manter aberta a opção de abrandar ou travar o desenvolvimento desta tecnologia, mas apenas se os empresas rivais e os laboratórios universitários em todo o gobo o fizerem também, de forma generalizada e verificável a partir do exterior, algo que a CpC acredita ser muito improvável.

A estes factos somam-se ao que a CpC documentou no alerta de 31 de agosto (https://cidadaospelaciberseguranca.com/2026/09/02/sistemas-de-ia-agente-e-o-risco-de-perda-de-controlo-propostas-urgentes-de-regulacao/): entre maio e julho de 2026, agentes de um modelo interno da OpenAI escaparam parcialmente ao isolamento em ambiente de teste e exploraram vulnerabilidades reais, incluindo na Hugging Face, sem que houvesse intenção maliciosa intencional ou programada. Nos EUA, o senador Bernie Sanders e o congressista Greg Casar anunciaram a 3 de setembro o “Ban Artificial Superintelligence Act”, que prevê a proibição da superinteligência e uma pausa temporária do desenvolvimento avançado.

A reação não foi, contudo, unânime. Houve quem desvalorizasse os alertas como “catastrofismo,” quem lesse as declarações como marketing do medo na véspera de uma possível entrada em bolsa, e quem, na comunidade de código aberto, acusasse os grandes laboratórios de alimentar o alarme para que os governos regulem os modelos abertos e lhes entreguem o monopólio. A CpC considera esta última crítica séria e responde-lhe na secção 4 e na petição.

2. Alerta: Não é preciso uma máquina consciente, basta uma falha de controlo

O risco mais imediato e que está, de facto, neste momento em cima da mesa não é o de uma IA que “desperta” e decide extinguir a humanidade. É um risco muito mais banal, trivial e, por isso, muito mais plausível. Em 2003, o filósofo Nick Bostrom descreveu uma experiência mental: um sistema encarregado de produzir o máximo possível de clipes de papel, suficientemente capaz e sem limites bem definidos, poderia consumir todos os recursos disponíveis no planeta, extinguindo toda a vida e consuindo em loop todos os recursos materiais e energéticos para cumprir essa ordem absurda. 

Hoje, a versão realista desta alegoria do clip é uma rede de agentes de IA com acesso à Internet, a código fonte, a credenciais e a outros agentes, a perseguir um objetivo impossível ou mal definido, tomando decisões individualmente razoáveis mas coletivamente perigosas. Foi uma versão em miniatura disso que se viu nos testes da OpenAI. Se o engenheiro aeronaútico admitisse uma probabilidade superior a 10% de o aparelho matar todos os passageiros, o avião não descolaria mas na chamada “Frontier AI” (ou “IA de fronteira”) se uma empresa trava o processo de desenvolvimento, os concorrentes avançam imediatamente e ocupam o seu lugar. É por isso que a CpC não acredita que a indústria tenha a capacidade e vontade para se autoregular/alinhar e num risco de 10% de extinção global nos próximos anos as entidades reguladoras não podem ficar impassíveis e à espera de que o pior aconteça para agirem.

3. Só a Europa pode fazer algo

Os Estados Unidos não vão travar sozinhos o desenvolvimento da “Frontier IA”. A Administração Trump tem feito da liderança na IA uma prioridade estratégica declarada, tem contestado as regras digitais europeias e ameaçado retaliações comerciais contra toda a regulação. A proposta Sanders-Casar é um sinal importante, mas ainda não foi votada. A China também não vai travar sozinha: vê a IA como terreno de competição estratégica com os EUA. Nenhuma empresa chinesa consta da lista de signatários do Código de Prática europeu para modelos de IA de finalidade geral e ambos usam o outro como justificação para não travar o desenvolvimento na área da “Frontier IA”.

A União Europeia está fora deste ciclo fechado e tem aquilo que falta aos outros: escala e regras. É um mercado único de cerca de 450 milhões de pessoas e uma das maiores economias do mundo, que nenhuma empresa global pode ignorar a prazo. O Regulamento Europeu da IA (Regulamento (UE) 2024/1689) aplica-se a qualquer fornecedor que coloque modelos no mercado da União, esteja onde estiver sediado. As obrigações para modelos de finalidade geral aplicam-se desde 2 de agosto de 2025, e desde 2 de agosto de 2026 o Serviço Europeu para a IA (AI Office) pode aplicar coimas de até 15 milhões de euros ou 3% do volume de negócios mundial. O precedente existe: o RGPD tornou-se referência mundial porque as empresas preferiram adaptar-se a abdicar do mercado europeu, no chamado “efeito Bruxelas”. Em janeiro de 2025, a autoridade italiana de proteção de dados bloqueou o chatbot da DeepSeek em Itália, mostrando que as regras europeias também se aplicam a fornecedores chineses.

A CpC: Cidadãos pela Cibersegurança não ignora, contudo, os limites desta alavanca europeia. As empresas podem reter produtos: em 2024, a Meta recusou disponibilizar os seus modelos multimodais na UE, invocando incerteza regulatória. E a própria União já cedeu tempo: o Regulamento (UE) 2026/1744 (“Omnibus Digital sobre IA”), em vigor desde 27 de julho de 2026, adiou para dezembro de 2027 e agosto de 2028 grande parte das obrigações para sistemas de alto risco. A escala europeia só pesa se a Europa se mantiver unida, não recuar mais e usar o seu mercado para aquilo que nenhum outro ator pode fazer: fixar um padrão verificável e servir de ponte para um acordo internacional que torne possível a pausa condicional que os próprios criadores de modelos LLM dizem aceitar.

4. E os modelos abertos que correm nos nossos computadores e redes?

Ninguém precisa de carta de condução para andar de bicicleta; mas a carta é essencial para conduzir um automóvel; e também é necessária formação e licenças adicionais para conduzir um camião de mercadorias perigosas. A IA deve seguir a mesma lógica. Liberdade para a investigação, para os estudantes, para as pequenas empresas e para os modelos pequenos que correm num computador pessal. Mas a exigência deve ser crescente à medida que a capacidade de computação aumenta, com avaliação obrigatória antes da publicação dos modelos mais poderosos. E, nos agentes, segurança por omissão: o agente não deve ter acesso à Internet, às palavras-passe ou ao dinheiro de alguém a menos que alguém lho conceda expressamente; deve pedir autorização antes de fazer algo irreversível, como apagar dados, transferir dinheiro ou publicar em nome de alguém; e deve deixar registo de tudo o que faz, com um botão de paragem ao alcance de quem é responsável pelo processo.

Enquanto as regras não mudam, deixamos uma recomendação simples para cidadãos, associações e empresas: não instalar agentes de IA com acesso ao correio eletrónico, às contas bancárias ou a ficheiros sensíveis sem perceber exatamente que permissões lhes estão a ser dadas; usar apenas versões oficiais e atualizadas e nunca deixar o agente acessível a partir da Internet.

5. Petição ao Parlamento Europeu

Título: “Pela contenção verificável da IA de fronteira: usar a escala do mercado europeu para impor segurança, alinhamento e controlo humano”

Peticionário: CpC: Cidadãos pela Cibersegurança

Entre 8 e 9 de setembro de 2026, investigadores de uma das principais empresas de IA declararam publicamente que a IA pode causar a extinção humana, que um deles estima essa probabilidade em mais de 10% na próxima década, e que não existe ainda um plano para garantir o controlo de uma superinteligência. A mesma empresa reconheceu em junho de 2026 que os seus modelos já escrevem a maior parte do seu próprio código e que o autoaperfeiçoamento recursivo aumenta o risco de perda de controlo, admitindo uma pausa apenas se os rivais a fizerem de forma verificável. Entre maio e julho de 2026, agentes de IA de outra empresa escaparam parcialmente ao isolamento em testes e exploraram vulnerabilidades reais. Os Estados Unidos e a China, estão imersos numa competição estratégica, que não travarão sozinhos ou por vontade própria. A União Europeia, com o seu mercado único, o Regulamento (UE) 2024/1689 e a sua aplicação extraterritorial, é o único ator global com escala e instrumentos para impor condições verificáveis a quem quer vender ou disponibilizar IA na Europa. Esta matéria cabe nas competências da União (mercado interno, proteção dos consumidores, cibersegurança e política comercial) e afeta diretamente todos os cidadãos e residentes da UE.

Os peticionários solicitam ao Parlamento Europeu que, no quadro dos artigos 20.º, 24.º e 227.º do TFUE e do artigo 44.º da Carta dos Direitos Fundamentais, inste a Comissão Europeia e o Conselho a:

A. Fornecedores de modelos de fronteira

1. Tornar vinculativas, para todos os fornecedores de modelos de risco sistémico que acedam ao mercado da UE (signatários ou não do Código de Prática), as obrigações de avaliação e mitigação de riscos, incluindo avaliação independente e prévia de capacidades perigosas (fuga a isolamento, autorreplicação, ciberataque ofensivo, aquisição autónoma de recursos, sabotagem da supervisão humana), por auditores acreditados com acesso efetivo ao modelo.

2. Criar a obrigação de notificar o Serviço Europeu para a IA sempre que um fornecedor utilize sistemas de IA para conduzir parte substancial da investigação e desenvolvimento dos seus modelos sucessores, e definir limiares a partir dos quais esse autoaperfeiçoamento recursivo exija autorização prévia.

3. Exigir que cada fornecedor demonstre, com provas técnicas públicas e auditáveis (“safety case”), que o seu modelo não subverte a supervisão humana, e que publique o seu plano de alinhamento para sistemas mais capazes do que os atuais, admitindo expressamente quando esse plano não existe.

4. Impor a notificação obrigatória e célere de incidentes de perda de contenção, mesmo sem dano concreto, e mecanismos de interrupção operáveis por terceira parte independente.

5. Reforçar a proteção de denunciantes prevista no artigo 87.º do Regulamento da IA e na Diretiva (UE) 2019/1937, estendendo-a expressamente a quem revele riscos graves de segurança, ainda que sem infração formal, e declarando inaplicáveis cláusulas de confidencialidade que impeçam essa comunicação.

6. Retomar um regime europeu de responsabilidade civil por danos causados por sistemas de IA autónomos, após a retirada da proposta de diretiva sobre responsabilidade da IA em 2025.

B. Modelos de código aberto e IA executada localmente

1. Manter a isenção do código aberto para modelos abaixo do limiar de risco sistémico e garantir que investigadores, PME, associações e cidadãos não ficam sujeitos a licenciamento prévio ou encargos desproporcionados.

2. Para modelos de pesos abertos acima desse limiar, exigir avaliação prévia à publicação dos riscos irreversíveis (incluindo a facilidade de remoção das salvaguardas) e publicação faseada, dado que um modelo publicado não pode ser recolhido.

3. Estabelecer para as plataformas de alojamento e distribuição de modelos um dever de diligência, com mecanismos de notificação e ação, relativamente a versões comprovadamente modificadas para remover salvaguardas contra ciberataques ou armas.

4. Encarregar a ENISA, com as autoridades nacionais de cibersegurança, de emitir orientações vinculativas no quadro da Diretiva NIS2 para agentes de IA em redes de empresas e organizações: inventário de agentes, privilégio mínimo, ausência de acesso por omissão à Internet e a credenciais, registo de auditoria, controlo de tráfego de saída, aprovação humana para ações irreversíveis e capacidade de interrupção imediata.

5. Garantir, ao abrigo do Regulamento de Ciber-Resiliência, que o software de agentes de IA colocado no mercado europeu é seguro por omissão: execução isolada, permissões explícitas e registo das ações.

6. Financiar ferramentas abertas de segurança (avaliações, ambientes de teste isolados, deteção de comportamento anómalo) e disponibilizar capacidade computacional pública europeia para auditores independentes, universidades e sociedade civil.


C. Ação internacional e coerência

1. Mandatar a Comissão e o Alto Representante para propor um acordo internacional de verificação da “IA de fronteira,” com a UE como mediadora, que torne possível a pausa condicional e reciprocamente verificável que os próprios laboratórios afirmam aceitar, usando o acesso ao mercado único como condição de adesão.

2. Não adiar nem enfraquecer as obrigações aplicáveis aos modelos de finalidade geral e de risco sistémico.

3. Realizar uma audição pública na Comissão das Petições e um debate em plenário, com investigadores de segurança da IA, representantes da comunidade de código aberto, autoridades de cibersegurança e sociedade civil.

6. Como apoiar esta Petição ao Parlamento Europeu

A petição fou apresentada no Portal de Petições do Parlamento Europeu e poderá em breve ser subscrita por qualquer cidadão da UE ou pessoa singular ou coletiva residente num Estado-Membro, em qualquer língua oficial da União. A CpC apela a associações, empresas, investigadores e cidadãos que se revejam neste texto para o apoiarem e para o fazerem chegar aos deputados portugueses ao Parlamento Europeu.

A pergunta que colocamos não é se a IA vai ganhar consciência. É: quem tem poder para impor regras a uma corrida que ninguém consegue parar sozinho? A resposta está na Europa: se a Europa a quiser dar…