Prevenir os Audio Deepfake: Conselhos e Propostas

Nas últimas eleições legislativas na Eslováquia surgiram episódios que devem criar preocupação em Portugal: Durante os dois dias de reflexão (em que – como em Portugal – os partidos políticos estão proibidos de fazer declarações) surgiram vários audios deepfake. Num deles, ouvia-se Michal Šimečka, do partido “Liberal Progressivo” e Monika Tódová do jornal “Denník N” que debatiam a melhor forma de falsificar as eleições pela compra de votos da comunidade “romani” local. O audio foi amplamente partilhado em várias redes sociais nos dias que antecederam as eleições e, pouco depois, surgiam outros audios em que o candidato afirmava que iria duplicar o preço da cerveja (!). A 9 de Outubro surgiu outro caso idêntico com um audio falso e gerado por Inteligência Artificial (IA) no primeiro dia da conferência do Labour britânico. O video eslovaco foi analisado pela Eleven Labs e esta empresa especializada confirmou – com elevada probabilidade – tratar-se de um audio falso gerado por IA.

O Digital Markets Act europeu obriga as redes sociais a serem mais activas na contenção deste tipo de conteúdos mas – por estes exemplos – tal não parece estar a acontecer e estes casos (sobretudo o eslovaco) revela que os deepfakes de audio (mais fáceis de produzir e credíveis que os com vídeo) são uma ameaça à democracia e que estiveram no ar o tempo suficiente para conseguirem viralizar.

O padrão comum nestes casos é o uso de audio com palavras montadas por IA e foram classificados como “provavelmente falsos” por especialistas mas as análises não são imediatas e são sempre realizadas a pedido, pagas caso a caso e, ademais, indicam apenas uma probabilidade de se tratar – ou não – de um deepfake.

Outro problema é que estes deepfakes são cada vez mais sofisticados e realistas e actualmente já conseguem sintetizar frases a partir de amostras de frases dos alvos. Graças ao uso de técnicas de “deep learning” as simulações de audio serão cada vez mais realistas a um ponto em que, em breve, será impossível de as distinguir de audios reais, mesmo com o recurso de organizações especializadas. Isso, contudo e felizmente, ainda não acontece.

Quem quiser pode fazer um deepfake audio (ou video) ele próprio, sem ter recursos tecnológicos ou conhecimentos de tecnologia. Basta começar por usar o ChatGPT para criar um texto credível identificando o político para que a IA gere um discurso com frases e expressões já usados por essa figura pública e depois pagar 5 dólares a uma dessas empresas que geram áudios a partir de amostras. Na CpC fizemos vários testes e concluímos que nenhuma das plataformas testadas conseguia produzir um áudio credivel porque todas tendiam a usar o sotaque do português do Brasil. Isto não quer dizer que tal não seja possível porque a tecnologia é a mesma e já existe. Basta apenas que o actor malicioso use uma ferramenta não comercial (ao alcance de agentes estatais ou de grandes empresas e organizações) ou esperar alguns meses até que a opção para gerar vozes em português de Portugal esteja disponível nas plataformas online actualmente já existentes.

As próximas eleições em Portugal serão as eleições para o Parlamento Europeu de junho do próximo ano. Tendo em conta que actualmente já mais de 60% da legislação nacional resulta da transposição de directivas europeias e que este é o palco ideal para operações de manipulação e desinformação como aquelas que regimes como o da federação russa têm lançado um pouco por todo o mundo será de esperar que existam operações deste tipo não apenas em Portugal mas em todos os países que elegem deputados para o Parlamento Europeu.

A CNE deve estar particularmente atenta a estes fenómenos conhecidos como “deepfakes audio” e ter mecanismos de resposta rápida (através da realização de contratos com empresas especializadas neste tipo de investigação e criando uma equipa dedicada para receber e processar as denúncias que os cidadãos e partidos irão fazer aquando das eleições e da campanha eleitoral.

A este respeito é preciso que todos – cidadãos e não-especialistas – estejamos atentos às redes sociais e a todos os audios polémicos que possam aqui surgir já que este (audio deepfakes) parecem estar a ser a ferramenta usada pelas organizações por detrás destas operações de desinformação.

Há várias “pistas” para a identificação de um audio deepfake:
1. Os audio podem ter cadências vocais irregulares
2. Resíduos de audio nas transições entre palavras
De uma forma mais complexa e profissional:
1. análise espectal
2. uso de algoritmos de deep learning para analisar gravações reais e compará-las com audio de deepfake alegamente do mesmo autor.
3. detecção de artefactos audio inseridos no registo sonoro.

Apelamos a que a CNE esteja especialmente atenta à possibilidade de ocorrência deste fenómeno e que o Ministério Público seja célere e eficaz na reação a estes fenómenos.

Há também que seguir de perto e desenvolver o trabalho da equipa da Universidade de Aveiro que desenvolveu um “sistema capaz de analisar imagens, sejam em formato vídeo, sejam em fotografia. Em primeiro lugar o sistema vai esmiuçar os objetos, pretendendo-se que no final da análise todos os objetos presentes nas imagens estejam rastreados, de forma a que sejam ou não identificados aqueles que possam estar potencialmente ligados a grupos extremistas” e estendê-lo aos audios de deepfake. Uma variante desta aplicação poderia ser usada pela CNE para processar os pedidos de intervenção que irá em breve provavelmente receber.
(https://observador.pt/2018/12/10/universidade-de-aveiro-ganha-concurso-da-nato-para-detetar-mensagens-extremistas/)

O Parlamento Europeu também poderá replicar o “No Fakes Act” dos EUA e e que visa proteger actores e artistas do uso não autorizado da sua imagem por IA e produzir uma directiva que leve os países membros a penalizar todos os que utilizem as vozes de terceiros – designadamente por agentes políticos em contexto de eventos eleitorais – de forma fraudulenta no contexto europeu para criarem audios deepfake.

Enviada a CNE
GPs da AR
e enviada na forma de petição ao Parlamento Europeu

O scam de facebook “Your Page Has Been Reported”

Nos últimos dias foram-nos enviadas uma série de mensagens que diziam vir do “M‌e‌t‌a‌ S‌e‌c‌u‌r‌i‌t‌y‌ T‌e‌a‌m‌“, “The Meta Business Support“, três em inglês e uma em francês com variantes de texto invocando que a página tinha sido suspensa devido a violações de direitos de autor.
Todos os casos foram reportados ao facebook e este reagiu desactivando três das quatro páginas e grupos de onde eram realizadas estas campanhas.
Foram feitos também pedidos de “take down” aos sites que alojavam duas destas campanhas e onde residia malware que visava captar dados pessoais e credenciais de facebook para uso em campanhas de phishing e ransomware.

O esquema está a correr mundo desde finais de setembro e outros países estão a ser alvo, para além de Portugal conforme se pode ler na denúncia escrita por um especialista norte-americano “Simon Clark – Social, Digital & Creative Agency”: 𝗦𝗣𝗔𝗠 𝗔𝗟𝗘𝗥𝗧!!!! [𝘘𝘶𝘦𝘴𝘵𝘪𝘰𝘯 𝘧𝘰𝘳 𝘺𝘰𝘶 𝘣𝘦𝘭𝘰𝘸] 👇 Like many of my clients, I am also receiving lots of spam messages in Messenger telling me that my page has been suspended or shut down (even though it is still live). They are asking me to click the link so I can reactivate the page. 𝗜𝗙 𝗬𝗢𝗨 𝗥𝗘𝗖𝗘𝗜𝗩𝗘 𝗢𝗡𝗘 𝗢𝗙 𝗧𝗛𝗘𝗦𝗘 𝗠𝗘𝗦𝗦𝗔𝗚𝗘𝗦, 𝗗𝗢 𝗡𝗢𝗧 𝗖𝗟𝗜𝗖𝗞 𝗧𝗛𝗘 𝗟𝗜𝗡𝗞.
They are phishing to get your login information and use it to access your account and other sites where you may use the login.”

Outra denúncia pode ser encontrada em https://www.facebook.com/LivingDramaTheatre/ em que este teatro comunitário de Eustis, Florida se queixa de que “It is amazing how Facebook act like the FBI, searching your account and your messages. It seems to ignore the scam that uses their name and meta-to get your account information so that these fake account can hack you. The worst part is there’s no one to contact from Facebook for meta, to resolve any issues you may have. FYI.. I did not get hacked… My gut told me better not login in on the link. The problem that this post is about: Both FB and Instagram are like the FBI & Gestapo when it comes to censoring your posts and messages, but when it comes to solving a problem you may have, they on vacation… and don’t care

No Reddit encontramos uma vítima em
https://www.reddit.com/r/FacebookAds/comments/16q2kmy/fake_account_suspension_message/

Todos os casos são muito recentes: finais de setembro e começos de outubro. Todas as mensagens dos scammers contêm um clássico “apelo à urgência” (“24 horas” para reagir) e tendo em conta que os alvos desta campanha são páginas falamos de negócios ou páginas de associações e movimentos sociais: cruciais para a sua sobrevivência ou para a divulgação das suas actividades e, logo, mais propensas a pagarem algo para se manterem activas.

Metade destes casos residiam em páginas e grupos de facebook. A outra metade residia em sites (protegidos por detrás de URL shorteners) e em ficheiros no Google Drive: a primeira variante, a dado ponto da conversação iria remeter para o mesmo tipo de malware que seria executado no computador do alvo, recolhendo as suas credenciais para acesso remoto, ransomware (para futuro pedido de resgate de dados) ou para um clássico processo de tomada de controlo da conta de facebook e instagram.

As cinco variantes e, por fim, elementos identificativos sobre o scammer:

1.
Bonjour, Votre page sera temporairement verrouillée, nous avons constaté qu’elle enfreint nos normes communautaires sur les images et vidéos d’exploitation sexuelle des enfants.
Vous trouverez ci-dessous un résumé de vos violations
Veuillez les examiner attentivement et les supprimer : https://<ln.run>/<r964M&gt;
(notification automatique _ veuillez nous contacter dans les 24 heures)

> Este URL shortener encaminha para outro, o shortenworld.com o que aumenta a opacidade do processo e onde estava alojado um malware entretanto detectado e apagado pelo Google.

2.
•‌ W‌e‌’‌v‌e‌ d‌e‌t‌e‌c‌t‌e‌d‌ u‌n‌u‌s‌u‌a‌l‌ a‌c‌t‌i‌v‌i‌t‌y‌ a‌n‌d‌ c‌o‌p‌y‌r‌i‌g‌h‌t‌ i‌n‌f‌r‌i‌n‌g‌e‌m‌e‌n‌t‌ o‌n‌ y‌o‌u‌r‌ P‌a‌g‌e‌ t‌h‌a‌t‌ g‌o‌e‌s‌ a‌g‌a‌i‌n‌s‌t‌ t‌h‌e‌ M‌e‌t‌a‌ C‌o‌m‌m‌u‌n‌i‌t‌y‌ S‌t‌a‌n‌d‌a‌r‌d‌s‌.‌ ‌ ‌
•‌ F‌o‌r‌ M‌e‌t‌a‌’‌s‌ s‌e‌c‌u‌r‌i‌t‌y‌ r‌e‌a‌s‌o‌n‌s‌,‌ P‌l‌e‌a‌s‌e‌ v‌e‌r‌i‌f‌y‌ y‌o‌u‌r‌ a‌c‌c‌o‌u‌n‌t‌ b‌y‌ c‌l‌i‌c‌k‌i‌n‌g‌ o‌n‌ t‌h‌e‌ l‌i‌n‌k‌ b‌e‌l‌o‌w‌ a‌n‌d‌ f‌o‌l‌l‌o‌w‌i‌n‌g‌ t‌h‌e‌s‌e‌ s‌t‌e‌p‌s‌:‌
– Name Page: <redigido>
– ID Page: 100063519615115
– A‌c‌c‌o‌u‌n‌t‌ C‌o‌n‌f‌i‌r‌m‌a‌t‌i‌o‌n‌:‌ ‌ https://www.facebook.com/story.php/?id=1017215206189816&story_fbid=1017236742854329
M‌e‌t‌a‌ S‌e‌c‌u‌r‌i‌t‌y‌ T‌e‌a‌m‌.‌

> Sendo este um link morto de uma story de uma página já desligada não fornece muitos elementos sobre a campanha e a identidade dos scammers.

3.
Y‌o‌u‌r‌ P‌a‌g‌e‌ H‌a‌s‌ B‌e‌e‌n‌ D‌i‌s‌a‌b‌l‌e‌d‌.‌
We regret to inform you that your Page and your Facebook account will be deactivated due to repeated violations of our Community Standards. As you may be aware, Facebook is a community platform where people come together to share experiences and ideas. To maintain a positive and safe environment for everyone, it is necessary to take action against accounts that consistently violate these standards.
Please note that deactivated accounts cannot be restored, and all the content posted on your account, including photos and personal information, will be permanently deleted.
If you believe that this deactivation is a mistake, we encourage you to submit an appeal to Meta Business Support by following the link below:
u.to/JG-8Hw
We understand that this may cause inconvenience, but we have a responsibility to maintain a safe and welcoming environment for all Facebook users. Your cooperation in adhering to our Community Standards is greatly appreciated.
Please be aware that if we do not receive an appeal from your account within 24 hours, we will have to proceed with the deactivation as mentioned above.
Thank you for your understanding.
Sincerely, The Meta Business Support
.”
> Nesta variante já conseguimos recolher alguns elementos já que o URL Shorteneer (um padrão neste scam) aponta para o site <pagemanagersupporthomecenter.website> que foi registado no primeiro dia em que começaram a ser enviadas estas mensagens (milhares) a páginas no facebook: “Expires On 2024-09-29 Registered On 2023-09-29” o que não é, certamente, uma coincidência.
O site está no ar, assim como domain, mas – testado numa sandbox – devolve um erro o que quer dizer que o scammer não terminou o seu trabalho ou que, apesar do erro, é obtido o acesso necessário para a sua actividade maliciosa.
O domain – como sempre sucede nestes casos – surge no registrar como “NameRedacted for Privacy”.

4.
“P‌a‌g‌e‌ h‌a‌s‌ b‌e‌e‌n‌ u‌n‌p‌u‌b‌l‌i‌s‌h‌e‌d‌ b‌e‌c‌a‌u‌s‌e‌ Y‌o‌u‌r‌ P‌a‌g‌e‌ h‌a‌s‌ b‌e‌e‌n‌ r‌e‌p‌e‌a‌t‌e‌d‌l‌y‌ r‌e‌p‌o‌r‌t‌e‌d‌ a‌s‌ v‌i‌o‌l‌a‌t‌i‌n‌g‌ s‌o‌m‌e‌o‌n‌e‌ e‌l‌s‌e‌’‌s‌ r‌i‌g‌h‌t‌s‌.‌ W‌e‌ k‌n‌o‌w‌ w‌e‌’‌r‌e‌ n‌o‌t‌ a‌l‌w‌a‌y‌s‌ r‌i‌g‌h‌t‌,‌ s‌o‌ i‌f‌ y‌o‌u‌ t‌h‌i‌n‌k‌ w‌e‌ m‌a‌d‌e‌ a‌ m‌i‌s‌t‌a‌k‌e‌,‌ y‌o‌u‌ c‌a‌n‌ C‌o‌n‌f‌i‌r‌m‌ y‌o‌u‌r‌ i‌d‌e‌n‌t‌i‌t‌y‌ a‌n‌d‌ o‌b‌j‌e‌c‌t‌ t‌o‌ t‌h‌i‌s‌ d‌e‌c‌i‌s‌i‌o‌n‌.‌ I‌n‌ s‌o‌m‌e‌ c‌a‌s‌e‌s‌,‌ w‌e‌ m‌a‌y‌ r‌e‌m‌o‌v‌e‌ r‌e‌s‌t‌r‌i‌c‌t‌i‌o‌n‌s‌.‌ ‌ ‌
C‌o‌n‌f‌i‌r‌m‌ y‌o‌u‌r‌ i‌d‌e‌n‌t‌i‌t‌y‌ o‌t‌h‌e‌r‌w‌i‌s‌e‌ o‌u‌r‌ Y‌o‌u‌r‌ P‌a‌g‌e‌ m‌a‌y‌ b‌e‌ p‌e‌r‌m‌a‌n‌e‌n‌t‌l‌y‌ d‌i‌s‌a‌b‌l‌e‌d‌.‌
Name Page:<redigido>
ID Page: 100063519615115
C‌o‌n‌f‌i‌r‌m‌ y‌o‌u‌r‌ i‌d‌e‌n‌t‌i‌t‌y‌:‌ >https://www.facebook.com/story.php/?id=709106964468024&story_fbid=709109614467759>
T‌‌‌h‌‌‌a‌‌‌n‌‌‌k‌‌‌ y‌‌‌o‌‌‌u‌‌‌!‌‌‌

> Esta quarta e última campanha permite saber mais sobre o scam, a sua identidade e contêm elementos que permitem identifica as pessoais reais e físicas que se ocultam por detrás dos nomes “M‌e‌t‌a‌ S‌e‌c‌u‌r‌i‌t‌y‌ T‌e‌a‌m‌” e “The Meta Business Support”.
Neste caso quer o URL do facebook, quer o grupo facebook criado explicitamente para o efeito (com 1 membro!) estão activos a 03.10.2023. O grupo (onde cai o URL enviado na mensagem) tem uma única mensagem:
“‌‌‌‌‌‌‌‌‌‌M‌‌е‌‌‌t‌‌‌a ‌В‌‌u‌‌s‌і‌n‌‌е‌‌ѕ‌‌ѕ ‌Ѕ‌u‌‌‌‌р‌р‌‌‌о‌‌‌r‌t ‌✓‌‌‌” de 25 de Setembro às 18:24 e onde se repete o mesmo texto”
O grupo foi criado dias antes do registo do domain <pagemanagersupporthomecenter.website> o que indica que pertence à mesma rede e tem como único membro quem é, muito provavelmente, um dos scammers destas campanhas: Nilanjana Dey (o que indica tratar-se de um perfil real), com 2189 “amigos”, fotografias de actividade social e da sua própria família e onde se encontra utilizadores de facebook reclamando da fraude de que esta utilizadora participa por parte de outras vítimas do scam.
A impunidade com que esta scammer expõe o seu nome e perfil é revelador do tipo de impunidade e da inércia das autoridades indianas (porque o crime é cometido no exterior e não existem participações de crime na Índia). Os seus amigos mais activos têm perfis ocultos e provavelmente dedicam-se ao mesmo tipo de actividade.

5.
Р‌‌‌l‌‌‌e‌‌‌а‌‌‌ѕ‌‌‌e‌‌‌ R‌‌‌e‌‌‌v‌‌‌i‌‌‌e‌‌‌w‌‌‌ Υ‌‌‌о‌‌‌u‌‌‌r‌‌‌ А‌‌‌с‌‌‌с‌‌‌о‌‌‌u‌‌‌n‌‌‌t‌‌‌ -‌‌‌ Υ‌‌‌о‌‌‌u‌‌‌r‌‌‌ P‌‌‌а‌‌‌ɡ‌‌‌e‌‌‌ H‌‌‌а‌‌‌ѕ‌‌‌ B‌‌‌e‌‌‌e‌‌‌n‌‌‌ D‌‌‌i‌‌‌ѕ‌‌‌а‌‌‌b‌‌‌l‌‌‌e‌‌‌d‌‌‌‌
A‌c‌c‌o‌u‌n‌t‌ C‌o‌n‌f‌i‌r‌m‌a‌t‌i‌o‌n‌ :‌ ‌ https://business.facebook.com/114252228443477/posts/114262615109105/ C‌‌‌o‌‌‌n‌‌‌f‌‌‌i‌‌‌r‌‌‌m‌‌‌ y‌‌‌o‌‌‌u‌‌‌r‌‌‌ a‌‌‌c‌‌‌c‌‌‌o‌‌‌u‌‌‌n‌‌‌t‌‌‌ w‌i‌t‌h‌i‌n‌ t‌h‌e‌ n‌e‌x‌t‌ 2‌4‌ h‌o‌u‌r‌s‌ o‌t‌h‌e‌r‌w‌i‌s‌e‌ o‌u‌r‌ y‌o‌u‌r‌ P‌a‌g‌e‌ m‌a‌y‌ b‌e‌ p‌e‌r‌m‌a‌n‌e‌n‌t‌l‌y‌ d‌i‌s‌a‌b‌l‌e‌d‌.‌ ‌ ‌T‌h‌a‌n‌k‌ y‌o‌u‌ f‌o‌r‌ h‌e‌l‌p‌i‌n‌g‌ u‌s‌ i‌m‌p‌r‌o‌v‌e‌ o‌n‌ t‌h‌e‌ a‌b‌o‌v‌e‌ a‌n‌o‌m‌a‌l‌y‌.‌ ‌ M‌e‌t‌a‌ S‌e‌c‌u‌r‌i‌t‌y‌ T‌e‌a‌m‌

> Este post já foi apagado mas tratava-se de um anúncio! Isto indica que a Facebook/Meta tem os dados deste scammer porque o anúncio foi pago com cartão de crédito e é possível seguir a fraude até a uma conta bancária e identidade. Como todos os outros este caso foi também denunciado à empresa que gere o facebook: como os outros: não houve qualquer resposta.

Como evitar cair num esquema “scam” deste tipo?

  1. Mantenha-se Informado: Esteja ciente dos tipos de golpes e fraudes online que estão a circular a cada momento: Esta será a sua primeira e melhor linha de defesa.
  2. Verifique a Fonte: Sempre verifique a fonte antes de clicar em qualquer URL.
  3. Não partilhe Informações Pessoais: Nunca partilhe informações pessoais, como passwords, números de cartões de crédito ou informações de contas bancárias, em mensagens ou sites suspeitos.
  4. Active a Autenticação em Dois Passos (2FA) do facebook: Activar a autenticação em dois passos adiciona uma camada adicional de segurança à sua conta, mesmo se alguém conseguir obter a sua password.
  5. Use Antivírus e Antimalware: Mantenha o seu software antivírus actualizado para evitar infecções por malware.
  6. Confirme as Configurações de Privacidade: Reveja regularmente as suas configurações de privacidade nas redes sociais para controlar quem pode ver as suas informações. Partilhe e divulgue o menos possível sobre si e sobre as suas preferências.
  7. Desconfie de Mensagens Inesperadas: Se receber mensagens inesperadas, especialmente com links suspeitos, mesmo que aparentem vir de amigos, entre em contacto com a pessoa de forma independente (por telefone, SMS, WhatsApp, etc.) por forma a verificar se a mensagem é legítima.
  8. Relate Todas as Actividades Suspeitas: Se encontrar actividades suspeitas ou mensagens de phishing, denuncie-as à plataforma (no caso, ao facebook) para que possam tomar medidas.
  9. Use Passwords Fortes: Use passwords fortes e únicas para cada conta. Considere usar um gestor de senhas para criar e armazenar senhas complexas.

E, sobretudo, recorde-se de que a vigilância constante e o bom senso são suas melhores ferramentas para evitar fraudes online!