O clipe é de um evento histórico real – um discurso proferido pelo ditador nazista Adolf Hitler em 1939, no início da Segunda Guerra Mundial.
Mas há uma grande diferença. Este vídeo viral foi alterado pela inteligência artificial e nele Hitler faz comentários anti-semitas em inglês.
Um influenciador de conspiração de extrema direita compartilhou o conteúdo no X, anteriormente conhecido como Twitter, no início deste ano, e rapidamente acumulou mais de 15 milhões de visualizações, informou a revista Wired em março.
É apenas um exemplo do que pesquisadores e organizações que monitoram conteúdo de ódio chamam de tendência preocupante.
Dizem que o ódio gerado pela IA está aumentando.
“Acho que todos que pesquisam conteúdo de ódio ou mídia de ódio estão vendo cada vez mais conteúdo gerado por IA”, disse Peter Smith, jornalista que trabalha com a Rede Canadense Anti-Ódio.
Chris Tenove, diretor assistente do Centro para o Estudo de Instituições Democráticas da Universidade da Colúmbia Britânica, disse que grupos de ódio, como os grupos de supremacia branca, “têm sido historicamente os primeiros a adotar as novas tecnologias e técnicas da Internet”.
É uma preocupação que um órgão consultivo da ONU sinalizou em dezembro. Disse estar “profundamente preocupado” com a possibilidade de conteúdo antissemita, islamofóbico, racista e xenófobo “poder ser sobrecarregado por IA generativa”.
Às vezes, esse conteúdo pode aparecer na vida real.
Depois que a IA foi usada para gerar o que Smith descreveu como “pôsteres de filmes extremamente racistas ao estilo da Pixar”, alguns indivíduos imprimiram os cartazes e os afixaram nas laterais dos cinemas, disse ele.
“Tudo o que está disponível ao público, que é popular ou emergente, especialmente quando se trata de tecnologia, é rapidamente adaptado para produzir propaganda de ódio”.
Maior facilidade de criação e divulgação
Os sistemas generativos de IA podem criar imagens e vídeos quase instantaneamente com apenas um simples prompt.
Em vez de um indivíduo dedicar horas para fazer uma única imagem, eles podem fazer dezenas “no mesmo período de tempo, apenas com algumas teclas”, disse Smith.
A B’nai Brith Canada sinalizou a questão do conteúdo de ódio gerado por IA em um relatório recente sobre anti-semitismo.
O relatório diz que no ano passado houve um “aumento sem precedentes de imagens e vídeos antissemitas que foram criados ou adulterados e falsificados usando IA”.
O diretor de pesquisa e defesa, Richard Robertson, disse que o grupo observou que “imagens realmente horríveis e gráficas, geralmente relacionadas à negação, diminuição ou distorção do Holocausto, estavam sendo produzidas usando IA”.
Ele citou o exemplo de uma imagem adulterada representando um campo de concentração com um parque de diversões dentro dele.
“As vítimas do Holocausto estão viajando, aparentemente se divertindo em um campo de concentração nazista, e sem dúvida isso é algo que só poderia ser produzido usando IA”, disse ele.
O relatório da organização também afirma que a IA “teve um grande impacto” na propagação da propaganda após a guerra Israel-Hamas.
A IA pode ser usada para criar deepfakes ou vídeos que apresentam simulações notavelmente realistas de celebridades, políticos ou outras figuras públicas.
Tenove disse que deepfakes no contexto da guerra Israel-Hamas causaram a disseminação de informações falsas sobre os eventos e atribuíram falsas alegações tanto aos militares israelenses quanto às autoridades do Hamas.
“Então tem havido esse tipo de coisa, que tenta atiçar a raiva ou o medo das pessoas em relação ao outro lado e usa o engano para fazer isso.”
Jimmy Lin, professor da escola de ciência da computação da Universidade de Waterloo, concorda que houve “um aumento em termos de conteúdo falso… que é projetado especificamente para irritar as pessoas de ambos os lados”.
Amira Elghawaby, representante especial do Canadá para o combate à islamofobia, diz que tem havido um aumento nas narrativas anti-semitas e islamofóbicas desde o início do conflito.
Ela diz que a questão da IA e do conteúdo de ódio implora por mais estudo e discussão.
Não há discordância de que o conteúdo de ódio gerado pela IA é uma questão emergente, mas os especialistas ainda não chegaram a um consenso sobre a extensão do problema.
Tenove disse que há “muitas suposições por aí agora”, semelhantes a questões sociais mais amplas sobre “conteúdo prejudicial ou problemático que se espalha em plataformas de mídia social”.
Liberais dizem que novo projeto de lei abordará algumas preocupações
Sistemas como o ChatGPT possuem proteções integradas, disse Lin. Um porta-voz da OpenAI confirmou que antes de a empresa lançar qualquer novo sistema, ela ensina o modelo a se recusar a gerar discurso de ódio.
Mas Lin disse que existem maneiras de desbloquear sistemas de IA, observando que certos prompts podem “enganar o modelo” para produzir o que ele descreveu como conteúdo desagradável.
David Evan Harris, pesquisador público da Universidade da Califórnia, Berkeley, disse que é difícil saber de onde vem o conteúdo de IA, a menos que as empresas por trás desses modelos garantam que ele tenha marca d’água.
Ele disse que alguns modelos de IA, como os fabricados pela OpenAI ou pelo Google, são modelos de código fechado. Outros, como Meta’s Llama, são disponibilizados de forma mais aberta.
Uma vez que um sistema é aberto a todos, ele disse que os malfeitores podem retirar recursos de segurança e produzir discursos de ódio, golpes e mensagens de phishing de maneiras que são muito difíceis de detectar.
Um comunicado da Meta disse que a empresa incorpora salvaguardas em seus sistemas e não abre o código de “tudo”.
“O software de código aberto é normalmente mais seguro e protegido devido ao feedback contínuo, escrutínio, desenvolvimento e mitigações da comunidade”, afirmou.
No Canadá, existe legislação federal que, segundo o governo liberal, ajudará a resolver o problema. Isso inclui o projeto de lei C-63, uma proposta de lei para tratar dos danos online.
Chantalle Aubertin, porta-voz do ministro da Justiça, Arif Virani, disse que a definição do projeto de lei de conteúdo que fomenta o ódio inclui “qualquer tipo de conteúdo, como imagens e vídeos, e qualquer conteúdo gerado artificialmente, como deepfakes”.
A Innovation Canada disse que sua proposta de legislação de regulamentação de inteligência artificial, Bill C-27, exigiria que o conteúdo de IA fosse identificável, por exemplo, por meio de marca d’água.
Um porta-voz disse que o projeto de lei também “exigiria que as empresas responsáveis por sistemas de IA de alto impacto e de uso geral avaliassem os riscos e testassem e monitorassem seus sistemas para garantir que estejam funcionando conforme pretendido, e implementassem medidas de mitigação apropriadas para lidar com quaisquer riscos”. de dano.”