How AI-generated imagery spreads misinformation and confusion, but can also combat censorship

Haga clic aquí para leer este artículo en español.

Artificial intelligence is transforming how newsrooms build trust with their audiences.

During the panel “Synthetic media and journalism: Avatars, image creation and manipulation” at the 26th International Symposium on Online Journalism, journalists and media experts shared perspectives on the challenges of detecting and disclosing AI-generated content while highlighting AI innovation to combat censorship and repression.

Robert Quigley, professor of practice in the School of Journalism and Media at the University of Texas at Austin chaired the final panel of the conference on March 28, 2025.

Craig Silverman, a national reporter at ProPublica, reflected on the rise of AI-generated images on Facebook. Compared to content he encountered in his reporting a decade ago, he said it is now easier to generate images that are more visually convincing to a large audience.

Silverman said AI “slop,” or low-quality, AI-generated imagery, generates strong emotional reaction, but also elicits significant engagement. Because Facebook offers creators a cash payout based on monthly engagement with their accounts, Silverman said the financial incentive to post AI-generated content could grow.

“In the area where fact checking is going away in the U.S. on Facebook, suddenly, they’re positioned to become part of this new and expanding content monetization program on Meta,” Silverman said.

While many people are aware of the AI tools available to quickly produce images, video and audio, Silverman said they are increasingly getting “baked into the information ecosystem.”

“A lot of us know about deep fakes, about AI-generated images, but that doesn’t mean all of us know how to recognize them, and it doesn’t mean that we think about that every time we’re consuming media, and that’s something that people really hit on and exploit,” Silverman said.

For Carlos Eduardo Huertas, director of the media platform CONNECTAS, the use of AI was “essential” during the 2024 presidential election in Venezuela.

In an environment of political polarization, two initiatives were created to push back against government disinformation and censorship campaigns, Huertas said. The collaborative work of journalists across the country resulted in the initiatives Venezuela Vota and #LaHoraDeVenezuela.

Since the contested re-election of President Nicolás Maduro, artificial intelligence has helped safeguard journalists’ identities without compromising the quality of reporting. The project, called Operación Retuit, utilizes a pair of AI-generated avatars known as “La Chama” and “El Pana” to present verified newscasts to audiences across social media.

“We’ve put artificial intelligence at the service of collective intelligence in an unprecedented effort of collaborative journalism in the region,” Huertas said.

The use of AI, Huertas said, is an innovative and safe way to respond to an environment in which “uncertainty and danger increase by the minute” for journalists.

Since the launch of Operación Retuit, Huertas said the content has generated positive attention among audiences and gained significant engagement despite restrictions in Venezuela on freedom of speech.

“Each new follower is a citizen we pull out of the quicksands of disinformation, and is exposed to a more diverse (variety) of media outlets to stay informed,” Huertas said.

Responding to the role of generative AI in an evolving media landscape calls for cross-industry collaboration, said Santiago Lyon, head of Advocacy and Education at the Content Authenticity Initiative.

At the heart of this effort to restore trust and transparency online is provenance, which seeks to establish the basic facts about the origins of digital content, Lyon said.

“Provenance really is about proving what things are as opposed to detecting what is false,” Lyon said.

To combat this challenge, Lyon presented the concept of Content Credentials, a tamper-evident “nutrition label” for online content that communicates the origin and engagement history of online content in an interactive format.

Lyon said the initiative works at every stage of the digital supply chain, from creation to dissemination. This involves collaboration with hardware manufacturers to establish the origins of a file upon creation, image editing tools to create a digital edit history and content management.

The open-source technology is developed by the Coalition for Content Provenance and Authenticity. Lyon said that while several organizations including Adobe, Google and Meta are beginning to implement Content Credentials, the initiative continues to emphasize audience and policy-maker education.

“We’re not trying to be the arbiters of truth here,” Lyon said. “What we’re trying to do is provide additional information so that consumers of news and really anything else online can make better informed decisions about what to trust.”

Claire Leibowicz, head of AI and Media Integrity at the Partnership on AI, posed the question of how AI policy could support media as recorders of reality.

Acknowledging the growing number of policies requiring the labeling of AI-generated content, Leibowicz said they often did not include guidance for media organizations on how to implement these labels.

In 2023, the partnership launched a framework for how to create and distribute synthetic media responsibly. Convening 10 partners across news media and civil society, the groups were tasked with creating case studies on how the guidelines were implemented in their respective organizations.

Leibowicz highlighted examples of how AI is being used by CBC News, which decided against using AI to conceal source identity, and BBC News, which utilized face-swapping technology to anonymize sources.

While both news organizations provided explanations on their respective decisions, Leibowicz said this particular example complicated the question of AI disclosure as being completely neutral.

“Simply disclosing the presence of AI is an imprecise form of transparency for audiences,” Leibowicz said. “You need that rich context about where something came from, how it was made, beyond just whether or not a certain technology was used.”

Quigley concluded the panel with a question on whether the panelists were optimistic towards winning a “battle” of trust in an era where untrustworthy information pervades the media landscape.

Lyon said he saw a tremendous opportunity for journalists to better explain how AI technologies work so readers and consumers could understand how to interact with them more effectively.

“We’re at the very beginning of what’s going to be a very long journey,” Lyon said. “AI is not going away.”

*Catharine Li is a sophomore studying international relations and global studies at the University of Texas at Austin. She is a senior news reporter for The Daily Texan, covering public safety, the environment and immigration. 

---

Cómo las imágenes generadas por IA difunden desinformación y confusión, pero también pueden combatir la censura

La inteligencia artificial está transformando la manera en que las salas de redacción construyen la confianza con sus audiencias.

Durante el panel “Medios sintéticos y periodismo: avatares, creación y manipulación de imágenes” en el 26º Simposio Internacional de Periodismo Online, periodistas y expertos en medios compartieron perspectivas sobre los desafíos de detectar y divulgar contenido generado por IA, al tiempo que destacaron la innovación de la IA para combatir la censura y la represión.

Robert Quigley, profesor en la Escuela de Periodismo y Medios de la Universidad de Texas en Austin, presidió el panel final de la conferencia el 28 de marzo de 2025.

Craig Silverman, reportero nacional en ProPublica, reflexionó sobre el auge de las imágenes generadas por IA en Facebook. Comparado con el contenido que encontró en sus reportajes hace una década, dijo que ahora es más fácil generar imágenes que sean más visualmente convincentes para una gran audiencia.

Silverman dijo que la “basura” de IA, o imágenes de baja calidad generadas por IA, genera una fuerte reacción emocional, pero también provoca un compromiso significativo. Silverman dijo que el incentivo financiero para publicar contenido generado por IA podría crecer debido a que Facebook ofrece a los creadores un pago en efectivo basado en la interacción mensual con sus cuentas.

“En el área donde el fact checking está desapareciendo en EE. UU. en Facebook, de repente, están posicionados para convertirse en parte de este nuevo y creciente programa de monetización de contenido en Meta”, dijo Silverman.

Si bien muchas personas son conscientes de las herramientas de IA disponibles para producir rápidamente imágenes, videos y audios, Silverman dijo que estas se están “integrando cada vez más en el ecosistema de la información”.

“Muchos de nosotros sabemos sobre los deepfakes, sobre las imágenes generadas por IA, pero eso no significa que todos sepamos cómo reconocerlas, y no significa que pensemos en eso cada vez que consumimos medios, y eso es algo en lo que la gente realmente se enfoca y explota”, dijo Silverman.

Para Carlos Eduardo Huertas, director de la plataforma de medios Connectas, el uso de la IA fue “esencial” durante las elecciones presidenciales de 2024 en Venezuela.

En un entorno de polarización política, se crearon dos iniciativas para contrarrestar las campañas de desinformación y censura del gobierno, dijo Huertas. El trabajo colaborativo de periodistas en todo el país resultó en las iniciativas Venezuela Vota y #LaHoraDeVenezuela.

Desde la reelección impugnada del presidente Nicolás Maduro, la inteligencia artificial ha ayudado a proteger la identidad de los periodistas sin comprometer la calidad de la información. El proyecto, llamado Operación Retuit, utiliza un par de avatares generados por IA conocidos como “La Chama” y “El Pana” para presentar noticieros verificados a las audiencias en redes sociales.

“Hemos puesto la inteligencia artificial al servicio de la inteligencia colectiva en un esfuerzo sin precedentes de periodismo colaborativo en la región”, dijo Huertas.

El uso de la IA, dijo Huertas, es una forma innovadora y segura de responder a un entorno en el que “la incertidumbre y el peligro aumentan cada minuto” para los periodistas.

Desde el lanzamiento de Operación Retuit, Huertas dijo que el contenido ha generado una respuesta positiva entre las audiencias y ha tenido una participación significativa, a pesar de las restricciones en Venezuela en torno a  la libertad de expresión.

“Cada nuevo seguidor es un ciudadano que sacamos de las arenas movedizas de la desinformación y que se expone a una variedad más diversa de medios para mantenerse informado”, dijo Huertas.

Responder al papel de la IA generativa en un panorama mediático en evolución requiere colaboración entre industrias, dijo Santiago Lyon, jefe de Defensa y Educación en la Iniciativa de Autenticidad del Contenido.

En el centro de este esfuerzo por restaurar la confianza y la transparencia en línea está la procedencia, que busca establecer los hechos básicos sobre el origen del contenido digital, dijo Lyon.

“La procedencia realmente trata de probar qué cosas son, en lugar de detectar qué es falso”, dijo Lyon.

Para combatir este desafío, Lyon presentó el concepto de Credenciales de Contenido, una “etiqueta nutricional” a prueba de manipulaciones para el contenido en línea que comunica el origen y el historial de interacción del contenido en un formato interactivo.

Lyon dijo que la iniciativa funciona en cada etapa de la cadena de suministro digital, desde la creación hasta la difusión. Esto implica la colaboración con fabricantes de hardware para establecer el origen de un archivo al momento de su creación, herramientas de edición de imágenes para crear un historial digital de ediciones y la gestión de contenido.

La tecnología de código abierto es desarrollada por la Coalición para la Procedencia y Autenticidad del Contenido. Lyon dijo que, aunque varias organizaciones, incluidas Adobe, Google y Meta, están comenzando a implementar las Credenciales de Contenido, la iniciativa sigue enfatizando la educación de la audiencia y de los responsables de formular políticas.

“No estamos tratando de ser los árbitros de la verdad aquí”, dijo Lyon. “Lo que intentamos hacer es proporcionar información adicional para que los consumidores de noticias o, en realidad, cualquier otra cosa en línea, puedan tomar decisiones mejor informadas sobre en qué confiar”.

Claire Leibowicz, jefa de IA e Integridad Mediática en la Partnership on AI, planteó la cuestión de cómo la política de IA podría apoyar a los medios como registradores de la realidad.

Reconociendo el creciente número de políticas que requieren el etiquetado del contenido generado por IA, Leibowicz dijo que a menudo no incluían orientación para las organizaciones de medios sobre cómo implementar estas etiquetas.

En 2023, la asociación lanzó un marco para crear y distribuir medios sintéticos de manera responsable. Reuniendo a 10 socios de medios de comunicación y sociedad civil, los grupos fueron encargados de crear estudios de caso sobre cómo se implementaron las pautas en sus respectivas organizaciones.

Leibowicz destacó ejemplos de cómo se está utilizando la IA en CBC News, que decidió no usar IA para ocultar la identidad de las fuentes, y en BBC News, que utilizó tecnología de intercambio de rostros para anonimizar fuentes.

Si bien ambas organizaciones de noticias proporcionaron explicaciones sobre sus respectivas decisiones, Leibowicz dijo que este ejemplo en particular complicaba la cuestión de la divulgación de IA como algo completamente neutral.

“Simplemente divulgar la presencia de IA es una forma imprecisa de transparencia para las audiencias”, dijo Leibowicz. “Se necesita un contexto más rico sobre de dónde proviene algo, cómo se hizo, más allá de si se usó o no una determinada tecnología”.

Quigley concluyó el panel con una pregunta sobre si los panelistas eran optimistas respecto a ganar una “batalla” de confianza en una era en la que la información no confiable invade el panorama mediático.

Lyon dijo que veía una gran oportunidad para que los periodistas explicaran mejor cómo funcionan las tecnologías de IA, para que los lectores y consumidores pudieran comprender cómo interactuar con ellas de manera más efectiva.

“Estamos en el comienzo de lo que será un camino muy largo”, dijo Lyon. “La IA no va a desaparecer”.

 

Catharine Li es estudiante de segundo año de relaciones internacionales y estudios globales en la Universidad de Texas en Austin. Es reportera senior de noticias para The Daily Texan, cubriendo seguridad pública, medio ambiente e inmigración.