Jordi González, catedrático de IA a la UAB, desglosa la polémica de Grok y la responsabilidad de las plataformas

La inteligencia artificial generativa ha sido estas últimas semanas de nuevo en el centro de la polémica con Grok, el chatbot integrado a X. Esta herramienta ha sido señalada para permitir la generación de imágenes pornográficas de personas reales, a menudo menores, sin su consentimiento. Esta situación ha generado una oleada de críticas y ha vuelto a situar en primera línea mediática el debate sobre los límites éticos de la IA y el papel que tienen que jugar, así como la responsabilidad legal, de las plataformas tecnológicas y de los organismos con poder legislativo.

Para tratar sobre este tema de rabiosa actualidad, hablamos con Jordi González Sabaté, catedrático de Inteligencia Artificial al Departamento de Ciencias de la Computación de la Universitat Autònoma de Barcelona (UAB) e investigador del Centro de Visión por Computador. Vinculado al CVC y a la UAB desde hace años, ejerce cargos de responsabilidad en la Escuela de Ingeniería, donde actualmente es fedatario y subdirector de ordenación académica, y ha sido el coordinador del Programa de Doctorado en Informática.

Un caso de abuso previsible

1. ¿Qué lectura haces de la reciente polémica de Grok y la generación de imágenes pornográficas?

"Creo que el caso Grok es relevante porque combina dos cosas muy potentes: generación de imágenes y distribución viral dentro de una red social. Cuando esto falla, el daño escala rápido, y el debate deja de ser sobre la libertad de expresión para pasar a ser sobre consentimiento, seguridad y responsabilidad de plataforma", explica González.

El catedrático está claro: "Es un caso claro de abuso previsible: cuando una herramienta permite sexualitzar personas a partir de imágenes, el riesgo de no-consentimiento y humillación es enorme. Y dentro de una red social, además, se viraliza. No es solo pornografía, es violencia digital basada en imagen".

González subraya una diferencia clave: "Una cosa es permitir contenido adulto consensuado en entornos controlados; otra es facilitar la creación de imágenes sexualitzades de personas reales sin consentimiento."

Libertat de expresión con responsabilidad

2. ¿El modelo de libertad de expresión que promueve Musk por Grok es compatible con las funcionalidades que ha mostrado la plataforma?

"La libertad de expresión no cubre el daño. Las imágenes íntimas no consentidas son una vulneración de derechos. Sí, hacen falta barreras", afirma González, que matitza: "Es compatible hablar de libertad de expresión si a la vez hay un diseño responsable. El que no es compatible es una libertad sin fricción cuando el sistema facilita abusos previsibles."

El profesor insiste que "las barreras no son censura genérica, son controles de riesgo", y pone ejemplos concretos: "Prohibir explícitamente la sexualització de personas reales, bloquear y tener moderación consistente."

El paywall no es la solución

3. La medida anunciada por Grok que solo permitirá la generación de imágenes a usuarios de pago, ¿es suficiente?

La respuesta de González es contundente: "No. El pago es una barrera económica, no un guardarraíl. Puede reducir volumen, pero no elimina el abuso. Quién quiere hacer daño puede pagar, y después redistribuir el contenido igualmente."

Además, apunta una crítica reputacional: "Ponerlo detrás de un paywall puede parecer monetizar el abuso. Si el objetivo es seguridad, el paywall es como poner una cerradura de plástico."

Retos técnicos: un juego adversarial

4. ¿Cuáles son los principales retos técnicos en la hora de distinguir contenido generado por IA de contenido real?

"Es un juego adversarial. Los generadores mejoran y los detectores se pueden engañar con compresión, recortes o re-grabación", explica González, que propone una estrategia múltiple: "Hay que combinar detección forense con proveniència (marcaje/etiquetado) y controles de plataforma."

El catedrático destaca el papel de la normativa europea: "En la UE, la AI Act establece obligaciones de transparencia y etiquetado para ciertos contenidos sintéticos con entrada en vigor de algunas obligaciones a partir del 2 de agosto de 2026."

Diseño responsable por capas

5. ¿Cómo se pueden diseñar modelos de IA responsables que minimicen estos riesgos?

González explica que hay que trabajar "con capas": "Política clara, filtros de entrada y salida, red-teaming, y respuesta rápida a incidentes. Responsable quiere decir seguro por defecto, no seguro si el usuario se lleva bien."

El professor detalla medidas concretas:

• Política explícita: prohibir sexualitzar personas reales y 'undressing'
• Clasificadores de intención y filtros de prompt
• Moderación de salida con modelos especializados
• Controles contra prompt-injection y iteración masiva
• Canal prioritario por víctimas y retirada rápida

"El problema del caso Grok es que se ha reportado moderación inconsistente según canal (X vs app/web), cosa que debilita cualquier política", añade.

Normas existen, falta control

6. ¿Las regulaciones actuales sobre IA son suficientes?

"Hacen falta normas y sobre todo aplicación efectiva. El marco existe, pero los casos enseñan vacíos y lentitud", responde González. "Las leyes pueden marcar obligaciones, pero si la enforcement es lento, el impacto para víctimas es inmediato."

El catedrático pone datos sobre la mesa: "Se generaban unas 7.000 imágenes sexualitzades cada hora durante las primeras 24 horas del año. Por eso hay que reforzar mecanismos rápidos."

Y concluye con una frase contundente: "Norma sin enforcement es papel mojado cuando el daño es real."

Responsabilidad proporcional al riesgo

7. ¿Qué responsabilidad tienen que asumir las compañías tecnológicas creadoras de herramientas como Grok?

"La responsabilidad tiene que ser proporcional al riesgo y a la capacidad de prevenirlo. Si puedes anticipar el abuso, tienes que poner controles. No vale decir 'es culpa del usuario' cuando tú has diseñado una herramienta que escala abusos dentro de una plataforma con viralidad."

González enumera las responsabilidades en términos prácticos:

• Prevención (guardrails)
• Detección (monitoratge i trusted flaggers)
• Respuesta (retirada rápida y transparencia)
• Reparación (vías para víctimas)

"En el caso Grok, advocacy groups han pedido incluso medidas de plataforma (app stores) argumentando que el paywall no es suficiente y que el problema es sistémico. Quién despliega capacidad de alto riesgo, asume deber de diligencia."

IA ética: impedir usos prevesibles de daño

8. ¿Qué medidas concretas se podrían implementar para una "IA ética"?

González resume los pilares de una IA ética en generación de imágenes:

• Política clara de no-consentimiento
• Guardrails fuertes
• Transparencia
• Resposta rápida

"Ética quiere decir impedir usos previsibles de daño, etiquetar contenido sintético cuando corresponda, y dar poder a víctimas para retirar."

---

Sobre Jordi González Sabaté

Jordi González Sabaté es catedrático de Inteligencia Artificial al Departamento de Ciencias de la Computación de la Universitat Autònoma de Barcelona (UAB) e investigador del Centro de Visión por Computador. Vinculado al CVC y a la UAB desde hace años, ha ejercido cargos de responsabilidad en la Escuela de Ingeniería, donde actualmente es fedatario y subdirector de ordenación académica, y ha sido el coordinador del Programa de Doctorado en Informática. Su investigación se centra en visión por computador, aprendizaje automático y los aspectos éticos de la inteligencia artificial.