Indonesia y Malasia abren la veda regulatoria global contra la IA Grok de Elon Musk por contenido sexual falso

Indonesia se convirti el sbado en el primer pas del mundo en bloquear oficialmente el acceso al chatbot Grok, desarrollado por la empresa xAI de Elon Musk, debido al riesgo de generacin de contenido pornogrfico falso mediante inteligencia artificial. Apenas un da despus, otro pas del Sudeste Asitico, Malasia, anunci que haba adoptado una medida similar, marcando un precedente regulatorio frente a los abusos de la IA generativa.

“La prctica de deepfakes sexuales no consentidos representa una grave violacin de los derechos humanos, la dignidad y la seguridad de los ciudadanos en el espacio digital”, seal el Ministerio de Comunicacin y Asuntos Digitales de Indonesia en un comunicado. “Para proteger a las mujeres, los nios y al pblico en general de los riesgos del contenido pornogrfico falso generado mediante tecnologa de IA, hemos decidido bloquear temporalmente el acceso a la aplicacin Grok”, aadi el organismo, dejando abierta la puerta a una eventual revisin si se implementan salvaguardas adecuadas.

Por su parte, la Comisin de Comunicaciones y Multimedia de Malasia afirm que la decisin se produjo tras “el uso indebido reiterado de Grok para generar imgenes manipuladas obscenas, sexualmente explcitas, indecentes, groseramente ofensivas y no consensuadas”. El regulador malasio critic especialmente que la IA integrada en la red social X -propiedad tambin de Musk- mantuviera activa su controvertida funcin de creacin de imgenes, que permite actualmente a usuarios de pago sexualizar fotografas de mujeres y menores, incluso a partir de imgenes reales.

Las medidas adoptadas por Indonesia y Malasia representan las primeras prohibiciones formales contra el sistema de IA desarrollado por xAI. Pero la polmica en torno a Grok se ha extendido tambin a Occidente, especialmente a Reino Unido, donde las autoridades han asegurado que evalan posibles sanciones adicionales e incluso la opcin extrema de bloquear por completo la plataforma X si no se controla el uso de esta tecnologa.

El origen de la controversia se remonta a finales de diciembre, cuando usuarios de la red social comenzaron a explotar la funcin de generacin de imgenes de Grok para producir deepfakes sexuales, en muchos casos a partir de fotografas reales de personas que no haban otorgado su consentimiento. En cuestin de das, la herramienta fue utilizada para crear imgenes sexualizadas o desnudos falsos de mujeres e incluso de menores, lo que provoc una oleada de crticas por parte de gobiernos, organizaciones civiles y expertos en derechos digitales.

La respuesta inicial de la empresa de Musk fue muy cuestionada. En lugar de desactivar o redisear de inmediato la funcin problemtica, xAI opt por restringir la generacin y edicin de imgenes a usuarios de pago, una decisin que muchos gobiernos y expertos consideraron insuficiente y contraproducente.

El primer ministro britnico, Keir Starmer, calific la creacin de imgenes sexuales no consentidas mediante IA como “repugnante e ilegal”, y orden al regulador del pas evaluar si corresponde una intervencin ms amplia, incluyendo la posibilidad de bloquear X si no se introducen controles efectivos sobre Grok.

Un organismo de vigilancia del Reino Unido, la Internet Watch Foundation (IWF), inform adems que haba detectado usuarios de la deep web compartiendo lo que describi como “imgenes criminales” creadas con Grok, incluyendo representaciones de nias menores de edad prcticamente desnudas. La IWF tambin denunci que la herramienta haba sido utilizada para “desnudar” virtualmente a mujeres en fotografas en las que vestan ropa religiosa modesta, como hiyabs, saris o hbitos de monjas, lo que aadi una dimensin de discriminacin cultural y religiosa al escndalo.

Musk critic la postura del Gobierno britnico rechazando cualquier intento de restriccin como una forma de “censura”. Sin embargo, la presin regulatoria contina aumentando.

En Francia se ha presentado una denuncia penal por la creacin de imgenes pornogrficas no consensuadas mediante IA. Desde Estados Unidos, varios senadores demcratas solicitaron formalmente a Apple y Google que retiren la aplicacin Grok y la plataforma X de sus tiendas de aplicaciones hasta que se implementen mecanismos de seguridad y moderacin adecuados.

La nueva polmica en torno Grok ha vuelto a poner de manifiesto un problema ms amplio: la velocidad del desarrollo de herramientas de IA supera los marcos regulatorios existentes. Organizaciones de derechos digitales y acadmicos han pedido normas internacionales ms claras, mejores estndares de moderacin automtica y responsabilidad directa de las empresas que desarrollan tecnologas que facilitan la generacin de deepfakes o contenidos sexualizados partiendo de imgenes reales.

Ahora, la decisin pionera de Indonesia y Malasia de bloquear Grok podra marcar el inicio de una nueva fase de regulacin ms firme frente a los abusos de la IA generativa.