El filtro que decide si un modelo generativo cae en una prohibición
El artículo 5, apartado 1 bis, del Reglamento de IA delimita cuándo un sistema capaz de generar imágenes entra en las dos prohibiciones nuevas del artículo 5.1 —las letras b bis) y b ter)— y cuándo se queda fuera. Lo insertó el Reglamento (UE) 2026/1744, el Ómnibus digital sobre IA, y se aplica desde el 2 de diciembre de 2026. En una frase: tener un modelo capaz de generar ese material no está prohibido; lo está introducirlo en el mercado cuando esa generación sea su finalidad prevista, o cuando sea un resultado razonablemente previsible y reproducible y el sistema no lleve salvaguardias razonables ni forma de corregir el abuso detectado o notificado.
No se prohíbe la capacidad, se prohíbe la falta de control
Sin el apartado 1 bis, cualquier modelo de difusión competente caería dentro: si un sistema sabe componer un cuerpo humano, sabe componerlo desnudo. El considerando 12 del Ómnibus lo despeja: la prohibición «no debe impedir que los proveedores desarrollen las capacidades técnicas de los sistemas de IA para generar o manipular imágenes, vídeos, audios o material similar». El reproche se desplaza de la capacidad al gobierno de esa capacidad.
El texto, tal como quedó
El punto 7, letra b), del Ómnibus inserta en el artículo 5 este apartado. Su núcleo:
«a) la introducción en el mercado o la puesta en servicio de un sistema de IA que genere o manipule el material [...] solo estará prohibida cuando: i) dicha generación o manipulación sea la finalidad prevista del sistema de IA, o ii) el diseño, el entrenamiento, la arquitectura, las capacidades o las funcionalidades orientadas al usuario del sistema hagan que esa generación o manipulación sea un resultado razonablemente previsible y reproducible, sin requerir modificaciones técnicas sustanciales, y el sistema no disponga de medidas técnicas de seguridad razonables y adecuadas y de otras salvaguardias para evitar de forma fiable dicha generación o manipulación, tomando en consideración un uso indebido razonablemente previsible, ni para corregir el uso indebido observado o notificado».
El mismo punto añade un apartado 1 ter que acota qué es «manipular» a efectos de la letra b bis): no lo son los sistemas que modifican el material «en un modo que no aumente la exposición de ninguna parte íntima representada ni altere la naturaleza de ninguna actividad sexualmente explícita representada». Retocar el contraste de una imagen preexistente queda fuera; aumentar el nivel de exposición, no.
Qué material es «el material» se explica en las piezas sobre las apps de nudificación y sobre la prohibición de material de abuso sexual infantil. Aquí interesa el filtro.
Las dos ramas, enfrentadas
Antes de bajar al detalle conviene ver las dos vías una al lado de la otra, porque se confunden constantemente y solo una admite defensa:
| Rama i) · finalidad prevista | Rama ii) · resultado previsible y reproducible | |
|---|---|---|
| Qué la activa | Que generar o manipular ese material sea la finalidad prevista del sistema | Que el diseño, el entrenamiento, la arquitectura, las capacidades o las funcionalidades orientadas al usuario hagan que esa generación sea previsible y reproducible sin modificaciones técnicas sustanciales |
| Dónde se comprueba | En las instrucciones de uso, los materiales y declaraciones de promoción y venta y la documentación técnica (art. 3, punto 12) | En el producto: qué consigue un usuario corriente sin tocar el modelo (art. 3, punto 13) |
| ¿Salvan las salvaguardias? | No. Si esa es la finalidad prevista, no hay debate sobre medidas técnicas | Sí. La rama es acumulativa: solo cae si además el sistema carece de salvaguardias razonables y de forma de corregir el uso indebido |
| Qué hay que demostrar | Nada: se acredita con los propios materiales del proveedor | Que las medidas se ajustan al estado de la técnica y que reducen suficientemente la probabilidad, caso por caso |
Rama i): la finalidad prevista
La primera vía usa un término definido. «Finalidad prevista» es, según el artículo 3, punto 12, el uso para el que un proveedor concibe un sistema «según la información facilitada por el proveedor en las instrucciones de uso, los materiales y las declaraciones de promoción y venta, y la documentación técnica». No la fija una declaración de intenciones: una app cuya página de descarga promete «quitar la ropa de cualquier foto» tiene esa finalidad aunque sus condiciones digan lo contrario. Aquí no hay debate sobre salvaguardias.
Rama ii): cinco factores, y una conjunción decisiva
La segunda vía es la que afecta a los generadores de propósito general. Enumera cinco elementos por los que puede llegar la previsibilidad: diseño, entrenamiento, arquitectura, capacidades y funcionalidades orientadas al usuario. El último se suele pasar por alto: un modelo neutro envuelto en una interfaz con un botón de «retrato sin ropa» aporta la previsibilidad desde la capa de producto, no desde los pesos.
Y es acumulativa. Exige las dos cosas a la vez: que el resultado sea previsible y reproducible sin modificaciones técnicas sustanciales, y que el sistema no disponga de salvaguardias razonables y adecuadas. Un sistema en el que un usuario aplicado consigue el resultado, pero que lleva salvaguardias razonables, no está prohibido por esta vía. Esa «y» hace un trabajo enorme.
La cláusula «sin requerir modificaciones técnicas sustanciales» separa al proveedor del atacante. Si para llegar al resultado hay que reentrenar el modelo, sustituir el filtro o parchear el código, la generación deja de ser previsible en el sentido del apartado; si basta con reformular la petición o torcer el uso de la interfaz, sí lo es. El considerando 12 lo confirma al pedir que se tenga en cuenta «la elusión razonablemente previsible de las medidas preventivas sin modificaciones técnicas significativas». El listón es lo que puede hacer un usuario normal sin tocar el modelo, y encaja con otro término definido, «uso indebido razonablemente previsible» (artículo 3, punto 13).
Qué cuenta como salvaguardia razonable y adecuada
Las nueve familias del considerando 12
El articulado no da lista; el considerando 12 sí, con nueve familias: depuración de datos, entrenamiento de rechazo, diseño seguro de indicaciones (prompts), controles de resultados, barreras de indicaciones en tiempo de ejecución, clasificación y filtrado de contenidos, restricciones de uso, detección de abusos y mecanismos de notificación y acción.
El criterio de suficiencia, que va aparte
Las medidas deben ser «razonables para el sistema de IA específico» y se consideran adecuadas si se ajustan al estado de la técnica y si se demuestra que reducen de manera suficiente, en cada caso concreto, la probabilidad de generar ese material. No hay estándar único, y la carga de la demostración es del proveedor: un filtro instalado y nunca medido no acredita nada.
La mitad que casi nadie lee: corregir lo que ya ha pasado
El apartado no termina en la prevención. Exige salvaguardias para evitar la generación y para «corregir el uso indebido observado o notificado»: dos obligaciones distintas. Para los proveedores con control efectivo sobre el sistema —«por ejemplo, a través de una plataforma o una interfaz web»—, el considerando 12 apunta a métodos de seguimiento y notificación de usos indebidos, respetando el Derecho de la Unión en privacidad y protección de datos. Traducido a producto: canal de aviso, procedimiento con plazos y registro de lo corregido.
El código abierto no queda fuera
Circula lo contrario, así que conviene despejarlo. El artículo 2, apartado 12, del Reglamento exime a los sistemas divulgados con licencias libres y de código abierto, pero «a menos que [...] entren en el ámbito de aplicación del artículo 5 o del artículo 50». Lo que sí cambia con la forma de distribuir es qué se considera razonable: el considerando 12 pide medidas correctoras razonables «teniendo en cuenta el sistema de IA específico, incluida su estrategia de divulgación y distribución (como las divulgaciones de código abierto)». Distinto listón, no ausencia de listón.
Quien usa el sistema responde por otra puerta
La letra b) del mismo apartado invierte la lógica para el responsable del despliegue: usar el sistema solo está prohibido «cuando el responsable del despliegue utilice el sistema con el fin de generar o manipular dicho material». Manda la intención, no el diseño. La generación accidental no convierte a nadie en infractor; eludir las medidas preventivas o emplear con ese propósito un sistema lícito, sí. Y el desplegador no se salva porque el proveedor no pusiera salvaguardias: son responsabilidades separadas, y el resto de las suyas está en las obligaciones del responsable del despliegue.
Cómo aplicar el filtro a tu producto
Cuatro preguntas, en este orden, y con respuesta escrita. Copia la ficha y guárdala fechada: es la evidencia que tendrás que enseñar si alguien te pregunta por qué tu sistema queda fuera.
| Pregunta | Dónde se responde | Tu respuesta, con fecha |
|---|---|---|
| 1. ¿Es esa generación la finalidad prevista? | Instrucciones de uso, documentación técnica y materiales de promoción y venta, que es donde también mira el art. 3, punto 12 | [SÍ / NO + DOCUMENTOS REVISADOS] |
| 2. ¿Un usuario puede llegar al resultado y repetirlo sin tocar el modelo? | Prueba real: intento de elusión con medios de usuario corriente y acta de lo ocurrido | [SÍ / NO + ACTA Nº Y FECHA] |
| 3. ¿Puedes demostrar que tus medidas reducen suficientemente la probabilidad y están al nivel del estado de la técnica? | Mediciones propias, con evidencia fechada | [MÉTRICA / RESULTADO / FECHA] |
| 4. ¿Hay canal de notificación y procedimiento de corrección proporcionados a tu forma de distribuir? | Producto y operaciones | [CANAL / PLAZO DE RESPUESTA / REGISTRO] |
Si aún no has situado tus sistemas por nivel de riesgo, el clasificador de riesgo del AI Act es el paso previo. El calendario y las obligaciones por rol están en la guía de cumplimiento del AI Act, dentro del área de cumplimiento normativo, y la panorámica de las diez prácticas prohibidas sitúa el artículo 5 completo.
Preguntas frecuentes
¿Qué es el artículo 5.1 bis del AI Act?
El apartado que el Reglamento (UE) 2026/1744 insertó en el artículo 5 del Reglamento de IA para delimitar el alcance de las prohibiciones nuevas, las letras b bis) y b ter). Fija cuándo queda prohibido introducir en el mercado o poner en servicio un sistema generativo y cuándo lo queda usarlo. Se aplica desde el 2 de diciembre de 2026.
¿Un modelo generativo de propósito general está prohibido por poder generar ese material?
No por poder generarlo: el considerando 12 dice que la prohibición no impide desarrollar esas capacidades técnicas. Entra si esa generación es su finalidad prevista, o si es un resultado previsible y reproducible sin modificaciones técnicas sustanciales y el sistema carece de salvaguardias razonables y de mecanismo de corrección.
¿Qué salvaguardias técnicas exige el apartado 1 bis?
El articulado no las enumera. El considerando 12 cita depuración de datos, entrenamiento de rechazo, diseño seguro de indicaciones, controles de resultados, barreras en tiempo de ejecución, filtrado de contenidos, restricciones de uso, detección de abusos y mecanismos de notificación y acción. Han de ser razonables para el sistema concreto, ajustarse al estado de la técnica y demostrarse eficaces caso por caso.
¿Los sistemas de código abierto quedan exentos?
No en lo que toca al artículo 5: la exención del artículo 2, apartado 12, excluye de forma expresa los sistemas que entran en su ámbito. Lo que varía es qué medidas correctoras resultan razonables.
Fuentes
- Reglamento (UE) 2026/1744 (Ómnibus digital sobre IA), punto 7, letra b), que inserta los apartados 1 bis y 1 ter en el artículo 5 del Reglamento (UE) 2024/1689; punto 40, que fija su aplicación el 2 de diciembre de 2026 al modificar el artículo 113, párrafo tercero, letra a); y considerandos 10, 11 y 12.
- Reglamento (UE) 2024/1689: artículo 2, apartado 12; artículo 3, puntos 12 y 13; artículos 5 y 113.
Herramientas gratuitas relacionadas
Sin registro y con fuentes oficiales. Comprueba tu caso en 2 minutos.