La inteligencia artificial y la actividad administrativa automatizada

El Reglamento de IA (UE) 2024/1689 fija un marco común: prácticas prohibidas, requisitos para sistemas de alto riesgo, reglas para modelos GPAI, transparencia/etiquetado y régimen sancionador.

En España, la STS 11-09-2025 (caso BOSCO) consolida la transparencia algorítmica como principio estructural: el código y la lógica que soportan decisiones automatizadas son información pública, con límites proporcionales.

Clave para AA.PP.: gobernanza, evaluación de impacto en derechos, supervisión humana efectiva, trazabilidad y contratos tecnológicos con obligaciones de apertura y auditoría.

1) AI Act: el marco europeo que ya condiciona la práctica administrativa

1.1 Conceptos esenciales

Objetivo doble: adopción de IA fiable y centrada en las personas + protección elevada de salud, seguridad y derechos fundamentales (Carta DFUE).
Cobertura amplia: sistemas máquina-basados, con distintos niveles de autonomía y capacidad de adaptación, que generan salidas (predicciones, contenidos, decisiones) con impacto físico o digital.

1.2 Prácticas prohibidas (art. 5)

Manipulación subliminal o deliberadamente engañosa que merme la decisión informada.
Explotación de vulnerabilidades (edad, discapacidad, situación socioeconómica).
Social scoring por autoridades públicas.
Evaluaciones de riesgo delictivo basadas solo en perfiles.
Scraping masivo para bases de reconocimiento facial; inferencia de emociones en trabajo/escuela; categorización biométrica sensible.
Identificación biométrica remota en tiempo real en espacios públicos (salvo excepciones muy tasadas).

1.3 Sistemas de alto riesgo

Evaluación de conformidad previa, calidad de datos (train/validate/test), transparencia suficiente para responsables del despliegue (art. 13) y supervisión humana efectiva (art. 14).
Regla “cuatro ojos”: en ciertos usos, dos personas deben verificar por separado identificaciones antes de decidir.
Evaluación de Impacto en Derechos Fundamentales (art. 27) para AA.PP. y prestadores de servicios públicos: describir proceso, colectivos afectados, riesgos, medidas de supervisión y planes de contingencia.

1.4 Modelos de uso general (GPAI) y riesgo sistémico

Clasificación por capacidades de gran impacto.
Obligaciones: documentación técnica del entrenamiento y pruebas; información suficiente a integradores, respetando secretos y PI; cooperación con la Oficina de IA.

1.5 Transparencia “reaccional” y etiquetado

Deber de informar interacción con IA.
Marcado legible por máquina para contenido sintético (audio/imagen/vídeo/texto) y divulgación de ultra-suplantaciones (deepfakes) por quienes despliegan.

1.6 Sanciones (art. 99)

Hasta 15 M€ o 3% de facturación mundial (según el caso), con graduación por gravedad, alcance, cooperación y medidas mitigadoras.

2) Territorialidad: el reto práctico

La eficacia del AI Act choca con ecosistemas globales: proveedores y cadenas de valor extra-UE.
Implicación: AA.PP. deben exigir contractualmente cumplimiento equivalente, auditorías y localización/transferencias de datos conforme a Derecho UE, incluso cuando la solución sea “off-shore”.

3) Transparencia algorítmica en España: doctrina BOSCO (STS 11-09-2025)

El Supremo reconoce la transparencia algorítmica como derivación del art. 105.b) CE y la democracia digital: los ciudadanos deben poder conocer y fiscalizar la lógica de decisiones automatizadas.
Código fuente y lógica son información pública cuando soportan potestades administrativas, con límites proporcionados (seguridad, PI, protección de datos) y medidas alternativas (acceso parcial, auditoría supervisada, anonimización).
Efecto práctico: los argumentos genéricos de “seguridad” o “propiedad intelectual” ya no bastan para negar el acceso.

4) Qué significa para las Administraciones y su contratación tecnológica

4.1 Gobernanza y cumplimiento

Política de IA institucional (casos de uso permitidos, evaluación de riesgo, roles).
Registro de sistemas y versionado de modelos; trazabilidad end-to-end (datos, reglas, cambios).
Supervisión humana documentada (quién, cuándo, cómo interviene; evidencia de revisión).

4.2 Evaluaciones y transparencia

EIDF obligatoria en alto riesgo: colectivos, riesgos, medidas, planes de respuesta.
Información al ciudadano: aviso de uso de IA, motivación reforzada y canal de impugnación con revisión humana significativa.
Etiquetado de contenido sintético y gestión de deepfakes.

4.3 Contratación pública “AI-ready”

Incluye en pliegos y contratos:

Acceso/auditoría a código, artefactos y logs (o tercería independiente).
Garantías de datos (origen, licencias, sesgos, calidad) y seguridad.
Métricas y KPIs de rendimiento/robustez; red teaming y ciclo de mejora continua.
Cláusulas de transparencia (resúmenes del entrenamiento, límites de uso, watermarking).
Remedios por incumplimiento (correcciones, suspensiones, penalidades).

5) Plan de 90 días para pasar de teoría a práctica

Día 0–30

Crear Comité de IA (Jurídico, TI, Datos, Seguridad, Servicio afectado).
Inventariar sistemas con cualquier automatización decisoria.
Publicar aviso de uso de IA y canal de revisión.

Día 31–60

Ejecutar EIDF en casos alto riesgo; documentar supervisión humana.
Ajustar contratos activos con anexos de transparencia y auditoría.
Diseñar procedimiento de impugnación con motivación ampliada.

Día 61–90

Implantar marcado de contenidos sintéticos; manual de comunicaciones.
Ensayar respuesta a incidentes (hallazgo de sesgo, fallo, deepfake).
Publicar transparencia proactiva: fichas de sistemas y versiones.

6) FAQ exprés

¿Siempre debo publicar el código?
No siempre. Pero tras BOSCO, debes justificar cualquier restricción y ofrecer medidas alternativas (acceso parcial, auditoría, inspección bajo control).

¿Qué cuenta como “supervisión humana efectiva”?
Capacidad real de detener/corregir decisiones, con autoridad, formación y evidencias (logs, “dos pares de ojos” donde aplique).

¿Y si el proveedor es extra-UE?
Exige en contrato equivalencia AI Act, ubicación de datos compatible, auditorías, y remedios por incumplimiento.

Disfruta de más contenido sobre tecnología aplicada al Sector Legal

Este blog solo recoge una muestra resumida del contenido que puedes encontrar en el sexto número de la Revista Digital «ELEX INSIGHT«. Para acceder a todos los números de forma gratuita, visita el siguiente enlace:

ELEX INSIGHT – Revista Digital

Revista Digital OCTUBRE 2025

🡡 Haz clic para leer 🡡

Si deseas descubrir cómo la inteligencia artificial de ELEX puede transformar tu práctica legal, solicita ahora una DEMO a través de este enlace o programa una reunión con nuestros expertos para aclarar cualquier duda que puedas tener al respecto.

Solicitar DEMO