Un modelo de lenguaje puede redactar un correo impecable y, a continuación, inventarse una referencia jurídica inexistente, todo en la misma conversación. Medir la fiabilidad de la inteligencia artificial exige ir más allá de la mera veracidad de las respuestas y analizar qué aspectos del propio diseño de estos sistemas producen resultados a veces útiles y a veces engañosos.
Fiabilidad de la IA en pruebas y en condiciones reales: una brecha infravalorada
La mayoría de los artículos sobre las limitaciones de la IA se centran en los errores visibles: una fecha incorrecta, una cifra inventada, una fuente inexistente. El marco de análisis del NIST (AI 600-1, perfil dedicado a la IA generativa) señala un problema más estructural: el rendimiento medido en el laboratorio no predice el comportamiento tras la implementación.
Un modelo puede obtener una puntuación alta en un conjunto de datos de prueba y, después, ofrecer resultados peores ante consultas formuladas de otra manera o en un contexto que sus datos de entrenamiento no contemplaban. Por este motivo, el NIST recomienda supervisar continuamente los sistemas en funcionamiento, no limitarse a validarlos inicialmente.
Esta distinción tiene consecuencias concretas. Una empresa que valida una herramienta de IA con una muestra controlada y luego la implementa a gran escala sin mecanismos de seguimiento se expone a un deterioro silencioso de los resultados. Para comprender mejor por qué la IA no es fiable, hay que ir más allá de la mera exactitud puntual.
Alucinaciones, sesgos y privacidad: riesgos identificados por el NIST
El perfil AI 600-1 del NIST no se limita a los errores factuales. Distingue varias categorías de riesgos que afectan a la fiabilidad de un sistema de IA generativa, incluso cuando la respuesta parece correcta a primera vista.
| Tipo de riesgo | Descripción | Consecuencia para el usuario |
|---|---|---|
| Invención de información (confabulación) | El modelo genera hechos, citas o referencias inexistentes | Decisiones basadas en datos falsos |
| Sesgos heredados de los datos de entrenamiento | Los resultados reproducen desequilibrios presentes en el corpus | Discriminación en la contratación, el crédito y la salud |
| Vulneración de la privacidad | El modelo puede reproducir datos personales incorporados durante el entrenamiento | Vulneración de la privacidad sin que el usuario sea consciente de ello |
| Imposibilidad de rastrear la procedencia | No hay una forma fiable de verificar de dónde procede la información generada | Imposibilidad de auditar o impugnar un resultado |
Una respuesta plausible puede ser problemática incluso sin errores factuales visibles si utiliza datos personales o no permite rastrear su origen. Este aspecto sigue recibiendo poca atención en las guías para el público general sobre las limitaciones de la IA.
Reglamento europeo de IA: la fiabilidad como obligación, no como recomendación
El Reglamento europeo de IA (AI Act) entró en vigor el 1 de agosto de 2024. Su aplicación es progresiva: las obligaciones de alfabetización en IA y algunas prohibiciones se aplican desde el 2 de febrero de 2025, mientras que las normas relativas a los modelos de IA de uso general entrarán en vigor en agosto de 2025.
Este enfoque basado en niveles de riesgo cambia las reglas del juego. Una herramienta de IA utilizada para filtrar candidaturas o asignar una puntuación crediticia no está sujeta al mismo régimen que un chatbot de atención al cliente. Las obligaciones de transparencia, documentación y supervisión humana aumentan en función del nivel de riesgo asignado.
Qué exige concretamente el marco regulatorio
- Los sistemas clasificados como de alto riesgo (salud, contratación, justicia) deben someterse a una evaluación de conformidad antes de comercializarse, que incluya la documentación de los datos de entrenamiento y las medidas contra los sesgos
- Los proveedores de modelos de IA de uso general deberán cumplir obligaciones de transparencia sobre los datos utilizados y las limitaciones conocidas del sistema
- Los usuarios profesionales de sistemas de alto riesgo deben establecer una supervisión humana y notificar los fallos graves
Por tanto, la normativa aborda la fiabilidad como una cuestión de gobernanza y responsabilidad, no solo como un problema técnico de rendimiento del modelo.
Adopción empresarial: la brecha entre disponer de una herramienta y saber utilizarla
En Francia, solo el 10 % de las empresas con 10 empleados o más utilizaba al menos una tecnología de IA en 2024, frente al 6 % del año anterior. Este rápido crecimiento oculta un problema: disponer de una herramienta no significa saber utilizarla de forma fiable.
Que un empleado curioso haga una prueba por su cuenta no constituye un proceso. Sin un protocolo para verificar los resultados, sin formación sobre las limitaciones del modelo y sin normas claras sobre qué datos se pueden enviar o no a una herramienta de terceros, la adopción sigue siendo frágil. El riesgo ya no es solo obtener una respuesta incorrecta, sino tener una confianza mal calibrada en resultados que no se han verificado.
Verificación de los resultados: lo que suele faltar
El NIST recomienda verificar sistemáticamente las fuentes y citas generadas por un modelo generativo. En la práctica, esta verificación rara vez se integra en los procesos de trabajo. Un empleado que utiliza un asistente de IA para redactar un resumen o preparar una decisión no siempre tiene la costumbre ni el tiempo de comprobar cada afirmación.
El problema se agrava en ámbitos donde los errores tienen consecuencias importantes: salud, derecho y finanzas. En estos sectores, la supervisión humana no es un lujo, sino una condición indispensable para el funcionamiento.
La fiabilidad de la inteligencia artificial no se reduce a una tasa de error en una prueba de referencia. Depende de la calidad de los datos de entrenamiento, el contexto de implementación, el nivel de supervisión humana y el marco regulatorio que rige su uso. Al imponer obligaciones proporcionales al riesgo, el reglamento europeo formaliza lo que confirma la experiencia sobre el terreno: un modelo que funciona bien en condiciones controladas puede convertirse en una fuente de decisiones erróneas si no cuenta con una gobernanza adecuada.
