¿Quién responde cuando una empresa perjudica a un cliente con inteligencia artificial?

Cuando una respuesta generada por inteligencia artificial causa un perjuicio, afirmar que “fue culpa de la IA” no resuelve el problema. Un sistema puede inventar datos, interpretar mal una instrucción, confundir información o producir una respuesta aparentemente correcta que resulta inadecuada para el contexto.

Sin embargo, la herramienta no decide por sí misma ser utilizada, no escoge los datos que recibe ni define el proceso empresarial en el que interviene. Las decisiones relevantes corresponden a las personas o empresas que seleccionan la tecnología, establecen sus reglas de uso y permiten que interactúe con clientes, empleados u otros usuarios.

Ejemplo hipotético: una empresa incorpora un asistente automatizado para responder consultas sobre entregas, cambios y devoluciones. El sistema informa erróneamente que una condición comercial aplica a un cliente cuando en realidad no corresponde. Si esa persona toma una decisión basándose en la respuesta y posteriormente enfrenta un perjuicio, el problema no se limita a corregir el mensaje: la empresa debe investigar qué ocurrió, revisar el proceso y responder ante el reclamo.

El punto de fondo es que los errores de la IA son previsibles y deben gestionarse. No se trata de prometer que un modelo nunca fallará, sino de contar con mecanismos para detectar respuestas inadecuadas, corregirlas, explicar lo sucedido y reducir la posibilidad de que el mismo incidente se repita.

La adopción de inteligencia artificial, por tanto, no equivale a delegar completamente la responsabilidad. Una organización que utiliza un chatbot, un asistente o un sistema automatizado debe decidir qué tareas puede realizar la herramienta, qué información puede consultar, qué resultados requieren validación humana y qué procedimiento se aplicará cuando aparezca una señal de error.

La responsabilidad corresponde a quienes implementan la tecnología

La responsabilidad por el uso de una herramienta de IA no puede trasladarse a la propia tecnología. El sistema no tiene capacidad para asumir obligaciones ni para decidir en qué proceso se utiliza. Quienes implementan la solución son quienes determinan su finalidad, sus límites, los datos que recibe, las instrucciones que sigue y el grado de supervisión que tendrá.

Por ello, las organizaciones necesitan establecer criterios claros sobre varios aspectos:

Cómo se empleará la inteligencia artificial dentro de cada proceso.
Qué información podrá recibir el sistema.
Qué tareas puede apoyar y cuáles no debe ejecutar de manera autónoma.
Qué respuestas o acciones requieren revisión humana.
Quién puede detener la operación cuando se detecta un riesgo.
Cómo se registrará, corregirá y analizará un incidente.

La formación de los equipos también es necesaria. Una respuesta redactada con seguridad y fluidez no es necesariamente correcta. Las personas encargadas de supervisar resultados deben poder identificar señales de incertidumbre, contrastar información relevante y escalar los casos que excedan los límites previstos para la herramienta.

La supervisión humana debe ser efectiva. Aprobar automáticamente una respuesta sin revisarla no constituye un control real. La persona responsable necesita conocer el proceso, tener autoridad para corregir el resultado y saber cuándo detener una interacción o solicitar una revisión adicional.

Qué controles ayudan a gestionar los fallos de IA

Una organización no necesita esperar a que ocurra un incidente para definir cómo responderá. La prevención comienza con una visión clara de los sistemas que utiliza y de los procesos en los que intervienen.

Un primer paso útil es crear un inventario operativo. Este registro puede incluir el nombre de la herramienta, el área responsable, el propósito de uso, las fuentes de información consultadas, las acciones que puede realizar y los límites que no puede superar. El inventario permite detectar, además, si distintas áreas han incorporado soluciones de IA sin una evaluación común de sus riesgos.

Después, conviene clasificar los usos según el impacto que podría causar un error. No presenta el mismo nivel de exposición una herramienta que prepara borradores internos que otra que responde directamente a clientes, comunica condiciones comerciales o ejecuta acciones en sistemas empresariales.

Riesgo bajo: tareas de apoyo, redacción o clasificación que una persona revisa antes de utilizar.
Riesgo intermedio: respuestas dirigidas a usuarios, clasificación de solicitudes o recomendaciones que pueden influir en una decisión.
Riesgo alto: procesos en los que una respuesta incorrecta puede causar un perjuicio relevante o en los que la herramienta actúa sin una revisión suficiente.

Esta clasificación es una guía de gestión. Su objetivo es asignar controles proporcionales al posible impacto de cada uso. Una herramienta que redacta una respuesta para revisión humana puede requerir un flujo distinto al de un sistema que envía información directamente a un cliente.

Ejemplo hipotético: una empresa utiliza un asistente para responder consultas sobre contratos. Si el sistema identifica una pregunta relacionada con una excepción, una penalidad o una reclamación, puede limitarse a preparar un borrador para que lo revise una persona especializada. Si, en cambio, responde automáticamente con una condición que no figura en la documentación vigente, la empresa debería corregir la información, registrar el incidente y revisar por qué el sistema pudo generar esa respuesta.

La importancia de registrar y corregir los incidentes

La corrección inmediata es importante, pero no siempre basta. Para investigar un fallo y determinar cómo evitar su repetición, puede ser necesario conservar evidencia de lo ocurrido.

Según el proceso y el nivel de riesgo, una organización puede registrar la instrucción utilizada, los datos de entrada relevantes, la respuesta generada, la versión del sistema, la fecha de operación, la persona que revisó el resultado y las medidas adoptadas después del incidente.

Estos registros no garantizan que nunca exista un perjuicio. Su valor está en permitir reconstruir lo sucedido, identificar si existían controles suficientes y comprobar si el problema se originó en datos desactualizados, instrucciones ambiguas, una configuración deficiente o una falta de supervisión.

Cuando aparece un error, la respuesta puede organizarse en cuatro momentos:

Contener el problema: detener o limitar la función que generó la respuesta incorrecta cuando sea necesario.
Corregir la información: revisar el caso, rectificar la respuesta y atender a la persona afectada.
Analizar la causa: determinar qué condiciones permitieron que el error llegara al usuario.
Mejorar el procedimiento: ajustar instrucciones, datos, permisos, revisiones o rutas de escalamiento para reducir la repetición.

El monitoreo tampoco termina cuando una solución entra en funcionamiento. Las organizaciones deben revisar periódicamente muestras de resultados, identificar patrones de error y comprobar que la información utilizada sigue siendo adecuada para el proceso.

Adopción gradual de IA en pequeñas y medianas empresas

Para una pequeña o mediana empresa, implementar inteligencia artificial no debería comenzar con la pregunta de qué herramienta está de moda, sino con una cuestión más concreta: qué problema se busca resolver y qué ocurriría si el sistema se equivoca.

Una adopción gradual puede empezar por usos acotados, como resumir documentos, clasificar solicitudes internas o preparar borradores que un empleado revisa antes de enviar. En cambio, responder sobre precios, devoluciones, contratos, garantías, reclamos o compensaciones exige controles más estrictos porque una respuesta incorrecta puede afectar directamente a una persona.

Definir el objetivo: describir qué tarea se desea mejorar, quién utilizará el sistema y cuál será el resultado esperado.
Delimitar las tareas: separar las acciones que la herramienta puede realizar de aquellas que requieren autorización o revisión humana.
Seleccionar la información: establecer qué datos puede consultar el sistema y qué información no debe compartirse.
Asignar responsables: identificar quién configura la herramienta, quién supervisa su uso diario y quién interviene ante errores.
Probar antes de escalar: realizar pruebas controladas con consultas habituales, casos ambiguos y situaciones de excepción.
Capacitar al equipo: enseñar a contrastar respuestas, reconocer incertidumbres y reportar incidentes.
Crear una ruta de escalamiento: permitir que los usuarios soliciten atención humana cuando cuestionen una respuesta o informen un posible perjuicio.

El tamaño de una organización puede modificar la escala de los controles, pero no elimina la necesidad de definir límites y responsables. Una empresa con pocos procesos automatizados puede aplicar medidas sencillas; una organización que atiende a numerosos clientes o utiliza IA en procesos sensibles necesitará revisiones más amplias y permisos mejor definidos.

La confianza del usuario depende de la respuesta de la empresa

La confianza no se protege prometiendo que la inteligencia artificial nunca fallará. Se protege demostrando que la organización sabe prevenir, detectar, corregir y explicar los fallos cuando ocurren.

Los usuarios pueden comprender que una tecnología no es perfecta. Lo que puede deteriorar la confianza es que una empresa utilice la IA como explicación para eludir sus propias decisiones: haber elegido la herramienta, haberla incorporado a un proceso, haber definido sus reglas y haber determinado el nivel de supervisión.

Cuando una persona recibe información incorrecta, debería contar con una vía clara para solicitar una revisión humana. La empresa, por su parte, debería poder analizar el caso, corregir la respuesta cuando corresponda, evaluar el incidente y adoptar medidas para evitar que el problema se repita.

Preguntas frecuentes

¿La empresa puede atribuir el error directamente a la IA?

No debería utilizar la herramienta como explicación para eludir sus propias decisiones. El sistema puede ser la fuente técnica de una respuesta equivocada, pero la empresa decidió implementarlo, configurarlo y utilizarlo dentro de un proceso. La responsabilidad concreta dependerá de las circunstancias de cada caso, pero la gestión del incidente corresponde a la organización que opera el sistema.

¿Es necesario revisar absolutamente todas las respuestas generadas por IA?

No necesariamente. La supervisión debe ser proporcional al impacto posible. Una herramienta que prepara un borrador interno puede requerir una revisión distinta a la de un sistema que comunica condiciones relevantes a clientes o responde sobre reclamos. Lo esencial es que exista un control adecuado para el riesgo del proceso.

¿Qué debe hacer una empresa cuando detecta una respuesta incorrecta?

Debe revisar el caso, corregir la información cuando sea necesario, atender a la persona afectada, registrar el incidente y analizar qué cambio puede evitar que el mismo problema vuelva a ocurrir. Dependiendo del caso, puede ser necesario detener temporalmente la función automatizada mientras se revisan sus instrucciones, datos o límites de acción.

¿Por qué es importante conservar evidencia del funcionamiento del sistema?

Los registros permiten reconstruir lo sucedido. Conservar elementos como la instrucción, los datos relevantes, la respuesta, la versión del sistema, la fecha y las medidas posteriores ayuda a investigar un incidente y a determinar si los controles funcionaron correctamente.

La conclusión no es dejar de utilizar inteligencia artificial, sino utilizarla con límites comprensibles y responsabilidad verificable. Las organizaciones que incorporen estas herramientas deberían empezar por procesos acotados, formar a sus equipos, establecer supervisión humana y definir una ruta clara para responder ante los errores.

Conoce las soluciones de Innovación IA para evaluar usos de inteligencia artificial en procesos empresariales.

Fuente: artículo original.