Lo Que Tu IA No Tiene Permiso Para Decidir
Safe AI en un despliegue real son cuatro reglas sobre dónde sigue sentada la persona. Aquí están, con lo que cuesta cada una y dónde se traza la línea.
La pregunta que hay debajo de "¿esto es seguro?"
Todo responsable hace alguna versión de ella antes de firmar, y casi nunca significa lo que el proveedor contesta. El proveedor oye "¿el modelo va a alucinar?" y empieza a hablar de tasas de acierto. El responsable quiere decir algo mucho más estrecho y práctico: ¿qué tiene permiso de decidir esta cosa sin mí?
Es una cuestión de diseño, tiene respuesta escrita y lleva alrededor de una hora resolverla por proceso. La nuestra está abajo, en cuatro reglas en lugar de un conjunto de principios, porque un principio no se puede comprobar un martes por la tarde y una regla sí.
Regla uno: nada vinculante sale sin una persona
Un precio. Una fecha de entrega. Una condición. Un documento que un tribunal leería como compromiso. Todo eso se detiene en una persona.
Esta es la regla que sobrevive al contacto con los abogados, y también la más barata, porque el paso vinculante es una fracción pequeña de cualquier proceso. En un despliegue para una inmobiliaria, la IA respondía primero, calificaba la consulta, montaba el paquete de documentos y lo enrutaba al agente correcto. La primera respuesta bajó de 6 horas a 8 minutos y la preparación de documentos de 2 días a 20 minutos. Lo que salía de la empresa seguía llevando el nombre de una persona pegado a la decisión.
Las seis horas eran cola. Nadie estuvo pensando seis horas; la consulta estaba en una bandeja de entrada. La automatización es muy buena quitando espera, reescritura y búsqueda, y bastante mala cargando con la responsabilidad. Separar esas dos cosas es la mayor parte del diseño.
Regla dos: las excepciones llegan con el contexto puesto
Cualquier sistema que escala casos dudosos a un humano gasta el tiempo de ese humano por diseño. La variable es la forma en que llega el escalado.
Un escalado que dice "requiere revisión" obliga a quien aprueba a reconstruir la situación entera antes de decidir, y esa reconstrucción suele durar más que la decisión. Un escalado que llega con la conversación entera, los datos que usó el sistema y el punto exacto de la duda convierte una reconstrucción de cinco minutos en un juicio de treinta segundos.
Esto importa en dinero, no solo en ergonomía. Tasa de escalado por tiempo de quien aprueba es un coste mensual que corre para siempre, y su sitio está en la aritmética antes de que nadie firme, no en el descubrimiento del tercer mes.
Regla tres: el sistema monta, no redacta
En todo lo contractual, la IA trabaja con plantillas que has aprobado y datos que han pasado validación. Rellena, selecciona, ordena. Cláusulas nuevas no escribe.
Es una promesa más estrecha que "la IA redacta tus contratos" y por eso mismo la revisión legal sale corta. Un revisor que comprueba si se usó la plantilla aprobada correcta con los datos validados correctos hace un trabajo rápido y acotado. Un revisor que busca en un párrafo generado una obligación no prevista hace un trabajo lento y sin límites.
La misma lógica cubre el contenido regulado en general: el trabajo administrativo funciona solo, el juicio profesional no. En un despliegue en clínica, la admisión del paciente pasó de 45 minutos a 8, las ausencias bajaron un 40% y el papeleo administrativo cayó tres cuartas partes. Todo juicio clínico siguió en manos del profesional, y a nada del sistema se le permitió parecerse a uno.
Regla cuatro: toda decisión automática queda registrada
Si el sistema decidió algo por su cuenta, hay un registro de qué decidió, con qué entrada y cuándo. No porque nadie lo lea de forma rutinaria, sino porque las preguntas que acaban llegando miran hacia atrás: por qué salió esa oferta con ese número, cuándo empezamos a hacerlo así, enséñame los diez casos anteriores a la reclamación.
La traza de auditoría resulta ser además la evidencia que pide un mercado regulado, y por eso la conversación de cumplimiento es más fácil cuando el diseño operativo fue primero. La documentación escrita para describir un sistema que ya se comporta bien es honesta. La documentación escrita para describir un sistema que nadie acotó es una aspiración con portada.
Dónde se traza la línea
No hay respuesta universal, y cualquier proveedor que ofrezca una está vendiendo un póster.
| Tipo de decisión | Funciona sola | Necesita una persona |
|---|---|---|
| Recordatorios, agenda, enrutado, consultas | Sí | No |
| Calificación y triaje | Sí, con registro | No |
| Todo lo que lleve precio, promesa o contrato | No | Siempre |
| Juicio profesional en un ámbito regulado | No | Siempre, con nombre |
| El medio gris | Se decide por proceso | Se decide por jurisdicción |
El medio gris es donde está el trabajo de verdad, y se resuelve en el diagnóstico con las personas que cargan con la responsabilidad, antes de construir nada. Una clínica y una inmobiliaria trazan la línea distinto en el mismo país. La misma clínica la traza distinto en dos países.
Escrita antes de salir a producción, esa línea es un diseño. Deducida después a partir de lo que el sistema hizo por casualidad, es un informe de incidente.
Lo que no tenemos
No publicamos una lista numerada de principios, y este texto no lo es. Lo que existe son las cuatro reglas de arriba, aplicadas en más de 200 flujos desplegados en más de 50 empresas, con la línea redibujada por proceso en el diagnóstico.
Si eso suena menos impresionante que un marco de seis pilares, es a propósito. Lo útil de una regla es que alguien puede comprobar un martes si se cumplió, y contarte después qué pasó cuando no se cumplió.
01¿Un paso de aprobación humana anula la velocidad que prometéis?+
No la anula, porque la parte lenta de la mayoría de los procesos nunca fue la decisión. En un despliegue para una inmobiliaria la primera respuesta pasó de 6 horas a 8 minutos y la preparación de documentos de 2 días a 20 minutos, y una persona seguía firmando todo lo que salía de la empresa. Las seis horas eran tiempo de cola, no tiempo de pensar: la consulta estaba en una bandeja de entrada hasta que alguien llegaba a ella. La automatización quita la espera, el reescribir, el buscar y el montar, y le entrega a una persona algo terminado para aprobar en un minuto. Eso es un uso completamente distinto de la atención de quien aprueba. Los casos en que la aprobación sí frena son aquellos en que quien aprueba ya era un cuello de botella, y eso aparece en el diagnóstico como una cola delante de una persona. Si lo encontramos, lo decimos, porque automatizar hasta un aprobador bloqueado solo cambia la cola de sitio.
02¿Dónde debe quedar exactamente la línea de aprobación?+
Se fija por proceso y por jurisdicción, y no hay respuesta universal que merezca la pena imprimir. La regla que aplicamos es que todo lo que vincula a la empresa necesita una persona: un precio ofrecido, una condición acordada, un compromiso adquirido, un documento que pueda leerse como contrato. Todo lo puramente administrativo puede funcionar solo: un recordatorio, una decisión de enrutado, un hueco en la agenda, una consulta de datos. Los casos interesantes están en medio, y se deciden en el diagnóstico con las personas que cargan con la responsabilidad. Una clínica y una inmobiliaria en el mismo país trazan la línea de forma distinta, y la misma clínica en dos países la traza de forma distinta otra vez, porque cambian la regulación y el deber profesional. Lo que importa es que la línea esté escrita antes de salir a producción y se revise cuando el proceso cambie, en vez de deducirse después a partir de lo que el sistema hizo por casualidad.
03¿Cuánto cuesta realmente mantener a la persona en el circuito?+
Cuesta la tasa de escalado multiplicada por el tiempo de quien aprueba, y ese importe pertenece al caso de negocio como una línea mensual, no como una suposición. Si un proceso ocurre 400 veces al mes, escala el 12% de los casos y cada escalado le lleva 4 minutos a quien aprueba, eso son unas 3 horas al mes del tiempo de una persona concreta, cada mes, para siempre. Suele ser un buen intercambio y nunca es cero. Dos cosas lo empeoran más de lo necesario: un escalado que llega sin contexto, obligando a quien aprueba a reconstruir la situación antes de decidir, y un umbral de escalado que nadie revisa tras el lanzamiento. Adjuntamos la conversación entera y el motivo de la duda a cada escalado por lo primero, y revisamos umbrales en la entrega por lo segundo. Al evaluar a cualquier proveedor, pide la tasa de escalado y el tiempo medio de aprobación en la misma frase en que pides el retorno.
04¿En qué se diferencia esto de la ética de la IA y el trabajo de cumplimiento?+
El cumplimiento responde a un regulador y produce documentos: clasificación de riesgo, documentación del modelo, evidencia de pruebas de sesgo, procedimientos ante incidentes. El diseño con humano en el circuito responde al responsable de operaciones y produce comportamiento: qué decisión va a dónde, de quién es la responsabilidad, qué queda registrado. Ambos se solapan, porque los auditores piden evidencia de que existe un paso de revisión humana y de que es real en lugar de nominal, y una traza de auditoría de las decisiones automáticas es exactamente esa evidencia. Pero fallan de formas distintas. Una empresa puede estar documentada por completo y aun así poner en marcha una automatización que la comprometa en silencio con un precio que nadie pretendía, y una empresa puede tener un diseño de aprobación sólido y ninguno de los papeles que un mercado regulado le va a exigir. Hay que hacer las dos mitades, y hacer primero la operativa suele dejar la mitad de papel honesta en lugar de aspiracional.
