Glassbox: Cómo minimizar la alucinación de la IA

Hace tres años acompañamos a una startup a desarrollar su producto: un software con IA para que cualquier persona pudiera, en etapa temprana, ver si su invención era potencialmente patentable y qué medidas de protección legal tenía a mano. Ese era el objetivo, y todavía lo es. Trabajo que a un estudio de abogados le toma semanas, al alcance de alguien que recién parte. El producto funcionó y se usó de verdad.

Pero esta columna no es sobre lo que salió bien. Es sobre lo que descubrimos adentro.

Una patente que no existía

Cuando estabamos desarrollando la solución notamos algo que al principio parecía un bug: de vez en cuando, el sistema citaba una patente que no existía. No una patente mal leída ni un número con un dígito cambiado. Una patente inventada, con título plausible, número creíble y una descripción perfectamente redactada de algo 100% inventado. Y lo hacía con la misma seguridad con que citaba las reales.

Hicimos de todo — y recuerden que en ese momento era el boom del prompt: desde el «por favor, no alucines» hasta instrucciones sofisticadas, dobles verificaciones, capas de revisión. Cada capa ayudaba y ninguna bastaba. La prueba de fuego llegó cuando quisimos testearla para un uso más exigente: servir como herramienta de peritaje. Ahí el veredicto fue claro, no era a prueba de balas. Para orientar a un inventor en etapa temprana, con un humano revisando, era una gran herramienta; para un informe donde cada cita tiene peso legal, no podíamos garantizarla. Hoy todos esos "problemas" están resueltos y esos problemas son parte del pasado.

Con el tiempo entendimos por qué: no peleábamos contra un defecto de nuestro código sino contra una propiedad del material. Un modelo de lenguaje genera lo probable, y una patente inventada es, para él, un texto perfectamente probable. La industria le llama alucinación. Nosotros la sufrimos en un dominio donde citar mal no es un detalle: es un error grave.

Cambiar la pregunta

Esa lección quedó guardada varios años, como quedan guardadas las lecciones relevantes. Y maduró en un cambio de pregunta que hoy nos parece que importa cuando una empresa pone inteligencia artificial a trabajar en serio.

Dejamos de preguntarnos cómo lograr que el sistema no se equivocara. Empezamos a preguntarnos cómo revisar el trabajo hecho y validar, por medio de un senior, que el error no saliera a la luz. Tal como un practicante le presenta el trabajo a su jefe para que lo revise.

Son preguntas distintas. La primera no tiene respuesta completa: hoy no existe forma confiable de mirar dentro de una red neuronal y garantizar lo que va a hacer, y quien prometa lo contrario está vendiendo humo. La segunda sí tiene respuesta, y es una respuesta vieja: la misma que usa cualquier organización seria con las personas, a las que tampoco puede inspeccionar por dentro. Registro de lo que se hace. Revisión de lo que importa. Una firma antes de lo que tiene consecuencias.

Glassbox - La caja de vidrio

De ahí salió lo que hoy llamamos el «glassbox». La caja de vidrio, lo contrario de la caja negra.

La mecánica es menos glamorosa que un modelo de última generación, y por eso confiamos en ella. Todo lo que el colaborador digital hace queda en un registro que no se puede alterar: qué hizo, a qué hora y qué regla lo justifica. Y antes de que un trabajo salga al mundo, el sistema cruza cada afirmación contra el registro de las acciones que realmente ocurrieron. Si tiene respaldo, pasa. Si el respaldo es parcial, una persona la revisa. Si no hay ninguna acción que la respalde, se bloquea: no se envía, no se publica y no se firma hasta que un humano lo resuelva.

La primera versión de esa auditoría verificaba una sola cosa: que cada patente citada en un informe existiera en el registro de patentes efectivamente leídas. Exactamente la herida de tres años antes. No creo en las casualidades en ingeniería: uno termina construyendo la protección contra el golpe que ya recibió.

El vidrio no se agrega después

Y hay algo que aprendimos intentando agregarle controles a aquel primer sistema: la transparencia no se puede agregar después. Si el software no dejó rastro de cada acción desde el primer día, no hay auditoría que lo arregle, porque no existe contra qué auditar. No se le puede poner vidrio a una caja negra. Hay que construir la caja de vidrio desde el principio — más lento al comienzo, más simple de defender después.

Alguien me preguntó si esto no era una manera elegante de admitir que la tecnología falla. Es exactamente eso, y no le veo el problema en reconocerlo: la tecnología falla todo el tiempo — se caen las páginas de los bancos, se cae hasta WhatsApp y es un revuelo mundial. La alucinación no se elimina con la próxima versión del modelo. Se administra, con arquitectura, y se administra mejor cuando se deja de fingir que no existe.

Quién responde

Tres años atrás nos hubiera gustado tener esto. No lo teníamos, y aprendimos a punta de revisión humana. Pero nos quedó la lección que ordena todo lo que construimos desde entonces: con esta tecnología, la pregunta correcta nunca fue qué tan inteligente es. Es qué pasa cuando se equivoca, quién lo ve, y quién responde. El vidrio no hace más inteligente a la máquina. Hace responsable a la persona que está trabajando con el sistema. Y en una empresa de verdad, eso vale más.

Salman Tariq, Tayyab Malik y Rodrigo Medina fueron los desarrolladores que trabajaron en esa plataforma; de esa experiencia conjunta nace este aprendizaje.

Rodrigo Medina es fundador de MC Tech Studio y Yunt.