Clasificar consultas con IA ya cuesta centavos: lo caro es saber si acierta

A mediados de septiembre salió un modelo de IA que no escribe ni una palabra. Se llama Jev, lo lanzó la empresa TypeSafe AI, y lo único que devuelve son números: qué categoría corresponde, sí o no, qué tan urgente, y con cuánta seguridad lo dice. Cobra US$ 0,042 por millón de tokens leídos y la respuesta es gratis. Con esos precios, clasificar consultas con IA (mails, mensajes de WhatsApp, comprobantes, leads) pasó a costar centavos de dólar por mes.

Pero el precio nunca fue lo que frenaba a una empresa. Lo que la frena, o lo que la hace quedar mal con un cliente, es no saber cuántas veces el clasificador se equivoca, y en cuáles se equivoca.

Este post es para el que tiene una bandeja que alguien ordena a mano todos los días y está pensando en soltarla. Te cuento cómo probar si la IA clasifica bien antes de dejarla sola, con una prueba que podés hacer en una tarde.

Qué es un modelo de decisión como Jev

Los modelos que conocés (ChatGPT, Claude, Gemini) generan texto palabra por palabra. Para clasificar un mail eso es un desperdicio: le pagás para que escriba "Esto parece un reclamo" cuando lo único que querías era la etiqueta.

Jev hace otra cosa. Le mandás el mensaje y una o varias preguntas, y te contesta cada una con un número. Hay tres tipos de pregunta: sí o no ("¿el cliente está enojado?"), elegir entre opciones ("¿pedido, reclamo, pago o consulta?") y puntuar en una escala ("¿qué tan urgente, de 1 a 5?"). Las preguntas se evalúan en paralelo, así que hacer cinco tarda lo mismo que hacer una.

Pongamos números de acá. Una distribuidora de Montevideo que recibe 4.000 mails y mensajes por mes, con unos 500 tokens cada uno contando las preguntas, procesa 2 millones de tokens. A US$ 0,042 el millón, son ocho centavos de dólar por mes. En OpenRouter figura con respuestas en alrededor de un cuarto de segundo.

No es el único camino: con un modelo común también se clasifica, y en cuándo conviene usar IA en un proceso y cuándo alcanza con una regla la clasificación aparece como uno de los usos donde la IA sí suma. Lo nuevo es que ahora hay modelos hechos sólo para eso, más rápidos y casi gratis. Y también apareció Kev, una versión de código abierto que corre en una computadora propia, algo que importa si los mensajes traen datos personales que no querés mandar afuera.

La trampa del 79%: la regla tonta que la IA tiene que ganarle

El 21 de septiembre el equipo de Archestra publicó una prueba de Jev sobre 100 casos reales de su operación. Lo que más me sirvió de esa prueba es cómo midieron.

En sus datos, el 79% de los casos eran del tipo más común y sin riesgo. Eso quiere decir que un programa de tres líneas que contesta siempre lo mismo acierta el 79% sin inteligencia ninguna. Un modelo con 75% de acierto suena aceptable en una presentación y es peor que no hacer nada.

En tu bandeja pasa exactamente lo mismo. Si en la distribuidora el 70% de los mensajes son "¿cuándo llega mi pedido?", cualquier proveedor te puede mostrar un 70% de acierto con una regla que contesta siempre "consulta de pedido". El número que tenés que mirar es cuánto le gana a esa regla, y sobre todo si le gana en el 30% que importa: el reclamo, la baja, el pago que no se acreditó.

En la misma prueba, Jev acertó el 93% sin ejemplos y el 95% con nueve ejemplos. Sonnet 5, el modelo de Anthropic que usaron de comparación, llegó al 98%. La regla que contesta siempre lo mismo, 79%. Algunos modelos chicos de código abierto quedaron por debajo de la regla.

La prueba de los 200 mensajes, paso a paso

Antes de dejar que la IA mueva un solo mensaje, hacé esto. Lleva una tarde y no necesitás comprar nada.

1. Sacá 200 mensajes reales del último mes, elegidos al azar y no los primeros de la lista. Los primeros suelen ser de un mismo día y de un mismo tipo.
2. Que la persona que hoy ordena la bandeja los etiquete a mano, con las mismas categorías que va a usar la IA. Ese es tu "examen corregido".
3. Contá cuál es la categoría más frecuente y qué porcentaje ocupa. Ese porcentaje es la vara de la regla tonta.
4. Pasale los 200 a la IA y compará etiqueta por etiqueta.
5. No mires sólo el total. Armá una tabla simple: para cada categoría real, adónde la mandó la IA.
6. Separá los errores en dos pilas, las que te cuestan un cliente y las que te cuestan cinco minutos.

Si en el paso 3 te da que una categoría es el 85% del volumen, ojo: con 200 mensajes vas a tener apenas 30 casos de todo lo demás. Juntá más casos raros a propósito antes de sacar conclusiones. Los de Archestra se dieron cuenta de lo mismo: al muestrear al azar les quedaron 90 casos de rutina y sólo 10 de los que de verdad necesitaban detectar.

Usá la confianza para decidir qué pasa solo y qué revisa una persona

Un clasificador de este tipo no sólo dice "reclamo". Dice "reclamo, con 0,92 de seguridad" o "reclamo, con 0,51". Y esos dos casos no se tratan igual.

En la prueba de Archestra, cuando Jev contestaba con una seguridad de 0,7 o más, no se equivocó ni una vez. Son 100 casos y no alcanza para jurarlo, pero alcanza para diseñar así: lo que viene con seguridad alta se deriva solo, y lo que viene dudoso va a una persona. En vez de "la IA ordena la bandeja", queda "la IA ordena el 80% que es obvio y te separa el 20% que hay que mirar".

Con eso la persona que hoy clasifica 4.000 mensajes pasa a revisar unos pocos cientos, y justo los difíciles, que son los que necesitan criterio. Es la misma lógica de cuánta autonomía darle a un agente de IA: la máquina actúa sola sólo donde equivocarse sale barato.

Un detalle que la prueba también midió: corriendo lo mismo varias veces, las etiquetas casi no cambiaron, pero los porcentajes de seguridad se movieron un poco (en algún caso, 0,17). Si ponés el corte en 0,70 justo, un mensaje que da 0,69 una vez puede dar 0,72 la siguiente. Dejá margen.

No todos los errores cuestan lo mismo

En la prueba separaron dos tipos de error. Uno bloquea algo que estaba bien (molesta, hace perder tiempo). El otro deja pasar algo que estaba mal (hace daño). El modelo más preciso de todos, Sonnet 5, tuvo ocho errores en el set estricto y los ocho fueron del segundo tipo.

Bajado a una empresa, se ve así:

• En un estudio contable que recibe comprobantes de clientes, confundir una factura con un recibo es un error de cinco minutos. Archivar como "consulta general" un aviso de inspección de la DGI es otra cosa.
• En una corredora de seguros, mandar una consulta de cotización a la cola de siniestros es un error menor. Mandar un siniestro con persona herida a la cola de cotizaciones, no.
• En la distribuidora, tratar un pedido como consulta atrasa una respuesta. Tratar un "no me llegó y ya pagué" como consulta de horario es el cliente que se va a la competencia.

Por eso el paso 6 de la prueba es el más importante. Definí antes cuáles son las dos o tres categorías que no se pueden escapar, y medí esas por separado. Si la IA deja pasar aunque sea una, esa categoría va siempre a revisión humana, por más buen promedio que tenga el resto.

Hay límites que conviene saber de entrada. La documentación de Jev dice que todavía no anda bien con números, fechas ni con texto armado para engañarlo. Y como sólo devuelve un número, no te explica por qué decidió lo que decidió. Simon Willison, que lo analizó apenas salió, pidió expresamente que nadie lo use para rankear postulantes a un trabajo. Estoy de acuerdo: para ordenar una bandeja, sí; para decidir sobre personas, no.

Qué pedirle a quien te lo venda

En las asesorías veo que la conversación con el proveedor casi siempre gira alrededor de qué modelo usa. Es la pregunta equivocada. Con estos precios, el modelo es lo más barato del proyecto. Lo que tenés que pedir es otra cosa:

• El acierto sobre tus mensajes, no sobre una demo. Si no te lo pueden mostrar con 200 de los tuyos, todavía no hay nada que comprar.
• La comparación contra la regla que contesta siempre lo mismo. Si no la saben calcular, no midieron.
• El acierto en las categorías críticas, por separado.
• Qué pasa con los casos dudosos: a quién le llegan, por qué canal y en cuánto tiempo.
• Cómo se vuelve a medir dentro de tres meses, cuando tus clientes empiecen a escribir distinto.

Si estás en el punto de no saber cuál de tus bandejas conviene atacar primero, el autodiagnóstico de IA para empresas te ordena por dónde empezar según tu rubro y tu tamaño, en unos minutos.

La parte de conectar todo (que el mail o el WhatsApp entre, se clasifique, se derive y quede registrado) la armo en n8n: son pocos nodos y el paso de clasificación es uno solo. Si querés ver cómo se compara con otras herramientas para eso, está en n8n vs Zapier vs Make.

Preguntas frecuentes sobre clasificar consultas con IA

¿Cuánto cuesta clasificar mensajes con IA en 2026?

Con los modelos de decisión que aparecieron en septiembre de 2026, casi nada. Jev cobra US$ 0,042 por millón de tokens de entrada y no cobra la respuesta, así que 4.000 mensajes por mes salen menos de diez centavos de dólar. El costo real está en armar la prueba, conectar los sistemas y revisar los casos dudosos.

¿Qué porcentaje de acierto es bueno para un clasificador de consultas?

Depende de tu bandeja. Primero calculá cuánto acierta una regla que contesta siempre la categoría más frecuente: si esa categoría es el 75% del volumen, un 80% de acierto casi no aporta. Un buen clasificador le gana claramente a esa regla y, sobre todo, no se le escapan las categorías críticas.

¿Puedo dejar que la IA clasifique sola, sin revisión?

Sólo en los casos donde contesta con seguridad alta y equivocarse sale barato. Lo razonable es fijar un umbral de confianza, que lo que lo supera se derive solo y que lo dudoso vaya a una persona. Las categorías donde un error te cuesta un cliente conviene que pasen siempre por revisión al principio.

¿Con cuántos mensajes tengo que probar antes de decidir?

Con 200 mensajes reales, elegidos al azar y etiquetados a mano, ya tenés una idea clara. Si una categoría ocupa casi todo el volumen, sumá a propósito más casos de las categorías raras, porque con el azar te quedan pocos y son justo los que importan.

¿Sirve para una empresa chica?

Sí, y es de las primeras automatizaciones que recomiendo, porque el riesgo es bajo si se arma con revisión de los casos dudosos. Si una persona pasa una hora por día ordenando mails o mensajes, ya hay volumen suficiente para que valga la pena.

Próximos pasos para clasificar con IA sin creerle a ciegas

Esta semana hacé una sola cosa: pedile a quien ordena la bandeja que etiquete 200 mensajes del último mes y contá cuánto pesa la categoría más común. Con ese número ya sabés cuál es la vara, y cualquier propuesta que te traigan la vas a poder medir contra algo tuyo.

Cuando tengas la tabla del paso 5, mirá primero la fila de la categoría que más te duele, la del cliente que se va. Si ahí la IA acierta, lo demás se ajusta con ejemplos. Si ahí falla, el promedio no te sirve de nada y esa categoría la sigue mirando una persona.