El benchmark de IA
de MultipleChat

MultipleChat tiene un modo colaborativo en el que el prompt del usuario se envía a varios modelos punteros en paralelo y las respuestas se muestran una junto a otra. Después, el usuario elige con qué respuesta continuar, cuál copiar o cuál refinar. Así se genera un flujo continuo de datos de preferencia conductual: los usuarios votan con su flujo de trabajo, no con una encuesta.

El T2 2026 abarca todas las comparaciones en modo colaborativo entre el 1 de abril y el 30 de junio de 2026 en las que al menos tres modelos punteros devolvieron respuestas válidas al mismo prompt. Total: 50.142 comparaciones en 11 categorías de tareas de ~8.400 usuarios únicos. {{MOCK}}

La categorización de tareas la realizó automáticamente Gemini Flash y después se validó por muestreo con 500 prompts (κ = 0,81 de concordancia con dos revisores humanos). Categorías: redacción, programación, resúmenes, traducción, razonamiento, preguntas factuales, matemáticas, investigación, creatividad, conversación y extracción estructurada.

Criterio de victoria. Se registra una «victoria» cuando el usuario (a) continúa el hilo de conversación con la respuesta de ese modelo, O (b) copia o guarda explícitamente esa respuesta en los 90 segundos siguientes a recibir las respuestas paralelas. Los empates se reparten. Los prompts sin continuación en 5 minutos se excluyen del cálculo de la tasa de victoria, pero se conservan para las métricas de alucinación y latencia.

Señalización de alucinaciones. Una respuesta se marca como posible alucinación cuando (a) contiene una cita o afirmación factual que no supera la verificación automática frente a fuentes autorizadas, O (b) el usuario usa la función «regenerar» con un prompt que indica una duda factual (p. ej., «eso es incorrecto», «comprueba los datos»). La tasa de falsos positivos de las señales se revisa en una muestra aleatoria de 200 respuestas.

Qué excluimos. Prompts con datos personales, prompts de menos de 8 tokens, prompts en los que algún modelo falló a mitad de respuesta y las primeras 100 comparaciones de cada usuario nuevo (sesgo de calentamiento). El texto original de los prompts nunca sale de los servidores de MultipleChat; solo el resultado agregado.

Grok domina este gráfico. Con ~$5.90 por cada 1.000 victorias, cuesta aproximadamente la mitad de la media y un 40 % menos que el modelo más caro. Para un equipo con 100k consultas al mes, la diferencia entre usar siempre Claude y usar Grok por defecto con respaldo ronda los $11,000 al mes en coste de inferencia.

Las respuestas caras son las excepcionales. El $/victoria de Perplexity Sonar parece alto porque solo compite en tareas de investigación (donde su tasa de victoria es del 51 %); si se mide por las tareas que realmente gana, es competitivo.

La paradoja de los modelos de razonamiento. Investigaciones independientes mostraron que el modelo de razonamiento o3 de OpenAI alucinaba en el benchmark de factualidad PersonQA un 33 % de las veces, más del doble que su predecesor sin razonamiento o1, con un 16 %. Nuestros datos reproducen el patrón dentro de MultipleChat: cuando los usuarios envían preguntas factuales sencillas a modelos de razonamiento, las señales de alucinación se multiplican por 2,1× en comparación con sus equivalentes sin razonamiento. {{MOCK}}

Dónde importa esto. No uses modelos de razonamiento para consultar datos puntuales. Úsalos para problemas de varios pasos, donde su razonamiento es lo que aporta valor. El mismo modelo que resuelve correctamente una demostración matemática difícil recordará mal, y con total seguridad, el nombre de un CEO.

El riesgo por ámbito persiste. Estudios independientes de 2026 indican un 6,4 % de alucinaciones en consultas jurídicas, un 10–20 % en medicina y hasta un 33 % en herramientas jurídicas basadas en RAG. Nuestras señales equivalentes en las categorías jurídica y médica de nuestro conjunto de datos se sitúan en el 7,2 % y el 12,4 %, respectivamente. Usa estos modelos para redactar borradores, no para el diagnóstico final. {{MOCK}}

Sesgo de autoselección. Nuestros usuarios son profesionales orientados a la productividad que usan una plataforma multimodelo, y pueden ser distintos del público general. Tenemos sobrerrepresentación de programación, redacción e investigación, e infrarrepresentación de charla informal y juegos de rol.

La señal de «victoria» es conductual. Que un usuario continúe con la respuesta del modelo X significa que esa respuesta era lo bastante buena para usarla, no necesariamente la mejor posible. Sacrificamos verificabilidad a cambio de autenticidad: LMSYS Arena obtiene votos más deliberados; nosotros, más sinceros.

Las versiones de los modelos cambian rápido. «Claude» en este conjunto de datos significa lo que Anthropic estuviera sirviendo cada día de medición; registramos los ID de compilación concretos en el conjunto de datos descargable. Las cifras principales cambiarán cuando salgan nuevas versiones.

Vendemos acceso a estos modelos. MultipleChat cobra por el acceso a los cinco proveedores y no tiene ninguna preferencia contractual. Tenemos un incentivo evidente para defender una plataforma multimodelo, y lo hacemos abiertamente. No tenemos ningún incentivo para favorecer a un proveedor concreto.