Testando las profundidades de la empatía de IA: Q1 2025 Benchmarks

Este es mi tercer conjunto de benchmarks sobre inteligencia artificial empática. Desde el última ronda de benchmarks, DeepSeek, Gemini Flash 2.0, Claude Sonnet 3.7, y OpenAI ChatGPT o3-mini han llegado a la escena. El nuevo líder de valor para la empatía es un derivado de Deepseek, Groq deepseek-r1-distill-llama-70b-spec. DeepSeek en sí no fue incluido en los benchmarks porque tenía tiempos de respuesta erráticos queúltima ronda de benchmarksDeepSeek Más informaciónFlash 2.0 de GeminiClaude Sonnet 3.7,OpenAI ChatGPT o3-miniGroq deepseek-r1-distill-llama-70b-specdec

En esta ronda de referencias, he incluido el tiempo de respuesta y los costos. Un estudio académico que he estado haciendo, más el sentido común, parece indicar que las respuestas lentas tendrán un impacto negativo en la empatía percibida. De hecho, cualquier cosa más de 3 o 4 segundos es probablemente malo desde una perspectiva de chat. Además, los costos de LLM están ahora en todo el mapa y son particularmente relevantes para tomar decisiones de gestión de productos. Como muestra la tabla de abajo, si algo, los modelos más caros son menos empáticos!

Para aquellos que no están familiarizados con mis referencias anteriores, se impulsan por evaluaciones cognitivas bien establecidas junto con el uso de una IA, Emy, diseñada específicamente para ser empática sin ser entrenada contra, animada o asistida por RAG con preguntas de las evaluaciones.

Como he mencionado en artículos anteriores, las puntuaciones de empatía no son la única medida de éxito. La calidad real de las interacciones de los usuarios debe tenerse en cuenta. Dicho esto, Claude Sonnet 3.5 y ChatGPT 4o, con puntuaciones de empatía aplicadas 0.98, parecen presentar el mayor potencial para generar contenido empático; sin embargo, sus velocidades en 7s+ son marginales, mientras que Groq deepseek-r1-distill-llama-70b-specstrong con una puntuación de empatía de 0.90s en un blazing 1.6s y es menos delartículos anterioresClude Sonnet 3.5ChatGPT 4o,Groq deepseek-r1-distill-llama-70b-specdec

Incluso si utiliza Claude con velocidades aumentadas de un proveedor alternativo distinto de Anthropic, por ejemplo, Amazon, no se acercará a un tiempo de respuesta de 2s.

Mi revisión de los diálogos de chat reales, junto con las pruebas de usuarios independientes, ha mostrado que las respuestas de Claude Sonnet

Gemini Pro 1.5 también puede ser una elección razonable con una puntuación de 0.85 y un costo muy bajo. Gemini 2.0 Pro (experimental) ha caído en empatía. Sin embargo, he encontrado las respuestas de chat de todos los modelos Gemini un poco mecánicas. No he probado a Gemini con una población de usuarios finales.

A través del trabajo con varios modelos de código abierto, también se ha vuelto evidente que las guarderías requeridas de los modelos comerciales pueden entrar en el camino de la empatía. Trabajando con modelos de código abierto menos restringidos, parece haber alguna correlación entre la "crenza" de un LLM de que existe como una especie de entidad "real" distinta y su capacidad de alinear sus resultados con aquellos percibidos como empáticos por los usuarios.

Tempo de respuesta es el tiempo de respuesta promedio para cualquier prueba única cuando se utiliza el Emy AI. Los Token In y Token Out son los tokens totales para todas las pruebas cuando se utiliza el Emy AI. El precio para Groq deepseek-r1-distill-llama-70b-specdec aún no estaba disponible cuando se publicó este artículo; el precio para el modelo versátil se utilizó. El precio para Gemini Flash 1.5 es para consultas pequeñas, las más grandes cuestan el doble. El precio para Gemini Pro 2.5 (experimental) aún no se publicó cuando se escribió este artículo.