Los chatbots de inteligencia artificial son cada vez más eficaces para obligarte a decir "sí"

Desde pedidos de pizza hasta cámaras inteligentes para el hogar, la IA empática ahora nos ayuda a tomar decisiones en tiempo real. ¿Podremos seguirles el ritmo?

A las 20:03, al final de un largo día, suena un teléfono. Es un mensaje de texto de Jimmy el surfista de la cadena californiana Pizza My Heart, fundada hace 44 años: “¿Tienes hambre? ¿Qué te parece esa combinación de piña y jamón que tanto te gusta?”. Habla con un tono informal y relajado, pero hay un problema: Jimmy no es un surfista de verdad, ni siquiera un ser humano de verdad.

En cambio, es un chatbot de inteligencia artificial, entrenado cuidadosamente para hablar sobre pizza y persuadirte delicadamente para que hagas ese pedido. Claro, la conversación es amistosa, reconfortante incluso, pero detrás de esa jerga desenfadada de los surfistas se esconde un algoritmo que sabe exactamente cuándo es más probable que digas que sí. Y eso plantea una pregunta: ¿se trata de una conveniencia inofensiva o de una forma sutil de manipulación?

A primera vista, no hay nada de malo en un poco de comodidad, especialmente cuando tienes hambre y estás demasiado cansado para recorrer las infinitas opciones de comida. Pero la nueva ola de IA empática va más allá del servicio rápido o las recomendaciones de productos. Armados con un oído atento y un talento conversacional, los chatbots como Jimmy están diseñados específicamente para captar tus preferencias y estados de ánimo. Hacen más que simplemente tomar tu pedido: te empujan hacia él.

Tecnología emocionalmente inteligente

Palona AI, la start-up que impulsa a Jimmy the Surfer, cree que puede facilitar la vida a los trabajadores de la cadena. La directora ejecutiva y cofundadora de la empresa, Maria Zhang, dijo a Wired que la tecnología está “construida con un modelo de lenguaje de ‘inteligencia emocional’ diseñado para ser eficaz en las ventas; el robot está familiarizado con cosas como el humor, la etiqueta de mensajería moderna y la ‘persuasión amable’”.

Pero la misma empatía que hace que las interacciones resulten cálidas y humanas también puede desdibujar la línea entre el servicio al cliente y la manipulación. ¿Dónde se encuentra exactamente el límite entre un servicio que nos ayuda y uno que influye en nuestras decisiones? ¿Cuándo pasamos de la orientación a la manipulación y comprometemos la autonomía del consumidor?

Esa pregunta no es teórica. La empresa Wyze, con sede en Seattle y que vende cámaras de seguridad, pronto implementará la tecnología de Palona AI en su sitio web como un asistente que guiará a los compradores para encontrar el mejor producto para sus necesidades. El asistente, por supuesto, guía a los clientes hacia la línea de productos de Wyze y les ofrece el plan Cam Plus de Wyze en cada oportunidad. Como un verdadero vendedor. También puede crear su perfil de cliente y recordar sus preferencias (y preocupaciones) para la próxima vez.

Palona AI ya impulsa un chatbot en MindZero, un spa de terapia de contraste en Carolina del Sur. Los clientes pueden enviar mensajes a la empresa en Instagram con cualquier cosa, desde consultas de precios hasta preguntas personales, como si está bien estar desnudo en la sauna. Zhang sugirió que la última pregunta podría ser incómoda para un humano, pero no podemos estar seguros de que la IA haga una diferencia aquí: el bot de MindZero no dice que es IA. Tampoco lo dice Jimmy the Surfer. Y ahí es donde las cosas se ponen turbias.

Navegando por las reglas

Esa falta de claridad se debe al hecho de que los usuarios no siempre saben que están chateando con un bot. Palona AI, Pizza My Heart, MindZero y Wyze tienen su sede en Estados Unidos y la legislación estadounidense no exige la divulgación de información, pero la Ley de Inteligencia Artificial de la UE sí lo hace. La Ley de Inteligencia Artificial de la UE tiene un enfoque regulatorio diferente, ya que exige que los usuarios sean conscientes de que están interactuando con una IA. La UE también tiene leyes de privacidad vigentes, como el Reglamento General de Protección de Datos (RGPD), pero eso no protege los datos emocionales que utilizan estos bots.

Si bien la Ley de Inteligencia Artificial de la UE y el RGPD establecen principios importantes como la transparencia, la minimización de datos y la supervisión basada en riesgos, aún no han alcanzado a la IA programada para manejar emociones. Comprender la delgada línea que separa la orientación de la manipulación es importante tanto para los responsables políticos como para los consumidores: ¿cómo podemos confiar en sistemas que intentan averiguar lo que queremos?

Ley de Inteligencia Artificial de la UE: transparencia pero alcance limitado

La Ley de Inteligencia Artificial de la UE, que aún se encuentra en proceso de perfeccionamiento, utiliza una clasificación basada en el riesgo. Los sistemas considerados de alto riesgo (por ejemplo, los de atención sanitaria o infraestructuras críticas) se enfrentan a requisitos más estrictos: documentación exhaustiva, auditoría y supervisión. Pero un chatbot que pide pizza o un asistente de compras no suelen calificar como de alto riesgo. Eso significa que una IA empática diseñada para incitarte a comer más ingredientes o un plan Cam Plus bien puede eludir las barreras más estrictas de la Ley.

El requisito de transparencia (en el artículo 52) exige que se revele que los usuarios están interactuando con una IA, pero en la práctica eso también es fácil de pasar por alto o ignorar, especialmente si la IA está profundamente arraigada en los canales de texto informales.

Para las empresas de la UE que quieran utilizar chatbots empáticos, esto tiene implicaciones. La Ley de IA de la UE no impide la implementación de asistentes de aprendizaje que imiten la empatía; solo exige una exención de responsabilidad básica. Una sola frase, "Hola, soy un asistente de IA", podría ser suficiente para satisfacer las obligaciones legales, pero eso no aborda las cuestiones éticas. Después de todo, actualmente sabemos cuándo estamos hablando con el departamento de ventas o el de atención al cliente, y usamos esa información en nuestras decisiones.

Sin embargo, si su empresa desea perfeccionar un modelo de lenguaje para una "persuasión suave" específica de la marca, es posible que no necesite someterse al mismo nivel de escrutinio de cumplimiento que alguien que construye, por ejemplo, un sistema de inteligencia artificial médica.

RGPD: datos personales y datos confidenciales

Mientras tanto, el RGPD clasifica ciertas categorías de datos, por ejemplo, datos biométricos o de salud, como "categorías especiales", lo que les otorga una mayor protección. Los datos emocionales no han sido incluidos (¡todavía!) en esa categoría, por lo que una IA que convenza sutilmente a un usuario para que compre más puede no estar manejando datos que se reconocen como sensibles por defecto.

El RGPD sigue exigiendo la minimización de datos y el consentimiento claro del usuario para cualquier recopilación o procesamiento de datos personales. Pero en muchos escenarios del mundo real, como cuando se envía un mensaje a MindZero sobre la etiqueta en la sauna, los usuarios no se dan cuenta conscientemente de que están entregando señales emocionales. O cualquier dato, en realidad, ya que una amplia casilla de verificación de términos y condiciones o un banner de consentimiento de cookies a menudo se hacen pasar por consentimiento informado.

Sin embargo, cuando se manejan grandes cantidades de interacciones de los usuarios para el reentrenamiento de modelos, ese contexto emocional puede pasar desapercibido. En este momento, la mayoría de las autoridades de protección de datos se centran en violaciones claras de la privacidad o en importantes infracciones de datos; es poco probable que una persuasión sutil desencadene una investigación hasta que haya una denuncia de alto perfil.

¿Qué pasa con la seguridad de los datos?

La IA empática añade una nueva capa de riesgo a la seguridad de los datos: los datos emocionales. Los equipos de seguridad deben tener en cuenta cómo almacenar las interacciones de los usuarios (que posiblemente revelen estrés, rutinas personales o preocupaciones privadas) y quién tiene acceso a ellas.

Incluso si la empresa respeta el cifrado y las prácticas estándar de la industria, el valor de los datos emocionales puede atraer a actores maliciosos interesados en explotar vulnerabilidades privadas. Si su canal de procesamiento registra cada consulta de usuario, podría acumular sin darse cuenta un tesoro de información confidencial. Las regulaciones existentes solo abordan parcialmente los datos cargados de sentimientos, por lo que sus equipos de seguridad tendrían que aplicar sus propias salvaguardas.

El punto ciego regulatorio

En conjunto, ni la Ley de Inteligencia Artificial de la UE ni el RGPD contemplan plenamente los sistemas de inteligencia artificial emocionalmente inteligentes que persuaden a los usuarios en las experiencias de compra cotidianas. Para las empresas, este estado regulatorio ofrece tanto oportunidades como riesgos: la posibilidad de innovar sin una supervisión inmediata y estricta, pero también el riesgo de sufrir un revés reputacional o un escrutinio futuro si los reguladores deciden que un sutil empujón emocional cruza la línea.

Para los usuarios, es complicado. Así que la próxima vez que su teléfono vibre a las 8:03 p. m. con un mensaje amistoso sobre pizza, piense en lo que realmente está sucediendo. Podría ser una inteligencia artificial debajo de una fina capa brillante, que se aprovecha de sus antojos y lo alienta a ceder.

Sí, es conveniente, pero también pone de relieve la brecha cada vez mayor que existe entre nuestro deseo de un servicio sin fricciones y la necesidad de contar con sólidas barreras de protección en torno a la IA. Hasta que la regulación se ponga al día, la voz cálida y tranquilizadora del otro lado puede ser más que un amigo útil. Puede ser una estrategia empresarial adaptada a su estado emocional de maneras que nunca hubiera esperado.