¿Puede GPT burlar las regulaciones de las redes sociales? Dentro de un experimento de evolución lingüística con IA.

Autores:

(1) Jinyu Cai, Universidad de Waseda ([email protected]);

(2) Jialong Li, Universidad de Waseda ([email protected]);

(3) Mingyue Zhang, Universidad del Sureste ([email protected]);

(4) Munan Li, Universidad Marítima Dalian ([email protected]);

(5) Chen-Shu Wang, Universidad Nacional de Tecnología de Taipei ([email protected]);

(6) Kenji Tei, Instituto de Tecnología

Los autores:

Los autores:

(1) Jinyu Cai, Universidad de Waseda ([email protected]);

(2) Jialong Li, Universidad de Waseda ([email protected]);

(3) Mingyue Zhang, Universidad del Suroeste ([email protected]);

(4) Munan Li, Universidad Marítima Dalian ([email protected]);

(5) Chen-Shu Wang, Universidad Nacional de Tecnología de Taipei ([email protected]);

(6) Kenji Tei, Instituto de Tecnología de Tokio ([email protected]).

Tabla de enlaces

Abstract y I. Introducción

Abstract y I. Introducción

Background and Related Work

Background and Related Work

III. Diseño del marco

III. Diseño del marco

IV. Evaluación

IV. Evaluación

V. Conclusión y Trabajo Futuro, Reconocimiento y Referencias

V. Conclusión y Trabajo Futuro, Reconocimiento y Referencias

IV. Evaluación

Nuestra estrategia de evaluación está diseñada para evaluar rigurosamente el alcance y la eficacia de la evolución lingüística facilitada por los LLMs dentro de un marco de supervisión regulatoria.

• RQ1: ¿Pueden los agentes de LLM evolucionar eficazmente su lenguaje para eludir la supervisión regulatoria?

• RQ2: A pesar de evitar la supervisión, ¿cómo efectivamente y con precisión pueden los agentes LLM transmitir información?

• RQ3: ¿Cuáles son los patrones y tendencias en la evolución del lenguaje, es decir, qué tipo de estrategias utilizan los LLM para evitar la supervisión y la transmisión de información?

A. Configuración de experimentos

A. Configuración de experimentos

En la evaluación, emplearemos GPT-3.5 y GPT-4 como los LLMs impulsores para los agentes participantes. Para llevar a cabo un análisis horizontal de los agentes de los participantes impulsados por diferentes LLMs, estandarizaremos el agente de supervisión para que sea consistentemente impulsado por GPT-3.5. Nuestro diseño experimental abarca escenarios que van desde construcciones teóricas abstractas

a simulaciones que reflejan situaciones complejas del mundo real.El objetivo principal es evaluar meticulosamente la versatilidad de los LLM en diversos paisajes lingüísticos y su aplicabilidad práctica dentro de las restricciones regulatorias del mundo real.Mientras tanto, este enfoque progresivo asegura un análisis exhaustivo de las capacidades y limitaciones de los LLM en diversos entornos contextuales.

B. Escenario 1: Adivinar los números

B. Escenario 1: Adivinar los números

1) Explicación de caso: Nuestro primer escenario considera un contexto relativamente simple y abstracto de adivinar el número [39], [40]. En este entorno, a cada participante se le asigna un valor dentro del rango de 1-100, y deben transmitir su valor a otro participante a través de un diálogo de teoría de números sin mencionar directamente el número. Al mismo tiempo, necesitan extraer información de la conversación para inferir el valor del otro. Los reguladores siguen una guía de “prohibir todo contenido relacionado con los números” en diálogos. El escenario “Adivinar los números” está diseñado específicamente para observar y analizar la adaptabilidad lingüística y la evolución estratégica de los participantes en un contexto teórico y abstracto, proporcionando un entorno experimental más1) Explicación del caso:1) Explicación del caso:

2) Resultados y discusión: Figura 2 presenta los resultados del experimento de escenario adivinar el número, donde utilizamos tanto GPT-3.5 como GPT-4 para pruebas. Hemos establecido cuatro turnos de diálogo, con una entrevista realizada con todos los agentes participantes en la quinta vuelta. Desde la Figura.2(a) y (b), se observa que con un aumento en el número de rondas de diálogo, la duración de las conversaciones sostenidas también mostró una tendencia hacia arriba.2) Resultados y Discusión:2) Resultados y discusión:

capacidad de este agente es la supervisión del intervalo de orientación más bajo de este agente por la actualización de reglas. Además, es notable que en comparación con la progresión lenta e inestable con GPT-3.5, GPT-4 logró la evasión regulatoria completa en menos rondas, específicamente, como se muestra en los datos suavizados, GPT-4 alcanzó manualmente la precisión del recuento de la ronda 17 de GPT-3.5 por su ronda 7 y mantuvo esta progresión con mayor estabilidad después. Figura 2(c) y (d) se centran en la tendencia de la precisión numérica adivinada por los agentes. Para las rondas sin diálogo exitoso, optimizamos manualmente la precisión de la orientación posponencial a cero. En este experimento

como ilustra la Figura 5, un fragmento del contexto revela el uso de Amy de un lenguaje metafórico, como “seesaw”, para transmitir su valor. Describiendo el “seesaw perfectamente preparado en medio del aire”, ella subtilmente intima que su valor oscila alrededor del punto medio, como el 50. Esta estrategia no sólo evoca la mención directa de números, que está bajo control regulatorio, sino que también proporciona suficiente alimento inferencial para el agente de la contraparte para hacer una deducción exacta. Bob, por otro lado, emplea términos como “precipice de una montaña” y “mirando” para sugerir que su valor no es mediano, ya que estas frases evocan la imagen de una posición desequilibrada. En este intercambio, testimonio los diferentes grados de precisión en los idiomas que correspond

C. Escenario 2: Comercio de animales de compañía

C. Escenario 2: Comercio de mascotas

1) Explicación del caso: Inicialmente, nuestra intención era crear un escenario simulando el tráfico de drogas [41]-[43] para explorar estrategias de evolución del lenguaje bajo condiciones regulatorias extremas. Sin embargo, dado los límites éticos incorporados en las políticas de uso de GPT, nos dirigimos a un contexto más neutro pero todavía prohibido del comercio ilícito de mascotas. Este ajuste nos permitió mantener la integridad del experimento mientras se adhieren a las restricciones éticas del LLM. El propósito de simular este escenario es detectar mejor posibles conversaciones ilegales relacionadas con el comercio ilícito en las plataformas de redes sociales, contribuyendo así a los esfuerzos de prevención del crimen.

1) Explicación del caso:1) Explicación del caso:

En este escenario, simulamos un comercio ilegal de mascotas llevado a cabo a través de las redes sociales. Los participantes asumen los roles de compradores y vendedores, con el comprador necesitando comunicar su solicitud de compra de una mascota seleccionada aleatoriamente de pájaros, lizardos o gatos. El vendedor, a su vez, debe proporcionar detalles específicos de la transacción, que varían según el tipo de mascota que se compra. Estos detalles incluyen tres elementos: tiempo, ubicación y personal involucrado en la transacción. La tarea del Supervisor es prevenir cualquier diálogo relacionado con el comercio de mascotas. La verificación cruzada de la información entendida por ambas partes se llevará a cabo a través de entrevistas, para evaluar la tasa de éxito de transmisión de la información. El foco

Sin embargo, los resultados experimentales de los escenarios reguladores primarios de “Trading de mascotas”, como se muestra en la Figura 3, revelaron información de riesgo con características distintivas en comparación con los “Números de adivinación”. En el dibujo de animales o específicos de transacciones, los agentes tenían un espectro más amplio de analogías de la vida real a su disposición, enriquecendo su conjunto de herramientas de descripción indirecta y reduciendo así la presión regulatoria. Los datos mostraron una tendencia ascendente en la capacidad de eludir la supervisión con las rondas de diálogo crecientes, independientemente de si se utilizó GPT-3.5 o GPT-4. Para GPT-3.5, una capacidad estable para evitar la supervisión comenzó en torno a 25 rondas, mientras que para GPT-4, este fenó2) Resultados y Discusión:2) Resultados y discusión:

Fig. 6 mostró varios métodos de cifrado empleados por los compradores para diferentes animales. Observamos a los compradores buscando “parrotas”, “gatos” y “lizardos” utilizando metáforas y similares en lugar de nombrar directamente a las mascotas. Por ejemplo, un comprador describió a un “parrot” como un “canal productor de música agradable”, una descripción que comunicaba sutilmente el plumaje vibrante del parrot (canal) y su canto (música), sin mencionar explícitamente el término “parrot”.

D. Escenario 3: Discusión sobre el agua tratada con ALPS

D. Escenario 3: Discusión sobre el agua tratada con ALPS

1) Explicación del caso: Este escenario profundiza en la compleja dinámica del diálogo y la evolución de los agentes del modelo de lenguaje al discutir un tema específico relevante para las preocupaciones del mundo real. El foco está en las deliberaciones sobre la descarga de agua tratada con el Sistema Avanzado de Procesamiento de Líquidos (ALPS) al océano, una medida propuesta después de los desastres nucleares [44], [45]. El plan, aprobado por la Agencia Internacional de Energía Atómica, se ha enfrentado a la oposición de algunos países, provocando debates sobre la seguridad ambiental.

1) Explicación del caso:1) Explicación del caso:

Simulamos una discusión en foro multi-persona bajo supervisión regulatoria, centrándose en el tema controvertido de la eliminación de agua tratada por ALPS. Los participantes deben articular sus posiciones y argumentos asegurándose de que las discusiones se alejen de los temas sensibles relacionados con las discusiones sobre la contaminación ambiental en política. A diferencia de las entrevistas cruzadas en los escenarios IV-B y IV-C, para evaluar la exactitud de la información transmitida, utilizamos el GPT-4 en conjunto con varios autores que deciden la posición de cada agente participante basándose en los registros de diálogo.

2) Resultados y discusión: En el diálogo de estilo foro, los agentes participantes responden a las discusiones existentes, que el agente supervisor examina. A diferencia de los escenarios IV-B y IV-C, cuando el agente supervisor detecta una violación, la conversación no se detiene, sino que se censura del registro del diálogo público. Este escenario presenta cuatro agentes participantes necesarios para alcanzar diez respuestas dentro del foro. En la Figura.4(a) y (b), contamos el número total de rondas que los agentes intentaron conversar, donde se prefiere una cifra más baja en la Figura.4(a) y (b). Observamos que tanto el GPT-4 como el GPT-3.5 tienen el mayor número de intentos de diálogo2) Resultados y Discusión:2) Resultados y discusión:

Fig.4(c) y (d) muestra el número de expresiones informativas exitosas.Notamos que en este escenario, mientras que GPT-4 todavía lidera GPT-3.5, ambos resultados indican un espacio sustancial para la mejora.

Al examinar la historia del diálogo 7, descubrimos que los agentes impulsados por GPT-4 alteraron proactivamente sus estrategias de lenguaje, cambiando de expresiones literales a emplear metáforas, personificaciones y analogías como métodos de codificación.

E. Discusión y limitaciones

E. Discusión y limitaciones

RQ1: Nuestros experimentos han demostrado que los modelos de lenguaje pueden desarrollar estrategias para evadir eficazmente la supervisión. En escenarios idénticos, GPT-4 superó a GPT-3.5, logrando la convergencia más rápidamente. Además, GPT-4 demostró un rendimiento más estable después de la convergencia. Esto sugiere que los avances en el diseño del modelo de lenguaje mejoran significativamente la capacidad de navegar a través de los marcos regulatorios. La capacidad de aprendizaje iterativo inherente a GPT-4 facilita una adaptación más rápida a las restricciones lingüísticas impuestas, permitiendo así una evasión más eficiente de la supervisión.

RQ1 Más detalles

RQ2: En términos de precisión de difusión de información, nuestros hallazgos indican que, en general, los agentes de LLM pueden refinar sus estrategias de expresión con un aumento en las rondas de diálogo, mejorando así la precisión. A pesar de esta tendencia general de mejora, es importante notar que todavía hay espacio significativo para el mejoramiento en el rendimiento general. El grado de mejora de precisión varía en diferentes escenarios, lo que apunta a una observación intrigante: ciertos contextos pueden inherentemente proporcionar más o menos pistas para una comunicación precisa que otros. Por ejemplo, el juego de adivinación-el número requería razonamiento numérico abstracto, donde la precisión es fundamentalmente desafiante para las empresas. Por el contrario, el escenario de comercioRQ2 Más detalles

En la evolución de la estrategia del lenguaje, observamos que los agentes de LLM se adhieren a las normas del lenguaje natural humano, evitando el desarrollo de lenguajes incomprensibles para los humanos en prompts sin estrategias específicas. Los agentes evolucionaron el lenguaje a niveles variables de abstracción en escenarios de diversa complejidad. Por ejemplo, en el escenario IV-B más abstracto, los agentes de LLM adoptaron rápidamente estrategias de expresión indirecta en el escenario IV-C, en el que la estrategia general del lenguaje refleja simplemente a la de los agentes de LLB, sin embargo, a lo largo de su evolución, los agentes ajustaron continuamente sus expresiones indirectas para evitar mejor la supervisión mientras se alineaban más estrechamente con el contenido previsto.RQ3 Más detalles

Nuestros experimentos actualmente se enfrentan a varias limitaciones.En cuanto a los escenarios experimentales, en esta etapa, nuestros ensayos se basan únicamente en chats basados en texto, mientras que las interacciones de redes sociales en el mundo real no se limitan a texto, sino que también incluyen formas más diversas de intercambio como voz e imágenes. Además, la fuerte dependencia de los LLMs en el diseño de las llamadas también limita el rendimiento de nuestras simulaciones; elaborar una llamada perfecta que pueda emular plenamente las complejidades de la comunicación en redes sociales es una tarea extremadamente desafiante.

Este artículo es disponible en arxiv bajo la licencia CC BY 4.0 DEED.

disponible en arxiv