El error viral del chatbot “Virgin”: una lección sobre las barreras de protección para la IA que interactúa con el cliente
Por: Khrisna Tammana, Chief Technology Officer de Gupshup
Imagina que quieres acceder a tu cuenta bancaria, pero que la sola mención de su nombre hace que tu intento sea bloqueado. Parece una pesadilla, pero esto es exactamente lo que le pasó al comentarista de Fintech David Birch cuando le preguntó a un chatbot de Virgin Money cómo fusionar dos cuentas que tenía en el banco. Lo que parecía exactamente el tipo de solicitud para la que están entrenados los chatbots de IA provocó una respuesta frustrante, aunque divertida: “Por favor, no uses palabras así. No podré continuar nuestra charla si usas ese lenguaje”. ¿Qué palabras? ¡Por supuesto, “Virgin”!
Los errores de los chatbots pueden ser desde vergonzosos hasta costosos, desde no poder decirles a los usuarios de WhatsApp el nombre del actual presidente de Estados Unidos hasta vender un automóvil por un dólar. Y si bien no tenemos conocimiento de que este incidente haya causado daños duraderos (ni al cliente ni a la marca), sí pone de relieve una cuestión importante y delicada: definir y establecer límites para la IA que interactúa con el cliente.
Y, por supuesto, no estamos aquí para criticar; estas inconsistencias y ambigüedades son inevitables con cualquier tecnología nueva en las etapas «pioneras». Y, claro está, con la IA orientada al cliente, estamos en esa situación. Como empresa que realmente prioriza la IA y tiene muchos años de experiencia en la creación de chatbots para diversas industrias orientadas al cliente, podemos compartir algunos consejos basados en nuestra propia experiencia; en particular, en torno a la cuestión de las «barreras de seguridad».
Las barreras de seguridad son controles que ayudan a los chatbots con tecnología de IA a brindar respuestas seguras, precisas e imparciales. Estas barreras de seguridad evitan problemas como fugas de datos, violaciones éticas y desinformación al controlar a qué fuentes específicas del dominio tiene acceso su chatbot con IA.
Las empresas deben ajustar sus modelos de lenguaje extensos (LLM) con datos específicos del dominio que se relacionen específicamente con su industria, sector vertical o caso de uso. Esto ayuda a minimizar los errores, los sesgos y las respuestas inapropiadas al limitar las fuentes de las que la IA extrae información. El control de calidad regular y la ingeniería rápida son cruciales para mantener la precisión del chatbot, alinearlo con sus objetivos comerciales y de clientes y la sensibilidad cultural adecuada.
Sin embargo, incluso con sólidas barreras de seguridad, se necesitarán expertos para supervisar continuamente el rendimiento de los modelos de IA. El control de calidad impulsado por humanos es clave para identificar lagunas en el resultado de la IA y mitigar problemas como las alucinaciones (respuestas falsas o inventadas). Al realizar pruebas periódicas dirigidas por humanos, las empresas pueden garantizar que sus chatbots de IA sigan siendo eficaces y seguros.
También puedes implementar barreras de seguridad flexibles que permitan un control matizado en función del caso de uso del chatbot. Por ejemplo, los temas críticos como las compras y las transacciones pueden requerir barreras de seguridad más estrictas, mientras que las áreas menos sensibles pueden tener más flexibilidad. Incorporar los comentarios de los clientes en su control de calidad también puede contribuir a una experiencia de mejora continua. También es importante elegir el LLM adecuado para las necesidades de su empresa, ya que los diferentes modelos tienen diferentes fortalezas y debilidades en lo que respecta a la gestión de barreras de seguridad.
Otro problema es garantizar que todos los sistemas de inteligencia artificial que interactúan con los clientes tengan medidas de seguridad completas y actualizadas. Una de las posibilidades detrás del incidente de Virgin es que la empresa estuviera utilizando varios chatbots (o versiones), y no todos ellos estaban completamente actualizados para incorporar las medidas de seguridad más recientes. Por lo tanto, garantizar (y verificar) actualizaciones completas de las medidas de seguridad en todo el entorno de chatbots debería mitigar este riesgo.
Las aerolíneas fueron las primeras en enterarse, pero podemos esperar que a partir de ahora las empresas cuyos chatbots engañen a los clientes sean consideradas responsables de los daños causados. Y los clientes están de acuerdo, ya que casi tres cuartas partes (71%) creen que las empresas deberían ser consideradas responsables en general si un chatbot proporcionó información incorrecta.
La lealtad del cliente es otra razón para revisar tus barreras de seguridad. Estudios recientes han demostrado que al menos el 30% y hasta el 70% de los clientes pueden alejarse después de una sola experiencia negativa con el chatbot de IA de una empresa. A medida que la implementación de chatbots impulsados por IA continúa acelerándose, sin duda veremos más errores relacionados con los chatbots en los titulares. Sin embargo, con estos consejos en la mano, esperamos que al menos puedas asegurarte de que no sea tu empresa la que esté generando el tipo de noticias equivocadamente.
