Incluso los expertos de Google se muestran escépticos sobre la utilidad del Bard AI Chatbot

(Bloomberg) — En el transcurso de meses, Google de Alphabet Inc.. Y Discord Inc. Un chat solo por invitación para usuarios habituales de Bard, el chatbot con tecnología de inteligencia artificial de Google. Los gerentes de producto, diseñadores e ingenieros de Google utilizan el foro para discutir abiertamente la efectividad y utilidad de la herramienta de inteligencia artificial, y algunos se preguntan si los vastos recursos dedicados al desarrollo valen la pena.

«Mi regla general es no confiar en los resultados de LLM a menos que pueda verificarlos ampliamente», escribió Dominique Rabigue, gerente senior de productos de Bard, en un chat de Discord en julio, refiriéndose a grandes modelos de lenguaje: sistemas de inteligencia artificial entrenados en cantidades masivas de datos independientes». Del texto que forma los componentes básicos de chatbots como ChatGPT de Bard y OpenAI Inc. «Espero que lleguemos al punto en el que podamos, pero todavía no hemos llegado a ese punto».

«El mayor desafío en el que sigo pensando es: ¿Cuáles son realmente los beneficios de un LLM, en términos de asistencia?» dijo en agosto la Googler Cathy Pearl, responsable de la experiencia del usuario en Bard. «Es como realmente marcar la diferencia. ¡Por determinar!»

Desde que Google lanzó Bard, su respuesta al popular bot ChatGPT de OpenAI, en marzo, ha agregado un flujo constante de nuevas características al producto, incluida la capacidad de la herramienta de inteligencia artificial para analizar imágenes y generar respuestas a consultas en docenas de idiomas. El mes pasado, Google presentó su actualización más ambiciosa hasta el momento: conectar Bard a sus servicios más populares, como Gmail, Maps, Docs y YouTube. La compañía lanzó integraciones de aplicaciones, comenzando en inglés, el 19 de septiembre.

Pero a medida que Google integró Bard en sus productos principales, la compañía también recibió quejas sobre la herramienta que genera hechos inventados y ofrece consejos potencialmente peligrosos. El mismo día que la compañía presentó las extensiones de la aplicación, también anunció un botón de búsqueda de Google en Bard para ayudar a las personas a verificar la validez de las respuestas generadas por IA de la herramienta con los resultados de su motor de búsqueda.

Otros expertos han expresado su preocupación por las condiciones laborales de los miles de contratistas de bajos salarios que Bard entrena, basándose en lo que los trabajadores dicen que son instrucciones complejas que deben completar en minutos. Dentro y fuera de la empresa, el gigante de las búsquedas en Internet ha sido criticado por proporcionar información de baja calidad en una carrera por mantenerse a la altura de la competencia, ignorando las preocupaciones éticas.

Para Google, garantizar el éxito de su chatbot Bard AI es extremadamente importante. La empresa es líder en búsqueda, un salvavidas financiero que genera alrededor del 80% de los ingresos de la empresa matriz Alphabet. Pero con la IA generativa en escena, el dominio de Google en la búsqueda se ha visto desafiado, y algunos predicen que nuevas e interesantes herramientas de OpenAI y otras nuevas empresas podrían alterar la fuerte posición de Google en el mercado.

Dos participantes de la comunidad Bard de Google en la plataforma de chat Discord compartieron detalles de las discusiones que tuvieron lugar en el servidor con Bloomberg de julio a octubre. Docenas de mensajes revisados ​​por Bloomberg brindan una ventana única a cómo Bard es utilizado y criticado por quienes mejor lo conocen, y muestran que incluso los líderes de las empresas encargados de desarrollar el chatbot se sienten en conflicto sobre el potencial de la herramienta. Al explicar su respuesta sobre las respuestas de “desconfianza” resultantes de los grandes modelos de lenguaje, Rabiej sugirió limitar el uso de Bard por parte de las personas a “aplicaciones creativas/de lluvia de ideas”. Usar Bard para programar también fue una buena elección, dijo Rabiej, “ya ​​que inevitablemente se comprueba si el código funciona o no”.

Google dijo en un comunicado que el debate sobre los límites y capacidades de Bard en el canal Discord de Google es una parte «rutinaria y no sorprendente» del desarrollo de productos. «Desde que lanzamos Bard como experimento, hemos estado ansiosos por escuchar los comentarios de la gente sobre lo que les gusta y cómo podemos mejorar aún más la experiencia», dijo la portavoz de Google, Jennifer Rudstrom. «Nuestro canal de discusión con personas que usan Discord es una de las muchas formas en que hacemos esto». La compañía agregó que lanzó el servidor Discord como una comunidad basada en invitaciones antes de hacerlo más disponible. Cuando se lanzó Bard, la compañía fue sincera sobre sus limitaciones, incluido el potencial de la herramienta de inteligencia artificial para crear mentiras que parezcan convincentes. Cada vez que alguien utiliza Bard, Google incluye un descargo de responsabilidad en la herramienta que dice: «Bard puede mostrar información inexacta u ofensiva que no representa las opiniones de Google». Los representantes de la compañía también dijeron que Google realizó pruebas adversas (destinadas a validar cómo respondería a posibles malos actores) internamente antes de implementar Bard, y que la compañía espera aprender más a medida que el público continúe usándolo. Leer más: Robot de inteligencia artificial de Google entrenado por trabajadores «asustados, estresados ​​y mal pagados».

El servidor Discord entró en funcionamiento en julio, cuando se enviaron miles de invitaciones a usuarios frecuentes de Bard fuera de la empresa. «Comparta pensamientos e ideas directamente con el equipo detrás de Bard, reciba notificaciones tempranas sobre actualizaciones de productos y conéctese con otros entusiastas de la IA», decía la invitación enviada el 10 de julio. La descripción del servidor describe el canal como la comunidad «oficial» para los usuarios de Bard, y Jack Krawczyk, gerente senior de producto de Bard, envió un video selfie a la comunidad cuando se lanzó la herramienta en Europa.

Discord no respondió a una solicitud de comentarios sobre el chat.

Actualmente hay aproximadamente 9.000 personas que son miembros de la comunidad en línea y algunos de los moderadores del chat son empleados de Discord. La mayoría de las discusiones giran en torno a la promoción de Bard y la IA; Algunos usuarios han hecho afirmaciones fantasiosas, y quizás engañosas, sobre las capacidades de la herramienta, incluyendo que han construido una computadora de ajedrez cuántica usando Bard o que pueden usar el robot para buscar en la web datos sobre probabilidades de apuestas de béisbol y ejecutar simulaciones complejas. (Los empleados de Google participaron en un chat de Discord para decir que Bard no tiene estas habilidades).

Danielle Griffin, reciente Ph.D. No es raro que el software de código abierto y las pequeñas herramientas de motores de búsqueda provoquen conversaciones casuales y entusiastas, dijo el graduado de UC Berkeley que estudia búsqueda web y se unió al grupo de Discord en septiembre. Pero Griffin, que ha escrito críticamente sobre cómo Google da forma a las interpretaciones que el público hace de sus productos, dijo que se sentía «incómodo» porque la conversación era algo confidencial.

El chat de Bard Discord puede ser simplemente «un grupo focal o una comunidad de entusiastas de la IA a largo plazo, a gran escala y sin previo aviso, pero el poder de Google y la importancia de la discusión abierta sobre estas nuevas herramientas me hicieron reflexionar». Añadió, señalando que otros esfuerzos de la compañía para obtener comentarios de la comunidad, como la conexión de Búsqueda de Google, estaban más abiertos al público.

En el foro de Bard, los usuarios plantearon otras cuestiones espinosas relacionadas con Google, dando una idea de cómo el gigante tecnológico trabaja duro para mitigar las críticas públicas. A mediados de julio, un miembro del grupo planteó el tema del Proyecto Nimbus, un contrato de 1.200 millones de dólares para Google y Amazon.com Inc. Proporcionar al ejército israelí herramientas de inteligencia artificial, según una revisión de los mensajes de Bloomberg. El miembro expresó su preocupación sobre el papel de Google al permitir usos mortales de la IA y rápidamente fue expulsado del grupo, y los moderadores dijeron a los usuarios que debían evitar «política, religión u otros temas delicados» en el chat.

Ese mismo mes, otro usuario preguntó por qué Google dependía de «contratistas mal pagados y con exceso de trabajo» para mejorar las respuestas de Bard. Aunque la compañía ha declarado públicamente que no depende únicamente de contratistas para mejorar el funcionamiento de la IA de Bard y que existen otras formas de mejorar su precisión y calidad, Trace Warkentin, director de gestión de productos de Bard, respondió diciendo: Haciendo hincapié en la importancia del aporte humano para entrenar sus algoritmos.

«El refinamiento humano es crucial para que Bard sea un producto para todos; la alternativa es que los usuarios no tengan la capacidad de dirigir la funcionalidad del producto, lo que en mi opinión sería un gran error», escribió Warkentin en el chat. No necesitamos un producto de ‘torre de marfil’”. -¡Necesitamos algo que se adapte a todos!

También se intercambiaron opiniones sobre las consecuencias de los enormes costes que supone el mantenimiento de grandes modelos lingüísticos. «¿Se está haciendo algo para reducir los asombrosos costos de recursos de un LLM?» preguntó un usuario en el servidor de Discord. «¿Especialmente el uso de agua por consulta y la enorme necesidad de GPU (cuya producción requiere minería intensiva)?»

«Lo veo como diseñar chips… o supercomputadoras», respondió Perl, líder de experiencia de usuario de Bard. «Creo que seguiremos encontrando formas de lograr el mismo comportamiento con menos recursos».

También hubo preocupaciones sobre la precisión de Bard en el chat. Warkentin, el gerente de producto, enfatizó en una discusión sobre los insultos de Bard que Google ha logrado grandes avances desde que lanzó la herramienta de inteligencia artificial. «Estamos muy centrados en reducir las alucinaciones y aumentar la realidad; es una de nuestras métricas clave de éxito», dijo. «Hemos mejorado un poco desde el lanzamiento, pero es un trabajo en progreso, así que sigan intentándolo y envíenos sus comentarios». ¡cuando algo no está bien!

A finales de septiembre, la cuenta oficial de Discord de Bard publicó un resumen de preguntas y respuestas de su evento «Horas de oficina», cuyo objetivo es responder preguntas de la comunidad sobre las integraciones recientemente anunciadas de Bard con Google Apps. Cuando se le preguntó si había alguna posibilidad de que Bard se desviara de la realidad al resumir los correos electrónicos, la cuenta oficial de Bard dijo: «Hemos hecho todo lo posible para asegurarnos de que esto suceda lo menos posible. Pero dado que Bard todavía está aprendiendo y creciendo, es posible que sucede. La cuenta decía que las personas deberían verificar y hacer referencia a las fuentes que utiliza Bard. «Si Bard está alucinando con alguna de las integraciones, ¡háganoslo saber en el canal de informe de errores!»

Rabiej, gerente de producto de Bard, también destacó la importancia del nuevo botón “Verificar respuestas” de la herramienta de inteligencia artificial. “Destacará en naranja cosas que pueden no ser ciertas”, dijo en octubre. También afirmó que Bard no comprende realmente el texto que está ingiriendo, sino que la herramienta simplemente responde con más texto, dependiendo de las indicaciones del usuario: «Recuerde, Bard, como cualquier modelo de lenguaje grande, es un modelo generativo; simplemente es.» No buscar las cosas y resumirlas es como crear un guión”.

Otros empleados expresaron ambivalencia sobre la IA generativa en términos más generales. «Dando un paso atrás desde mi visión generalmente negativa sobre el impacto que la IA de nueva generación puede tener, creo que la educación es una de las áreas de ‘hacer el bien’ más interesantes y con mayor potencial de esta tecnología», dijo James, un diseñador de experiencias de usuario. para. Genial, en la comunidad de Discord.

James dijo que las instituciones de educación superior e inferior pueden utilizar la tecnología «para ayudar a crear experiencias más ricas para los estudiantes a través del acceso a soporte casi 24 horas al día, 7 días a la semana en diversos temas, una vez que el temor público a esto haya pasado».

©2023 Bloomberg LP