¿Tu chatbot es una alucinación? Según una nueva investigación, la «charla de robot» podría producir mejores respuestas para la IA

Buenos dias.

Los CFO tardan en adoptar la IA generativa y el hecho de que un chatbot pueda alucinar no ayuda.

Los modelos generativos de lenguaje grande (LLM) impulsados ​​por IA que alimentan a los chatbots están diseñados para comprender y generar texto similar al humano. Sin embargo, debido a que aprovechan miles de millones de puntos de datos para predecir la siguiente palabra en una cadena de texto, a veces, cuando no saben la respuesta correcta a la indicación, alucinan o crean una respuesta que puede parecer plausible pero que en realidad es incorrecta o no está relacionada con el contexto.

Un grupo de investigadores del MIT Nuevo papel publicado Los argumentos encontrados entre los chatbots pueden mejorar el razonamiento lógico y la precisión de los hechos de los LLM. Es como un club de debate de bots, excepto que un bot básicamente puede debatir sus propias iteraciones.

«El procedimiento de discusión permite que un modelo de lenguaje critique y reflexione sobre sus opiniones y las de otros agentes, lo que le permite refinar su razonamiento y sus respuestas», me dice Ylon Du, investigador del MIT y uno de los autores del artículo. Los investigadores documentaron múltiples instancias de modelos de lenguaje que discutían entre sí durante varias rondas y obtuvieron una respuesta conjunta mejorada.

¿Cómo funciona esto? «Las discusiones pueden ocurrir en un solo modelo (o bot)», dice Du, un ex investigador de OpenAI. «Un modelo de idioma se repite muchas veces para crear varios bots. Cuando se le hace una pregunta, cada bot genera una respuesta diferente (el modelo aprendido detrás de un bot es el mismo en todos los bots). Luego, los bots pueden discutir entre ellos».

Sin embargo, el estudio también encontró que los chatbots de la competencia pueden competir entre sí. «También mostramos que puedes tener discusiones entre diferentes modelos como [OpenAI’s] ChatGPT y [Google’s] genial para resolver una tarea «, dice Du. «Pero la mayoría de los experimentos usan el mismo paradigma».

Michael Schrag, investigador de la Sloan School Initiative on the Digital Economy del MIT, no es uno de los autores del artículo, pero dice que cree que la investigación está bien hecha. “Este tipo de enfoque colectivo de inteligencia/votación no es poco común”, dice Scragg. «Pero hasta donde yo sé, esta es la primera publicación que veo en el contexto de un LLM».

Schrage ha estado explorando sistemas de IA generativos y de dominio con un enfoque en aprovecharlos como sistemas de recomendación de próxima generación. “Ya he usado grandes modelos de lenguaje para generar escenarios comerciales (algunos relacionados con las finanzas, otros no) tanto para los clientes como para las aulas», dice. «Encontré estos escenarios constructivos, provocadores y plausibles. Pero, de nuevo, estos son modelos LLM, no grandes modelos computacionales».

Un LLM básico debe ajustarse y vincularse a un software donde es más probable que las cuentas y los cálculos sean precisos, así como transparentes, optimizados e interpretables, dice. «Sin embargo, creo que cualquier analista financiero, auditor o contador sería extremadamente irresponsable y poco profesional al confiar en las cuentas financieras que dependen de un LLM en este momento», dice Schrag.

Continúa: «Creo firmemente que, con barandillas y afirmaciones bien pensadas y deliberadas, la gente de FP&A y otros diseñadores financieros pueden obtener mucho valor muy rápidamente usando hábilmente un MBA». espacio LLM «confiable».

¿Du cree que los problemas con las alucinaciones o la desinformación son preocupaciones válidas para los profesionales financieros? El dijo que sí». Es muy importante tratar las respuestas de la IA generativa «no como una verdad básica, sino simplemente como una fuente potencial de información», dijo. Du sugiere usar las respuestas como «ideas», pero luego «validarlas por separado». Y agrega: «Creo que mi investigación es un paso para hacer que esta fuente de información sea más precisa».

Que comience la discusión.

Sheryl Estrada
[email protected]

Vaya cosa

a Un nuevo informe del Pew Research Center Encontró que el 58% de los adultos estadounidenses encuestados había oído hablar de ChatGPT. De este porcentaje, el 19 % dijo que lo usaba para entretenerse, el 14 % lo usaba para aprender algo nuevo y el 12 % actualmente trabaja por pago y ha usado ChatGPT para trabajar. Los adultos menores de 30 años que han oído hablar de ChatGPT tienen más probabilidades que los mayores de 65 años de usar un chatbot para entretenimiento (31 % frente a 4 %). Pew también preguntó a los encuestados sobre su experiencia con el chatbot. El quince por ciento dice que fue muy útil y el 20 por ciento dice que es muy útil. Mientras tanto, el 39% dijo que fue algo útil. Los datos se basan en una encuesta de más de 10,000 adultos estadounidenses realizada del 13 al 19 de marzo de 2023.

Ve más profundo

«El auge de la IA: ¿Está su empresa preparada para la IA generativa?? Es un nuevo episodio de The Wharton School efecto dominó Podcast. El profesor Rahul Kapoor explica por qué ahora es el momento de que los líderes empresariales desarrollen nuevos marcos para gestionar los cambios que se avecinan.

clasificación

julia brown donnelly Su nombre era CFO’s Pinterest, Inc. (NYSE: PINS), al 20 de junio. Donnelly asumirá el papel de Todd Morgenfeld. Como se anunció anteriormente, Morgenfeld dejará Pinterest para buscar nuevas oportunidades profesionales el 1 de julio. Donnelly se unió a Pinterest desde Wayfair, donde recientemente fue vicepresidenta y directora global de finanzas y contabilidad. Durante su mandato de más de siete años, ha ocupado varios puestos de creciente responsabilidad en la función financiera. Lideró un equipo global de 250 empleados en todas las áreas de contabilidad y finanzas, incluidas finanzas estratégicas, relaciones con inversionistas, desarrollo corporativo, FP&A, contabilidad, impuestos y operaciones financieras. Antes de Wayfair, fue inversionista de capital privado en empresas de tecnología y medios en Thomas H. Lee Partners en Boston.

Yaffy (Roxy) Wayne Renuncia a su cargo de directora financiera invitación (NYSE: NVTA), una empresa de genética médica, al 30 de junio. La compañía está buscando un nuevo CFO. Wen continuará en su cargo hasta el final del segundo cuarto. Christine Jurjanc, presidenta desde hace mucho tiempo del Comité de Auditoría de la Junta, asumirá el cargo de directora financiera interina a partir del 1 de julio. La renuncia de Wen no es el resultado de ningún desacuerdo con la Compañía con respecto a cualquier asunto relacionado con las operaciones, políticas o procedimientos conforme a Invitae.

él escuchó

«No va a arreglar esto si están sentados al otro lado del Pacífico gritándose el uno al otro. Entonces, espero que tengamos un compromiso real».

—El CEO de JPMorgan Chase, Jamie Dimon, dijo el miércoles durante la Cumbre Global China de JPMorgan en Shanghai, Reuters informó. Simon respondió a una pregunta sobre las relaciones diplomáticas entre China y Estados Unidos y enfatizó la necesidad de un «compromiso genuino» para resolver los problemas de seguridad y comercio.