Microsoft anuncia el modelo de microlenguaje Phi-2

Investigación de Microsoft Anunciar PHI-2, un modelo de lenguaje basado en transformadores que contiene 2.700 millones de parámetros. Phi-2 está entrenado con 1,4T de tokens de datos sintéticos generados por GPT-3.5 y supera a los modelos más grandes en una variedad de puntos de referencia.

Phi-2 es la última versión del conjunto de modelos Phi de Microsoft, que se entrena en una combinación de conjuntos de datos sintéticos con «calidad de libro de texto» rastreados en la web. Los modelos Phi anteriores tienen sólo 1.300 millones de parámetros, pero han mostrado un rendimiento excelente en tareas de codificación e inferencia. Phi-2 tiene el doble de tamaño que sus predecesores y fue entrenado durante dos semanas en un grupo de 96 GPU A100. Tiene un rendimiento similar al de modelos más grandes hasta 25 veces y supera al modelo Llama-2 con parámetros 70B en inferencia, comprensión del lenguaje y puntos de referencia de codificación. Según Microsoft:

Gracias a su pequeño tamaño, Phi-2 es un campo de juego ideal para los investigadores, que incluye la exploración de la interpretabilidad mecanicista, mejoras de seguridad o la mejora de experimentos en una variedad de misiones. Hemos hecho que Phi-2 esté disponible en el catálogo de modelos de Azure AI Studio para avanzar en la investigación y el desarrollo de modelos de lenguaje.

InfoQ cubrió recientemente varios esfuerzos para replicar las capacidades de los modelos de lenguaje grandes (LLM) en modelos más pequeños. Muchos de ellos utilizan LLM como ChatGPT para crear conjuntos de datos de entrenamiento sintéticos para el modelo más pequeño. El método Distilling Step-by-Step de Google le pide al profesor de LLM que cree un conjunto de datos pequeño y preciso que contenga entradas con una etiqueta de salida, así como una «justificación» de por qué se eligió la etiqueta de salida. Orca 2 de Microsoft Research utiliza un conjunto de datos de entrenamiento sintético y una nueva tecnología llamada Prompt Erasure para lograr un rendimiento igual o mejor que los modelos con 10 veces más parámetros.

La principal innovación en la serie de modelos Phi es un conjunto de datos sintéticos de datos «parecidos a los de un libro de texto». Aunque los investigadores no han publicado el conjunto de datos ni muchos detalles sobre su creación, Informes técnicos anteriores Los modelos Phi incluyen descripciones de alto nivel. Uno de los objetivos de los conjuntos de datos era crear ejemplos «diversos y no repetitivos» que abarcaran una variedad de «conceptos, habilidades y escenarios» que variaban en «nivel de dificultad, complejidad y estilo». a fi-1.5el equipo seleccionó 20.000 temas diferentes como ejemplos de problemas de comprensión del lenguaje.

Sebastian Bobeck, líder del equipo de Fundamentos del aprendizaje automático en Microsoft Research, publicó información sobre X Trabajo adicional para ajustar Phi-2:

El phi-2 es una base realmente buena para realizar más ajustes: [fine-tune] En 1M Math Ejercicios (similar a phi-1 w. CodeExercises) y la última prueba del examen nacional francés de matemáticas (publicada después de finalizar la formación de phi-2). ¡Los resultados son alentadores! Experimenta con tus datos…

Mark Tennenholtz, jefe de IA en Bredillo, también publicó sobre el Phi-2 y dijo: “La destilación del conocimiento realmente funciona“.” En noticias sobre piratas informáticos Discusión sobre FI-2Un usuario señaló que el costo computacional de entrenar el modelo probablemente rondaba los 30.000 dólares, o “más barato que un automóvil”. Otro señaló:

Tenga en cuenta que el modelo se entrenó con datos generados por GPT-4. Generar datos a los precios API actuales probablemente será más costoso. El objetivo de estos artículos es que la calidad de los datos de entrenamiento es clave. Preferiría que estas empresas publicaran datos de entrenamiento en lugar de pesos.

el Pesos del modelo Phi-2 Disponible en HuggingFace.