Geekzillo, ServiceNow, Hugging Face y NVIDIA lanzan un nuevo acceso abierto LLM para ayudar a los desarrolladores a aprovechar la IA generativa para crear aplicaciones empresariales. Se trata de StarCoder2, creado con la comunidad de BigCode y capacitado en más de 600 lenguajes de programación, avanza en la generación de código, la transparencia, la gobernanza y la innovación.
ServiceNow (NYSE: NOW), Hugging Face y NVIDIA anunciaron hoy el lanzamiento de StarCoder2, una familia de modelos de lenguajes grandes (LLM) de acceso abierto para la generación de código que establece nuevos estándares de rendimiento, transparencia y rentabilidad.
StarCoder2 fue desarrollado por la comunidad BigCode, administrada por ServiceNow, la empresa líder en flujo de trabajo digital que hace que el mundo funcione mejor para todos, y Hugging Face, la plataforma de código abierto más utilizada donde la comunidad de aprendizaje automático colabora en modelos, conjuntos de datos y aplicaciones.
StarCoder2 entrenado en 619 lenguajes de programación, puede capacitarse e integrarse en aplicaciones empresariales para realizar tareas especializadas como la generación de código fuente de aplicaciones, generación de flujo de trabajo, resumen de texto y más. Los desarrolladores pueden utilizar la finalización de código, el resumen avanzado de código, la recuperación de fragmentos de código y otras capacidades para acelerar la innovación y mejorar la productividad.
También te puede interesar: NVIDIA App: GeForce NOW, Broadcast y Omniverse, todo en un solo lugar
StarCoder2 ofrece tres tamaños de modelo: un modelo de 3 mil millones de parámetros entrenado por ServiceNow, un modelo de 7 mil millones de parámetros entrenado por Hugging Face y un modelo de 15 mil millones de parámetros creado por NVIDIA con NVIDIA NeMo y capacitado en infraestructura acelerada de NVIDIA. Las variantes más pequeñas proporcionan un rendimiento potente y al mismo tiempo ahorran costos de computación, ya que menos parámetros requieren menos computación durante la inferencia. De hecho, el nuevo modelo StarCoder2 de 3 mil millones de parámetros también iguala el rendimiento del modelo StarCoder original de 15 mil millones de parámetros.
“StarCoder2 es un testimonio del poder combinado de la colaboración científica abierta y las prácticas responsables de IA con una cadena de suministro de datos ética”, enfatizó Harm de Vries, líder del equipo de desarrollo StarCoder2 de ServiceNow y codirector de BigCode. “El modelo de acceso abierto de última generación mejora el rendimiento de la IA generativa anterior para aumentar la productividad de los desarrolladores y les proporciona igual acceso a los beneficios de la IA de generación de código, que, a su vez, permite a las organizaciones de cualquier tamaño alcanzar más fácilmente su máximo potencial empresarial”.
“Los esfuerzos conjuntos liderados por Hugging Face, ServiceNow y NVIDIA permiten el lanzamiento de potentes modelos base que permiten a la comunidad crear una amplia gama de aplicaciones más eficientemente con datos totales y transparencia en la capacitación”, dijo Leandro von Werra, ingeniero de aprendizaje automático en Hugging Face y codirector de BigCode. “StarCoder2 es un testimonio del potencial de código y ciencia abiertos mientras trabajamos hacia la democratización de la IA responsable”.
“Dado que cada ecosistema de software tiene un lenguaje de programación propietario, los LLM de código pueden impulsar avances en eficiencia e innovación en todas las industrias”, dijo Jonathan Cohen, vicepresidente de investigación aplicada de NVIDIA. “La colaboración de NVIDIA con ServiceNow y Hugging Face presenta un desarrollo seguro y responsable modelos y apoya un acceso más amplio a la IA generativa responsable que esperamos beneficie a la comunidad global”.
Mejora de las capacidades avanzadas con datos específicos del negocio
Los modelos StarCoder2 comparten una arquitectura de última generación y fuentes de datos cuidadosamente seleccionadas de BigCode que priorizan la transparencia y la gobernanza abierta para permitir la innovación responsable a escala.
La base de StarCoder2 es un nuevo conjunto de datos de código llamado The Stack v2, que es más de 7 veces más grande que The Stack v1. Además del conjunto de datos avanzado, las nuevas técnicas de entrenamiento ayudan al modelo a comprender lenguajes de programación de bajos recursos (como COBOL), matemáticas y discusiones sobre códigos fuente de programas.
StarCoder2 promueve el potencial de las futuras aplicaciones de codificación impulsadas por IA. Incluidas las capacidades de texto a código y de texto a flujo de trabajo. Con una formación en programación más amplia y profunda, proporciona contexto del repositorio, lo que permite predicciones precisas y conscientes del contexto. Estos avances sirven tanto a los ingenieros de software experimentados como a los desarrolladores ciudadanos, acelerando el valor empresarial y la transformación digital.
Los usuarios pueden ajustar los modelos de acceso abierto con datos específicos de la industria o de la organización utilizando herramientas de código abierto como NVIDIA NeMo o Hugging Face TRL.
Las organizaciones ya han perfeccionado el modelo fundamental de StarCoder para crear capacidades especializadas para tareas específicas para sus negocios.
Now LLM de texto a código de ServiceNow se creó específicamente en una versión especializada del StarCoder LLM de 15 mil millones de parámetro. Se ajustó y se entrenó para los patrones de flujo de trabajo, casos de uso y procesos. Hugging Face también utilizó la modelo para crear su asistente StarChat.
BigCode fomenta la colaboración científica abierta en IA
BigCode representa una colaboración científica abierta liderada conjuntamente por Hugging Face y ServiceNow. Su misión se centra en el desarrollo responsable de LLM para código.
La comunidad BigCode participó activamente en los aspectos técnicos del proyecto StarCoder2 a través de grupos de trabajo y grupos de trabajo. Aprovechando el marco Fast LLM de ServiceNow para capacitar al modelo de 3 mil millones de parámetros. El marco de nanotrones de Hugging Face para el modelo de 7 mil millones de parámetros. Además del marco nativo de la nube NVIDIA NeMo de extremo a extremo. Y el software NVIDIA TensorRT-LLM para entrenar y optimizar el modelo de 15 mil millones de parámetros.
Fomentar la innovación responsable es el núcleo del propósito de BigCode, demostrado a través de su gobernanza abierta. Su cadena de suministro transparente, el uso de software de código abierto. Y la capacidad de los desarrolladores de optar por no recibir datos para capacitación. StarCoder2 se creó utilizando datos obtenidos de forma responsable bajo licencia de los bienes comunes digitales de Software Heritage, alojados en Inria.
“StarCoder2 es el primer modelo de IA de generación de código desarrollado utilizando el archivo de código fuente de Software Heritage y creado para alinearse con nuestras políticas de desarrollo responsable de modelos para código”, afirmó Roberto Di Cosmo, director de Software Heritage. “La colaboración de ServiceNow, Hugging Face y NVIDIA ejemplifican un compromiso compartido con el desarrollo ético de la IA, avanzando la tecnología para el bien común”.
StarCoder2, al igual que su predecesor, estará disponible bajo la licencia BigCode Open RAIL-M, lo que permitirá el acceso y uso libres de regalías. Además, el código de soporte para los modelos se encuentra en la página GitHub del proyecto BigCode.
Todos los modelos StarCoder2 también estarán disponibles para descargar desde Hugging Face y el modelo StarCoder2 15B está disponible en los modelos NVIDIA AI Foundation. Esto para que los desarrolladores experimenten con ellos directamente desde su navegador o mediante un punto final API.
Para obtener más información sobre StarCoder2, visita https://huggingface.co/bigcode
También te puede interesar: GTC 2024: NVIDIA presentará los últimos avances en Computación Acelerada, IA Generativa y Robótica
Y tú, geekzillo, ¿qué opinas de que ServiceNow, Hugging Face y NVIDIA presentan BigCode y StarCoder 2, herramientas de IA generativa para desarrolladores? No olvides que puedes compartirnos tus opiniones en los comentarios.
Por último, puedes seguir la pista de esta y más noticias en T3 Latam, TechRadar México. Además de nuestros podcasts con Oye 89.7: Top Tech y Top Gaming en Spotify.
