¡Llegó la nueva era de la IA! Descubre las impresionantes mejoras de rendimiento para LLMs utilizando los procesadores AMD Ryzen AI Serie 300. A continuación todos los detalles.
Los modelos de lenguaje han avanzado considerablemente desde la llegada de GPT-2, y ahora los usuarios pueden desplegar fácilmente LLMs sofisticados a través de aplicaciones amigables como LM Studio. En colaboración con AMD, herramientas como estas hacen que la inteligencia artificial sea accesible para todos, sin necesidad de conocimientos de programación.
LM Studio: Despliegue Simplificado de Modelos de Lenguaje
LM Studio se basa en el popular proyecto llama.cpp, que permite implementar modelos de lenguaje de manera rápida y sencilla. No requiere dependencias y puede acelerarse utilizando únicamente la CPU, aunque también ofrece aceleración con GPU. Utiliza instrucciones AVX2 para optimizar el rendimiento de los LLMs modernos en CPUs x86.
Comparativa de Rendimiento: A través y Latencia
El AMD Ryzen AI optimiza estas cargas de trabajo avanzadas y ofrece un rendimiento superior en aplicaciones basadas en llama.cpp como LM Studio para laptops x86. Aunque un laptop Intel contaba con RAM más rápida (8533 MT/s) frente a la de AMD (7500 MT/s), el procesador AMD Ryzen AI 9 HX 375 logra un rendimiento hasta un 27% más rápido en cuanto a tokens por segundo.
Para referencia, los tokens por segundo (tk/s) indican cuántos tokens (palabras en pantalla) puede generar un LLM por segundo. El Ryzen AI 9 HX 375 puede alcanzar hasta 50.7 tk/s en Meta Llama 3.2 1b Instruct (cuantización de 4 bits).
Velocidad de Generación de Tokens
Otro indicador clave es el “tiempo para el primer token”, que mide la latencia desde que se envía un aviso hasta que el modelo comienza a generar tokens. En modelos más grandes, el procesador Ryzen™ AI HX 375 es hasta 3.5 veces más rápido que competidores similares.
Aceleración Mediante Variable Graphics Memory (VGM)
Los tres aceleradores en un procesador AMD Ryzen AI tienen especializaciones diferentes. La arquitectura AMD XDNA 2 proporciona eficiencia energética para tareas de IA, mientras que las CPUs garantizan compatibilidad amplia. Por su parte, la iGPU se encarga de tareas de IA bajo demanda.
LM Studio incluye una versión de llama.cpp que puede acelerar el marco utilizando la API Vulkan. Al activar la descarga de GPU, se logró un aumento promedio del 31% en el rendimiento de Meta Llama 3.2 1b Instruct en comparación con el modo solo CPU.
Rendimiento Mejorado con VGM
Los procesadores AMD Ryzen AI 300 Series incorporan una función llamada Variable Graphics Memory (VGM), que permite extender la asignación dedicada de 512 MB hasta un 75% de la RAM del sistema. Esto aumenta significativamente el rendimiento en aplicaciones sensibles a la memoria. Al activar VGM (16 GB), se observó un aumento del 22% en el rendimiento en Meta Llama 3.2 1b Instruct, logrando una mejora total del 60% con la aceleración de iGPU.
Conclusión: AI Accesible para Todos
AMD se compromete a avanzar en la frontera de la IA y hacerla accesible para todos. Esto es crucial para que los últimos avances en IA no estén limitados por altos niveles de conocimiento técnico. Aplicaciones como LM Studio permiten a los usuarios experimentar modelos de vanguardia casi tan pronto como se lanzan, brindando una experiencia impresionante en laptops x86.
Por último, los invitamos a escuchar nuestros podcasts: Top Tech y Top Gaming disponibles en Spotify.
