- Nvidia presentó el lunes la H200, una GPU diseñada para entrenar e implementar los tipos de modelos de IA que están impulsando el auge de la IA generativa.
- El H200 incluye 141 GB de memoria “HBM3” de próxima generación que le ayudará a generar texto, imágenes o predicciones utilizando modelos de IA.
- El interés en las GPU de Nvidia impulsadas por IA ha impulsado el impulso de la compañía, y se espera que las ventas aumenten un 170% este trimestre.
Jensen Huang, presidente de Nvidia, sostiene la CPU con chip Grace hopper utilizada en IA generativa en la presentación principal de Supermicro durante Computex 2023.
Walid Barazek | Cohete Lite | imágenes falsas
Nvidia presentó el lunes la H200, una GPU diseñada para entrenar e implementar los tipos de modelos de IA que están impulsando el auge de la IA generativa.
La nueva GPU es una actualización del H100, el chip que OpenAI utilizó para entrenar su modelo de lenguaje grande más avanzado, GPT-4. Grandes empresas, nuevas empresas y agencias gubernamentales compiten por un suministro limitado de chips.
Los chips H100 cuestan entre 25.000 y 40.000 dólares, estima Raymond James, y se necesitan miles de ellos para trabajar juntos para crear los modelos más grandes en un proceso llamado «entrenamiento».
El entusiasmo en torno a las GPU impulsadas por IA de Nvidia ha disparado las acciones de la compañía, que han subido más del 230 % en lo que va de 2023. Nvidia espera ingresos de alrededor de 16 mil millones de dólares para el tercer trimestre fiscal, un 170 % más que el año pasado.
La principal mejora en el H200 es que incluye 141 GB de memoria “HBM3” de próxima generación que ayudará al chip a realizar “heurísticas” o utilizar un modelo grande después de haber sido entrenado para generar texto, imágenes o predicciones.
Nvidia dijo que el H200 generará una producción casi dos veces más rápido que el H100. Esto se basa en pruebas con Llama 2 LLM de Meta.
El H200, que se espera que se envíe en el segundo trimestre de 2024, competirá con la GPU MI300X de AMD. El chip AMD, similar al H200, tiene memoria adicional en comparación con sus predecesores, lo que ayuda a que los modelos grandes quepan en el hardware para ejecutar inferencias.
Conjunto de chips Nvidia H200 en un sistema Nvidia HGX de ocho GPU.
NVIDIA
Nvidia dijo que el H200 será compatible con el H100, lo que significa que las empresas de IA que ya se están entrenando en el modelo anterior no necesitarán cambiar sus sistemas de servidor o software para usar la nueva versión.
Nvidia dice que estará disponible en configuraciones de servidor de cuatro GPU u ocho GPU en los sistemas HGX completos de la compañía, así como en un chip llamado GH200, que vincula la GPU H200 a un procesador basado en Arm.
Sin embargo, es posible que el H200 no mantenga la corona del chip Nvidia AI más rápido por mucho tiempo.
Si bien empresas como Nvidia ofrecen muchas configuraciones diferentes de sus chips, los nuevos semiconductores a menudo dan un gran paso adelante aproximadamente cada dos años, cuando los fabricantes pasan a una arquitectura diferente que desbloquea ganancias de rendimiento más significativas que agregar memoria u otras mejoras más pequeñas. El H100 y el H200 se basan en la arquitectura Hopper de Nvidia.
En octubre, Nvidia dijo a los inversores que pasaría de una cadencia arquitectónica de dos años a un patrón de lanzamiento de un año debido a la alta demanda de sus GPU. La empresa ofreció La diapositiva sugiere Anunciará y lanzará su chip B100, basado en la próxima arquitectura Blackwell, en 2024.
El observa: Creemos firmemente en la tendencia de la IA que despegará el próximo año
No te pierdas estas historias de CNBC PRO:
«Pionero del café. Fanático de las redes sociales. Entusiasta de la televisión. Emprendedor amigable. Empollón zombi aficionado».