Ciudad de México, 1 de julio de 2024. Elon Musk acaba de insinuar cuánto costó fabricar su chatbot de IA Grok, según Business Insider.
El multimillonario respondió a una publicación en X este lunes y dijo que la última versión del chatbot Grok 3 de xAI debería ser “algo especial” después de entrenar con 100 mil H100.
Musk se refiere a la unidad de procesamiento de gráficos H100 de Nvidia, también conocida como Hopper, que es una cadera de IA que ayuda a manejar el procesamiento de datos para modelos de lenguaje grandes (LLM).
Los chips son un componente clave del desarrollo de la IA y un bien de moda en Silicon Valley mientras las empresas tecnológicas compiten por construir productos de IA cada vez más inteligentes.
Saber cuántas GPU H100 recibirá Musk nos permite hacer algunos cálculos para tener una estimación aproximada del costo.
Se estima que cada chip GPU Nvidia H100 cuesta alrededor de 30 mil dólares, aunque algunas estimaciones sitúan el costo en hasta 40 mil dólares.
Según esas estimaciones, entrenar y desarrollar la próxima versión de Grok de xAI costaría entre 3 mil y 4 mil millones de dólares.
Musk también podría obtener un descuento por volumen de Nvidia, lo que abarataría un poco el costo. Pero incluso suponiendo que un descuento por volumen redujera el precio a algo más de 20 mil dólares por GPU, eso llevaría el total a 2 mil millones de dólares.
Y eso es sólo contando el precio de las patatas fritas. 100 mil GPU sería un gran paso adelante con respecto a Grok 2. Musk dijo en una entrevista en abril con el director del fondo soberano de Noruega, Nicolai Tangen, que Grok 2 necesitaría alrededor de 20 mil H100 para entrenarse.
xAI ha lanzado hasta ahora Grok-1 y Grok-1.5, y el último solo está disponible para los primeros probadores y usuarios existentes en X.
Musk dijo en una publicación de X que Grok 2 se lanzará en agosto e indicó en la otra publicación que Grok 3 saldrá a fin de año.
xAI no respondió a una solicitud de comentarios de Business Insider.
Unos 100 mil GPU parece mucho, y lo es. Pero otros gigantes tecnológicos como Meta están acumulando aún más GPU, lo que costará más del triple de lo que gasta xAI.
Mark Zuckerberg dijo en enero que Meta habrá comprado alrededor de 350 mil GPU Nvidia H100 para fines de 2024. También dijo que Meta poseerá alrededor de 600 mil chips, incluidas otras GPU. Si ese es el caso, Meta habrá gastado alrededor de 18 mil millones de dólares en desarrollar sus capacidades de IA.
Texto y foto de archivo: Agencia Reforma
