By 
en el ciclo de Hardware de IA, casi todo el mundo habla de inferencia.
Durante la reciente presentación de los resultados financieros de Nvidia, la directora financiera (CFO) del fabricante tecnológico, Colette Kress, aseguró que la conclusión representa alrededor del 40% de los 26.300 millones de dólares -23.700 millones de euros- que Nvidia generó gracias a los centros de datos durante el año. La factura era del segundo trimestre de 2024.
Son poco más de 9.500 millones de euros.
Matt Garman, director ejecutivo de Amazon Web Services (AWS), lo explicó recientemente en el podcast Sin antecedentes que el La inferencia probablemente representa la mitad del trabajo que se realiza actualmente en los servidores informáticos de IA.. Y es probable que ese porcentaje aumente, atrayendo competidores que buscan socavar la corona de Nvidia.
Quizás por eso muchas empresas que quieren arrebatarle cuota de mercado a Nvidia empiezan precisamente con conclusiones.
Sin ir más lejos, un equipo de antiguos alumnos de Google fundó Groq, una startup centrada en hardware de inferencia, que participó en agosto en una ronda de financiación de casi 580 millones de euros que valoró su negocio en unos 2.500 millones de euros.
En diciembre de 2023, Positron AI salió del anonimato al introducir un microchip de inferencia que, como describió la empresa en ese momento, puede realizar los mismos cálculos que el H100 de Nvidia a un precio cinco veces más barato. Amazon, por su parte, está desarrollando chips de entrenamiento e inferencia llamados Trainium e Inferentia, respectivamente.
«Creo que cuanta más diversidad haya, mejor estaremos».Garman de AWS dijo en su entrevista para el podcast.
La empresa californiana Cerebras, conocida por sus grandes microchips de entrenamiento de inteligencia artificial, anunció la semana pasada que había desarrollado un chip de inferencia igualmente grande y el más rápido del mercado, como prometió su director ejecutivo, Andrew Feldman.
No todos los microchips de inferencia son iguales
El Los chips diseñados para cargas de trabajo de IA deben optimizarse para entrenamiento o inferencia.
Él La formación es la primera fase del desarrollo de una herramienta de inteligencia artificialcuando los datos catalogados y anotados se introducen en un modelo para que aprenda a producir resultados precisos y útiles. El La inferencia es el proceso de producir estos resultados una vez que el modelo ya está entrenado..
Los microchips de entrenamiento suelen optimizar la potencia informática. Por el contrario, los chips de inferencia requieren menos potencia informática. De hecho, parte de la inferencia se puede realizar en CPU tradicionales: microprocesadores. Los fabricantes de microchips dedicados a esta tarea están más preocupados por la latencia, ya que la diferencia entre una herramienta de IA que interviene y otra que molesta suele ser la velocidad. De ahí el compromiso del director general de Cerebras.
Según la empresa, el chip Cerebras tiene 7.000 veces más ancho de banda que el H100 de Nvidia. Esto puede crear un fenómeno que Feldman llama «velocidad vertiginosa».
La empresa, que ha iniciado su salida a bolsa, también ofrece inferencia como servicio por varias tarifas, incluida una gratuita.
«La inferencia es un problema de ancho de banda de la memoria»el propio CEO de Cerebras así lo señaló Información privilegiada sobre negocios.
Conócelo como trabajamos En Información privilegiada sobre negocios.
Etiquetas: Innovación, Tendencias, Inteligencia Artificial, Inversión, Semiconductores
Comments