La creciente demanda de ordenadores para ejecutar modelos de Inteligencia Artificial (IA) ha aumentado considerablemente, pero hay dos grandes obstáculos que deben superar quienes se dediquen a este negocio: conseguir los chips adecuados y ubicarlos en los centros de datos donde puedan empezar a generar ingresos. La empresa General Compute, que alquila potencia de procesamiento para IA, ha encontrado soluciones a estas cuestiones que iluminan hacia dónde se dirige el ecosistema de IA. Gracias a estas respuestas, la compañía ha conseguido una ronda de financiación inicial de 15 millones de dólares valorada en 60 millones de dólares tras la inversión, liderada por FUSE VC, con participación de Carya Venture Partners y Village Global Ventures.
La búsqueda del chip adecuado
El auge de las GPUs y sus limitaciones
La demanda de GPUs ha aumentado de forma exponencial; sin embargo, se está convirtiendo en una sabiduría convencional que estos no son los chips más adecuados para ejecutar modelos de IA una vez que han sido entrenados. La fase de IA en la que un modelo genera respuestas activamente tiene requisitos computacionales diferentes a los de entrenamiento. Como resultado, se está diseñando una nueva clase de chips específicamente para satisfacer estas necesidades.
Nuevas alternativas en el mercado
Las recientes transacciones de Nvidia, que ascendieron a 20 mil millones de dólares, y la salida a bolsa de Cerebras por 57 mil millones de dólares, indican la dirección del mercado. Con la capacidad de producción de estos dos gigantes tecnológicos limitada, los cofundadores de General Compute, el CEO Finn Puklowski y el CTO Jason Goodison, decidieron buscar otras opciones. Se han orientado hacia chips especializados fabricados por SambaNova, una empresa respaldada por Intel que se centra en tareas de inferencia.
Innovaciones de SambaNova
SambaNova está a punto de lanzar nuevos chips este año que prometen ser más flexibles y usar más memoria para almacenar el contexto durante los cálculos de inferencia. Según la compañía, estos chips superan no solo a las GPUs, sino también a otros chips especializados desarrollados por empresas como Groq o Cerebras. Puklowski ha afirmado que los nuevos chips generarán entre 600 y 700 tokens por segundo, en comparación con los aproximadamente 250 tokens por segundo de las GPUs.
Solucionando el problema del espacio
General Compute tiene un pedido de 300 millones de dólares en chips SN50 y afirma que será la primera empresa en implementar esta tecnología en la nube. Una de las ventajas de estos chips es que son refrigerados por aire y no necesitan agua, lo que reduce el consumo de energía y permite su instalación en instalaciones de centros de datos existentes sin necesidad de inversiones en infraestructura nuevas.
Acuerdos de colocación
Puklowski está buscando acuerdos de colocación, que son colaboraciones donde General Compute instala su hardware en las instalaciones de otros. Está en negociaciones no solo con proveedores de centros de datos, sino también con mineros de criptomonedas que buscan reutilizar su infraestructura, dado que el coste de producción de un bitcoin a menudo ha superado su precio actual.
Lanzamiento y perspectivas de crecimiento
General Compute lanzó su oferta en la nube la semana pasada, afirmando que ya es la más rápida en ejecutar MiniMax 2.7, un potente modelo de lenguaje abierto. El inversionista en riesgo Joe Hassleman, quien ha participado en el auge de la inferencia desde su inversión en Groq en 2021, ha lanzado un nuevo fondo, Evercrest Partners, centrado en el ámbito de la IA y ha hecho de General Compute su primera inversión.
La importancia de la mezcla de clientes
Hassleman señala que General Compute necesita una mezcla saludable de clientes que pongan sus chips en entornos que experimenten un gran crecimiento. Asimismo, destaca que SambaNova está haciendo una apuesta por General Compute, lo que puede indicar un futuro prometedor para ambas partes.
La arquitectura de computadoras en el futuro de la IA
El futuro de las nubes de inferencia parece depender de múltiples modelos y agentes, donde no hay un solo proveedor dominante y donde la velocidad y el costo de la inferencia se convierten en variables competitivas clave. La reciente ronda de financiación de 113 millones de dólares recaudada por OpenRouter refleja la capacidad de la empresa para ofrecer acceso a múltiples modelos y optimizar el gasto en tokens de sus clientes.
Estrategias para mejorar tiempos de respuesta
Puklowski desea transformar cargas de trabajo que duran horas en tareas de cinco o diez minutos y hacer que los agentes de audio para servicio al cliente, que requieren inferencias más rápidas, sean más económicos. Es fundamental mejorar la velocidad en este proceso, ya que la eficiencia en el uso de tokens es crucial: «Si utilizas ChatGPT y te proporciona 50 tokens por segundo, eso sigue siendo mucho más rápido de lo que podemos leer», explicaba Puklowski.
Consejos para emprendedores y negocios relacionados
- Investiga y selecciona los mejores chips: Estar informado sobre las últimas innovaciones en hardware puede proporcionar a tu negocio una ventaja competitiva.
- Explora acuerdos de colocación: Considera colaborar con otros centros de datos o industrias, como la minería de criptomonedas, para diversificar tus fuentes de ingresos.
- Optimiza tu infraestructura: Aprovecha tecnologías de bajo consumo energético para reducir costos operativos y permitir una instalación más flexible.
- Diversifica los modelos de negocio: Ofrecer acceso a múltiples modelos y opciones puede mejorar la propuesta de valor para tus clientes.
Conclusiones
La demanda de computadoras para ejecutar modelos de IA está en constante crecimiento, pero la superación de los obstáculos relacionados con los chips y los centros de datos es esencial. La innovación en el diseño de chips y la mejora de la infraestructura son factores clave que pueden determinar el éxito de las empresas en este dinámico ecosistema. Con la colaboración adecuada y la implementación de tecnologías avanzadas, empresas como General Compute están bien posicionadas para liderar el camino en el futuro de la IA.