Mucho de lo que se conversa hoy en día acerca de la inteligencia artificial (IA) se centra en la construcción de capacidades en la nube y centros de datos masivos para ejecutar modelos. Sin embargo, empresas como Apple y Qualcomm están comenzando a hacer que la IA en los dispositivos sea más útil. En este contexto, el equipo técnico de 14 personas de la startup londinense Mirai está trabajando para optimizar la forma en que los modelos operan en teléfonos y laptops.
Fundadores y Contexto
Mirai fue fundada el año pasado por Dima Shvets y Alexey Moiseenkov, quienes cuentan con experiencia en la creación de aplicaciones de consumo escalables. Shvets cofundó la popular aplicación Reface, respaldada por la firma de capital riesgo a16z, mientras que Moiseenkov fue el CEO y cofundador de Prisma, otra aplicación viral de filtros de IA de la última década. Ambos habían estado reflexionando sobre la IA y el aprendizaje automático en dispositivos incluso antes de que la IA generativa alcanzara su popularidad.
La Necesidad de IA en Dispositivos
Según Shvets, cuando se reunieron en Londres, se dieron cuenta de que, en medio del hype de la IA generativa, la conversación se centraba demasiado en la nube y los servidores, dejando un vacío en lo que respecta a la IA en hardware de consumo. «La pieza que falta es la IA en el dispositivo», comentó. Su objetivo era utilizar la IA para crear una tubería que permitiera realizar tareas complejas en el teléfono, lo que los llevó a fundar Mirai. Escucharon de otros desarrolladores de aplicaciones que también deseaban optimización de costos y márgenes por uso de tokens.
Desarrollo Técnico de Mirai
Actualmente, Mirai está desarrollando un marco de trabajo que mejore el rendimiento de los modelos en dispositivos. Han construido un motor de inferencia para Apple Silicon que optimiza el rendimiento en el dispositivo. Con su próximo SDK, los desarrolladores pueden integrar la ejecución en sus aplicaciones con solo unas pocas líneas de código.
Integración Sencilla
Shvets destaca que uno de los objetivos de la empresa es ofrecer una experiencia de integración sencilla: «Queríamos proporcionar a los desarrolladores una experiencia de integración como la de Stripe… puedes ir a nuestra plataforma, integrar la clave y comenzar a trabajar con la resumen, clasificación, o cualquier otro caso de uso”.
Ventajas Técnicas
Mirai ha construido su motor utilizando el lenguaje de programación Rust, afirmando que puede aumentar la velocidad de generación de un modelo hasta en un 37%. La compañía asegura que, a pesar de ajustar el modelo para una plataforma, no manipulan los pesos del modelo para garantizar que no haya pérdida en la calidad de salida.
Foco Actual y Futuros Planes
El foco actual de Mirai se centra en mejorar las modalidades de texto y voz en la plataforma, con planes de soporte para visión en el futuro. También están trabajando con proveedores de modelos de frontera para afinar sus modelos para uso en el borde y están en conversaciones con diferentes fabricantes de chips. Más adelante, planean extender su motor a Android.
Objetivos y Próximas Etapas
Además, Mirai tiene como objetivo lanzar evaluaciones de rendimiento en el dispositivo para que los creadores de modelos puedan probar su rendimiento. Sin embargo, Shvets reconoce que no todo el trabajo de IA puede realizarse en el dispositivo. Para permitir un modo de operación mixto, el equipo está construyendo una capa de orquestación que enviará solicitudes que no pueden cumplirse en el dispositivo hacia la nube.
Potencial de Aplicación
Aunque la startup aún no está trabajando directamente con aplicaciones, su motor podría alimentar asistentes en el dispositivo, transcriptores, traductores y aplicaciones de chat. Andy McLoughlin, socio gerente de Uncork Capital, destacó que la situación actual es diferente a hace una década, cuando invirtió en una empresa de aprendizaje automático en el borde que eventualmente fue vendida a Spotify.
Consejos para Emprendedores y Negocios
-
Entender las Tendencias: Es esencial estar al tanto de las tendencias tecnológicas, como la creciente importancia de la IA en el dispositivo, para desarrollar productos y servicios relevantes en el mercado.
-
Enfoque en la Experiencia de Usuario: La simplicidad en la integración y el uso de la tecnología puede ser un diferenciador clave. Asegúrate de que tus soluciones sean fáciles de adoptar para los desarrolladores.
-
Optimización de Costos: Considera la viabilidad económica de tus soluciones. Los negocios deben ser sostenibles y rentables, especialmente en un entorno donde los costos de la nube podrían volverse prohibitivos.
-
Colaboración con Expertos: Invertir en la formación de un equipo técnico competente y trabajar con profesionales en la materia puede potenciar el desarrollo de tecnologías disruptivas.
- Futuro Proactivo: Anticipa y planifica el futuro; estar preparado para las demandas cambiantes del mercado puede ser la clave del éxito.
Conclusiones
Mirai representa un enfoque innovador hacia la inteligencia artificial en dispositivos, buscando optimizar el rendimiento de los modelos en hardware de consumo. Mientras que la tendencia se ha centrado históricamente en soluciones basadas en la nube, la perspectiva de operar en el dispositivo podría marcar un cambio significativo. La startup se encuentra en una posición favorable para captar la creciente demanda de soluciones de IA optimizadas, lo que podría transformar la forma en que la tecnología se integra en nuestras vidas diarias. La creciente necesidad de optimización de costos y la búsqueda de soluciones económicas son retos estimulantes que cualquier emprendedor en el ámbito de la tecnología debe tener en cuenta.