El desafío de manejar un modelo de aprendizaje profundo radica en comprender por qué hace lo que hace. Ya sea por las sesiones de ajuste de xAI para perfeccionar la política peculiar de Grok, las luchas de ChatGPT con la adulación o las alucinaciones comunes, profundizar en una red neuronal que cuenta con miles de millones de parámetros no es una tarea fácil. Para abordar este problema, Guide Labs, una startup de San Francisco fundada por Julius Adebayo y Aya Abdelsalam Ismail, ha abierto el código de su modelo de lenguaje de 8 mil millones de parámetros, Steerling-8B, que se ha entrenado con una nueva arquitectura diseñada para hacer que sus acciones sean fácilmente interpretables.
Steerling-8B: Un enfoque innovador
Steerling-8B es un modelo de lenguaje que permite rastrear cada token producido hasta sus orígenes en los datos de entrenamiento del modelo. Esto puede ser tan simple como determinar los materiales de referencia para los hechos citados por el modelo, o tan complejo como entender la comprensión del humor o de género que tiene el modelo.
Julius Adebayo señala que este nuevo enfoque busca garantizar que todos los aspectos complejos, como la codificación de género, sean fácilmente accesibles y manipulables. A pesar de que con los modelos actuales se puede lograr, admite que es un proceso frágil, por lo que su objetivo es desarrollar una arquitectura más robusta.
Un trabajo académico respaldado por la experiencia
La labor de Adebayo comenzó mientras obtenía su doctorado en MIT, donde coescribió un artículo en 2018 que demostró que los métodos existentes para entender los modelos de aprendizaje profundo no eran confiables. Este trabajo llevó a la creación de una nueva forma de construir modelos de lenguaje, insertando una capa de concepto que clasifica los datos en categorías rastreables, lo que requiere una mayor anotación de datos inicial.
Adebayo aclara que lo que realiza su empresa es ingeniería del modelo desde sus cimientos, eliminando la necesidad de hacer un análisis profundo si se construye correctamente desde el principio.
Preocupaciones y oportunidades en la interpretación de modelos
Aunque este enfoque puede abordar la interpretabilidad, hay preocupaciones de que algunas de las conductas emergentes más interesantes de los modelos de lenguaje puedan desaparecer. Sin embargo, Adebayo asegura que su modelo todavía puede descubrir conceptos nuevos, como la computación cuántica, de manera autónoma.
Aplicaciones en sectores regulados
Adebayo argumenta que esta arquitectura interpretable será crucial para el futuro. Para modelos de lenguaje destinados al consumidor, permitirá a los creadores bloquear el uso de materiales protegidos por derechos de autor y controlar salidas relacionadas con temas sensibles como la violencia o el abuso de drogas. Además, en industrias reguladas, como la financiera, se requieren modelos más controlables que tengan en cuenta diversos factores sin incluir sesgos, como la raza.
La promesa de un futuro interpretativo
Guide Labs afirma que Steerling-8B puede lograr el 90% de las capacidades de los modelos existentes, pero utilizando menos datos de entrenamiento gracias a su innovadora arquitectura. Con una inversión reciente de 9 millones de dólares, la empresa planea construir un modelo más grande y comenzar a ofrecer acceso a través de API y otros medios.
Adebayo enfatiza que la manera en que se entrenan actualmente los modelos es primitiva, y democratizar esta interpretabilidad inherente será un avance positivo para la humanidad. En un futuro en el que se busca desarrollar modelos superinteligentes, es crucial que no se tomen decisiones en nuestra representación sin que comprendamos el funcionamiento de esos sistemas.
Consejos para emprendedores y negocios
- Entender la tecnología: Es fundamental que los emprendedores en el campo de la inteligencia artificial comprendan cómo funcionan sus modelos para poder ofrecer una interpretabilidad adecuada a sus usuarios.
- Investigar y emigrar a nuevas arquitecturas: Mantenerse actualizado con las últimas innovaciones, como en el caso de Guide Labs, puede ser la clave para diferenciarse en un mercado competitivo.
- Considerar la regulación: En sectores donde se requiere un alto nivel de control y cumplimiento normativo, asegúrate de que tus modelos sean adaptables a estas demandas.
- Fomentar una cultura de ética: Tener en cuenta las repercusiones de usar datos de manera responsable ayudará a construir confianza con los usuarios y a evitar problemas legales futuros.
Conclusiones
El campo del aprendizaje profundo sigue evolucionando y con ello surgen nuevos desafíos y oportunidades. La iniciativa de Guide Labs con Steerling-8B demuestra que es posible construir modelos más interpretables que no solo cumplan funciones prácticas, sino que también se alineen con las expectativas éticas y legales actuales. Para los emprendedores y empresas que se mueven en este entorno, la capacidad de adaptarse y entender los matices de estas tecnologías será esencial para lograr el éxito a largo plazo.