Cuando Brett Levenson dejó Apple en 2019 para liderar la integridad empresarial en Facebook, la red social se encontraba en medio de las repercusiones del escándalo de Cambridge Analytica. En ese momento, pensaba que podría solucionar el problema de moderación de contenido de Facebook simplemente con tecnología mejorada. Sin embargo, pronto se dio cuenta de que el problema era mucho más profundo y complejo.
Los desafíos en la moderación de contenido
Levenson aprendió que los revisores humanos que moderaban el contenido debían memorizar un documento de políticas de 40 páginas que había sido traducido automáticamente a su idioma. Disponían de aproximadamente 30 segundos por cada contenido marcado para decidir no solo si violaba las reglas, sino también la acción que debían tomar: bloquearlo, prohibir al usuario o limitar su difusión. Según Levenson, esas decisiones tenían una precisión de apenas «un poco más del 50%».
La limitación de un enfoque reactivo
Este enfoque reactivo y tardío no es sostenible en un mundo donde los actores malintencionados son ágiles y están bien financiados. El aumento de los chatbots de IA ha agravado la situación, llevando a fallos en la moderación que resultaron en incidentes de alto perfil, como chatbots que proporcionan guías de autolesión a adolescentes.
La innovación de Moonbounce
La frustración de Levenson generó la idea de «política como código», es decir, transformar documentos de políticas estáticas en lógica ejecutable y actualizable asociada a una aplicación efectiva. Esta visión dio lugar a la creación de Moonbounce, que recientemente recaudó 12 millones de dólares en financiación y cuyo objetivo es proporcionar una capa adicional de seguridad allí donde se genere contenido, ya sea por un usuario o por IA.
El funcionamiento de Moonbounce
Moonbounce ha desarrollado su propio modelo de lenguaje que examina los documentos de políticas de los clientes, evalúa el contenido en tiempo real y responde en menos de 300 milisegundos. Dependiendo de las preferencias del cliente, las acciones que se tomen podrían incluir la desaceleración de la distribución del contenido hasta una revisión humana o el bloqueo de contenido de alto riesgo en el momento.
Actualmente, Moonbounce opera en tres verticales principales: plataformas que tratan con contenido generado por usuarios, empresas de IA que crean personajes o compañeros y generadores de imágenes por IA. La empresa apoya más de 40 millones de revisiones diarias y da servicio a más de 100 millones de usuarios activos en la plataforma.
La seguridad como ventaja competitiva
Levenson enfatiza que la seguridad puede ser en realidad un beneficio del producto. Las plataformas están encontrando maneras innovadoras de utilizar la tecnología de Moonbounce para hacer de la seguridad un diferenciador y parte de su relato de producto. Tinder, por ejemplo, ha utilizado este tipo de servicios potenciados por modelos de lenguaje para mejorar la precisión de detección hasta 10 veces.
La presión legal sobre las empresas de IA
Las empresas de IA enfrentan una creciente presión legal y de reputación tras ser acusadas de influir en adolescentes y usuarios vulnerables hacia la suicidio y de crear imágenes desnudas no consensuadas. Levenson declara que cada vez más empresas de IA buscan ayuda externa para fortalecer su infraestructura de seguridad, señalando que su sistema se concentra en hacer cumplir las reglas en tiempo real.
Futuras innovaciones y dirección
Levenson, junto a su ex colega de Apple, Ash Bhardwaj, dirige Moonbounce y se centra en un nuevo enfoque llamado «steering iterativo«. Esta función busca modificar las conversaciones de los chatbots en tiempo real para ofrecer respuestas más útiles y no solo ser oyentes empáticos.
Consejos para emprendedores y negocios
-
Identificar y solucionar problemas profundos: No subestimes la complejidad de los problemas en tu industria. Investiga a fondo las necesidades de tus usuarios.
-
Innovar con la tecnología: Considera cómo puedes utilizar la tecnología para ofrecer soluciones que vayan más allá de lo convencional; como en el caso de «política como código».
-
Buscar asociaciones estratégicas: Colabora con otras empresas o startups para fortalecer tu oferta de productos y servicios.
-
Priorizar la seguridad desde el inicio: Integra la seguridad y la moderación en tus procesos desde el comienzo para evitar problemas futuros.
- Enfocarse en la satisfacción del cliente: Escucha las necesidades de tus usuarios y utiliza sus comentarios para mejorar tus productos.
Conclusiones
El caso de Moonbounce ilustra la importancia de abordar problemas complejos en la moderación de contenido de manera proactiva y tecnológica. Las plataformas de contenido y las empresas de IA deben adaptarse para enfrentar los desafíos actuales, garantizando no solo la seguridad de sus usuarios, sino también transformando esa seguridad en un elemento clave de su oferta de valor. Con un enfoque adecuado, la innovación y la mejor toma de decisiones pueden transformar la manera en que operan estas empresas en un entorno digital cada vez más complejo y competitivo.