Los adolescentes están intentando encontrar su lugar en un mundo que cambia más rápido que en cualquier generación anterior. Rebosantes de emociones, hiperestimulados y crónicamente conectados en línea, ahora enfrentan una nueva realidad: las empresas de inteligencia artificial (IA) les han proporcionado chatbots diseñados para mantener conversaciones interminables. Los resultados han sido desastrosos, especialmente para Character.AI, una startup de rol de IA que ha experimentado demandas y críticas públicas después de que al menos dos adolescentes se suicidaran tras largas interacciones con estos chatbots. En respuesta, la compañía está haciendo cambios significativos en su plataforma para proteger a los menores, aunque estos cambios podrían impactar negativamente en sus beneficios.
Cambios en la Plataforma
La empresa decidió eliminar la posibilidad de que los usuarios menores de 18 años participen en chats abiertos con la IA en su plataforma. La conversación abierta se refiere al intercambio ilimitado que ocurre cuando los usuarios interactúan con un chatbot, que responde con preguntas de seguimiento diseñadas para mantener a los usuarios comprometidos. Esta decisión surge como una medida de alineación con la visión de la empresa y de protección hacia los jóvenes.
Implementación y Verificación de Edades
Character.AI comenzará a eliminar el acceso de los adolescentes a los chatbots para el 25 de noviembre, implementando inicialmente un límite diario de dos horas que se reducirá progresivamente hasta llegar a cero. Para garantizar el cumplimiento de esta restricción por parte de los menores de 18 años, la plataforma empleará una herramienta de verificación de edad propia que analiza el comportamiento del usuario, además de herramientas de terceros como Persona. Si estas herramientas no son eficaces, recurrirán a reconocimiento facial y verificaciones de identidad.
Protección y Seguridad
Character.AI ha introducido otras medidas de protección para adolescentes, como herramientas de insights para padres, personajes filtrados, limitación de conversaciones románticas y notificaciones sobre el tiempo de uso. Estas modificaciones han provocado que muchos usuarios menores de 18 años abandonen la plataforma, un hecho que el CEO anticipa que se intensificará con los nuevos cambios.
Redefinición de la Plataforma
La plataforma está pivotando de ser un «compañero de IA» a una «plataforma de rol». En lugar de chatear con un amigo IA, los adolescentes usarán indicaciones para construir historias colaborativas o generar visuales. Además, Character.AI lanzó recientemente funciones centradas en el entretenimiento como AvatarFX, Scenes y Streams, y un Community Feed, buscando convertirse en una «plataforma social impulsada por contenido».
Respuesta y Adaptación de los Usuarios
Aunque algunos adolescentes pueden migrar a otras plataformas de IA que permitan conversaciones abiertas, el CEO espera que muchos se adapten y aprecien las nuevas experiencias creativas ofrecidas.
Conclusiones y Recomendaciones para Emprendedores
Proteger a los usuarios debe ser una prioridad, especialmente cuando involucra a menores. Las empresas de tecnología deben estar preparadas para adaptar sus productos y servicios en respuesta a las preocupaciones de seguridad y a la legislación emergente. Es crucial invertir en herramientas de moderación y control parental para mantener un entorno seguro. Los negocios emergentes en el ámbito de la IA deben prever y estar preparados para la respuesta regulatoria y las demandas cambiantes del mercado y de los usuarios.
La transición de Character.AI de una interacción basada en la conversación a una focalizada en la creación, puede servir de modelo para otros en la industria, destacando la importancia de la innovación responsable y la adaptación estratégica en el desarrollo de tecnologías emergentes.