Los desarrolladores ahora pueden integrar los modelos de ChatGPT y Whisper en sus aplicaciones y productos a través de nuestra API.
Ahora, los modelos de ChatGPT y Whisper están disponibles en nuestra API, lo que brinda a los desarrolladores acceso a capacidades de lenguaje (¡no solo de chat!) y de conversión de voz a texto de vanguardia. A través de una serie de optimizaciones en todo el sistema, hemos logrado una reducción del 90% en el costo de ChatGPT desde diciembre; ahora estamos pasando esos ahorros a los usuarios de la API. Los desarrolladores ahora pueden usar nuestro modelo Whisper large-v2 de código abierto en la API con resultados mucho más rápidos y rentables. Los usuarios de la API de ChatGPT pueden esperar mejoras continuas en el modelo y la opción de elegir capacidad dedicada para un control más profundo sobre los modelos. También hemos escuchado atentamente los comentarios de nuestros desarrolladores y hemos mejorado los términos de servicio de nuestra API para satisfacer mejor sus necesidades.
API
Tradicionalmente, los modelos GPT consumen texto no estructurado, que se representa al modelo como una secuencia de «tokens». Los modelos ChatGPT, en cambio, consumen una secuencia de mensajes junto con metadatos. (Para los curiosos: debajo del capó, la entrada todavía se renderiza al modelo como una secuencia de «tokens» para que el modelo la consuma; el formato crudo utilizado por el modelo es un nuevo formato llamado Lenguaje de Marcado de Chat («ChatML»).)
API de ChatGPT
Modelo: La familia de modelos ChatGPT que estamos lanzando hoy, gpt-3.5-turbo, es el mismo modelo utilizado en el producto ChatGPT. Su precio es de $0,002 por 1.000 tokens, lo que es 10 veces más barato que nu
Actualizaciones de ChatGPT
Estamos constantemente mejorando nuestros modelos de ChatGPT y queremos hacer estas mejoras disponibles para los desarrolladores también. Los desarrolladores que usan el modelo gpt-3.5-turbo siempre obtendrán nuestro modelo estable recomendado, pero aún así tendrán la flexibilidad de optar por una versión de modelo específica. Por ejemplo, hoy lanzamos gpt-3.5-turbo-0301, que será compatible hasta al menos el 1 de junio, y actualizaremos gpt-3.5-turbo a una nueva versión estable en abril. La página de modelos proporcionará actualizaciones de cambio.
Instancias dedicadas
También ofrecemos ahora instancias dedicadas para usuarios que quieren un mayor control sobre la versión específica del modelo y el rendimiento del sistema. Por defecto, las solicitudes se ejecutan en infraestructura de cómputo compartida con otros usuarios, que pagan por solicitud. Nuestra API se ejecuta en Azure, y con instancias dedicadas, los desarrolladores pagarán por período de tiempo para una asignación de infraestructura de cómputo reservada para atender sus solicitudes.
Los desarrolladores tienen un control completo sobre la carga de la instancia (una carga mayor mejora el rendimiento pero ralentiza cada solicitud), la opción de habilitar características como límites de contexto más largos y la capacidad de fijar la instantánea del modelo.
Las instancias dedicadas pueden tener sentido económico para los desarrolladores que ejecutan más de ~450M tokens al día. Además, permite optimizar directamente la carga de trabajo de un desarrollador en función del rendimiento del hardware, lo que puede reducir drásticamente los costos en comparación con la infraestructura compartida. Para consultas sobre instancias dedicadas, contáctenos.
API de Whisper Whisper
El modelo de voz a texto que publicamos en código abierto en septiembre de 2022, ha recibido una gran cantidad de elogios de la comunidad de desarrolladores, pero también puede ser difícil de ejecutar. Ahora hemos puesto el modelo grande-v2 a disposición a través de nuestra API, lo que brinda acceso conveniente y bajo demanda a un precio de $0.006 / minuto. Además, nuestra pila de servicio altamente optimizada garantiza un rendimiento más rápido en comparación con otros servicios.
La API de Whisper está disponible a través de nuestros puntos de enfoque de transcripciones (transcribe en el idioma original) o traducciones (transcribe al inglés) y acepta una variedad de formatos (m4a, mp3, mp4, mpeg, mpga, wav, webm)
