Модель OpenAI, которая принимает на вход текст и речь и отвечает текстом или озвученным голосом в одном запросе, без отдельных этапов распознавания и синтеза.
Модель OpenAI: GPT Audio доступна через API Apikley из России без VPN, с оплатой в рублях.
Модальности: Аудио · Текст
GPT Audio обрабатывает звук напрямую: на вход идут текст и аудио, на выходе можно получить текст, аудио или то и другое сразу. Отдельные модели распознавания речи и синтеза голоса не нужны: диалог идёт одним запросом к одной модели. По описанию OpenAI, актуальный снимок получил улучшенный декодер: голоса звучат естественнее, а единообразие голоса сохраняется лучше. Контекст составляет 128 тысяч токенов, ответ ограничен 16 384 токенами, знания заканчиваются в октябре 2023 года. Модель умеет вызывать функции и возвращать структурированный вывод, так что голосовой диалог можно связать с внешними сервисами: запросить статус заказа или записать клиента на приём. Модель находится в верхней трети каталога, что стоит учитывать при больших объёмах аудио.
OpenAI-совместимый API: POST https://api.apikley.ru/v1/chat/completions, ID модели openai/gpt-audio. Подойдёт официальный SDK OpenAI с базовым адресом https://api.apikley.ru/v1.
curl https://api.apikley.ru/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer YOUR_API_KEY" \
-d '{
"model": "openai/gpt-audio",
"messages": [
{
"role": "user",
"content": "Объясните, что такое API, в двух предложениях."
}
]
}'from openai import OpenAI
client = OpenAI(api_key="YOUR_API_KEY", base_url="https://api.apikley.ru/v1")
response = client.chat.completions.create(
model="openai/gpt-audio",
messages=[{"role": "user", "content": "Объясните, что такое API, в двух предложениях."}],
)
print(response.choices[0].message.content)GPT Audio принимает аудио напрямую и сам отвечает голосом, поэтому цепочка из нескольких моделей заменяется одним запросом.
Нет, на вход принимаются только текст и аудио. Для задач с картинками нужна другая модель, например мультимодальная текстовая.
Да, модель поддерживает вызов функций и структурированный вывод по JSON-схеме. Голосовой диалог можно связать с вашими сервисами, как и в текстовом чате.
Контекст модели составляет 128 тысяч токенов, и этого достаточно для многих записей, но сколько минут записи это даёт, зависит от того, во сколько токенов превращается звук. Проверьте длину на своих файлах.
OpenAI называет Mini экономичной версией GPT Audio. Модальности, окно контекста и предел ответа у обеих совпадают, поэтому разницу стоит проверять на своих записях.
Все AI-модели каталога Apikley — доступ через API из России, оплата в рублях, без VPN.