Компактная текстовая модель Alibaba на 7 млрд параметров для простых задач: классификация, извлечение полей, короткие ответы и вызов функций.
Модель Qwen: Qwen2.5 7B Instruct доступна через OpenAI-совместимый API Apikley из России без VPN, с оплатой в рублях: от 27 ₽ / 1M токенов.
Qwen2.5 7B Instruct — маленький представитель поколения Qwen2.5 от Alibaba, 7,61 млрд параметров. Он подходит для массовых несложных операций, где важнее объём запросов, чем глубина рассуждений: разметка текстов, извлечение данных, короткие ответы пользователям. По описанию разработчика, поколение Qwen2.5 принесло больше знаний, лучший код и математику, устойчивость к разным системным промптам и более надёжный JSON. Модель принимает вызов функций и структурированный вывод. Поддерживается более 29 языков, включая русский. Контекст здесь 32 768 токенов, максимум ответа 29 491 токен. Вход и выход только текстовые, знания обрываются в июне 2024 года.
OpenAI-совместимый API: POST https://api.apikley.ru/v1/chat/completions, ID модели qwen/qwen-2.5-7b-instruct. Подойдёт официальный SDK OpenAI с базовым адресом https://api.apikley.ru/v1.
curl https://api.apikley.ru/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer YOUR_API_KEY" \
-d '{
"model": "qwen/qwen-2.5-7b-instruct",
"messages": [
{
"role": "user",
"content": "Объясните, что такое API, в двух предложениях."
}
]
}'from openai import OpenAI
client = OpenAI(api_key="YOUR_API_KEY", base_url="https://api.apikley.ru/v1")
response = client.chat.completions.create(
model="qwen/qwen-2.5-7b-instruct",
messages=[{"role": "user", "content": "Объясните, что такое API, в двух предложениях."}],
)
print(response.choices[0].message.content)Размером: у 7B 7,61 млрд параметров, у Qwen2.5 72B Instruct 72 млрд. Окно контекста у обеих одинаковое, предел ответа у 7B больше: 29 491 против 16 384 токенов.
Да, вызов функций и выбор инструмента поддерживаются, поэтому её можно ставить в роль маршрутизатора в агентской схеме.
Да, структурированный вывод поддерживается. Разработчик отмечает, что в Qwen2.5 JSON стал надёжнее, чем в Qwen2.
Это зависит от длины документа: окно контекста ограничено, и всё, что в него не помещается, делите на части и обрабатывайте по очереди.
Да, русский входит в список из более чем 29 языков, которые заявляет Alibaba для поколения Qwen2.5.
Все AI-модели каталога Apikley — доступ через API из России, оплата в рублях, без VPN.