Дообучение Qwen2.5 72B от сообщества Anthracite для художественной прозы и ролевых диалогов с целью приблизиться к прозе Claude 3.
Модель Magnum v4 72B доступна через OpenAI-совместимый API Apikley из России без VPN, с оплатой в рублях: от 675 ₽ / 1M токенов.
Magnum v4 72B создана для живого художественного текста. Авторы из Anthracite дообучили Qwen2.5 72B Instruct с полным обновлением весов и поставили цель приблизиться к стилю прозы моделей Claude 3, Sonnet и Opus. Обучение шло на шести наборах данных, среди них образцы письма Claude и данные для выполнения инструкций с меньшим числом отказов. Это текстовая модель без изображений. Окно составляет 32 768 токенов, но ответ ограничен 4096, поэтому длинные главы удобнее писать кусками и подавать предыдущий текст в запрос. Запросы строятся в формате ChatML, для SillyTavern у авторов есть готовые шаблоны контекста и инструкций. Модель поддерживает структурированный вывод и богатый набор настроек сэмплирования, включая штраф за повторы. Знания ограничены июнем 2024 года. Обучена она поверх instruct-версии Qwen2.5.
OpenAI-совместимый API: POST https://api.apikley.ru/v1/chat/completions, ID модели anthracite-org/magnum-v4-72b. Подойдёт официальный SDK OpenAI с базовым адресом https://api.apikley.ru/v1.
curl https://api.apikley.ru/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer YOUR_API_KEY" \
-d '{
"model": "anthracite-org/magnum-v4-72b",
"messages": [
{
"role": "user",
"content": "Объясните, что такое API, в двух предложениях."
}
]
}'from openai import OpenAI
client = OpenAI(api_key="YOUR_API_KEY", base_url="https://api.apikley.ru/v1")
response = client.chat.completions.create(
model="anthracite-org/magnum-v4-72b",
messages=[{"role": "user", "content": "Объясните, что такое API, в двух предложениях."}],
)
print(response.choices[0].message.content)На Qwen2.5 72B Instruct. Авторы Anthracite провели полное дообучение весов с целью приблизить прозу к моделям Claude 3 Sonnet и Opus. Лицензия весов Apache 2.0.
ChatML: реплики оформляются служебными токенами начала и конца сообщения. Для SillyTavern у авторов есть готовые шаблоны контекста и инструкций.
Через OpenAI-совместимый API по адресу https://api.apikley.ru/v1 с идентификатором модели anthracite-org/magnum-v4-72b. Доступ из России работает без VPN.
Нет. Длинную главу нужно собирать по частям, передавая предыдущий фрагмент в запрос; окно в 32 768 токенов это позволяет.
Да, структурированный вывод и формат ответа поддерживаются.
Все AI-модели каталога Apikley — доступ через API из России, оплата в рублях, без VPN.