Magnum v4 72B

Дообучение Qwen2.5 72B от сообщества Anthracite для художественной прозы и ролевых диалогов с целью приблизиться к прозе Claude 3.

Модель Magnum v4 72B доступна через OpenAI-совместимый API Apikley из России без VPN, с оплатой в рублях: от 675 ₽ / 1M токенов.

Автор
Anthracite Org
ID модели
anthracite-org/magnum-v4-72b
Контекст
33K токенов
Max output
4.1K токенов
Модальности
текст → текст
Выход
13 500 кредитов / 1M токенов · 1 350 ₽ / 1M токенов · 1 ₽ = 10 кредитов
Вход
6 750 кредитов / 1M токенов · 675 ₽ / 1M токенов · 1 ₽ = 10 кредитов
Дата релиза
22.10.2024
Доступность
Нет свежих данных проверки

Описание

Magnum v4 72B создана для живого художественного текста. Авторы из Anthracite дообучили Qwen2.5 72B Instruct с полным обновлением весов и поставили цель приблизиться к стилю прозы моделей Claude 3, Sonnet и Opus. Обучение шло на шести наборах данных, среди них образцы письма Claude и данные для выполнения инструкций с меньшим числом отказов. Это текстовая модель без изображений. Окно составляет 32 768 токенов, но ответ ограничен 4096, поэтому длинные главы удобнее писать кусками и подавать предыдущий текст в запрос. Запросы строятся в формате ChatML, для SillyTavern у авторов есть готовые шаблоны контекста и инструкций. Модель поддерживает структурированный вывод и богатый набор настроек сэмплирования, включая штраф за повторы. Знания ограничены июнем 2024 года. Обучена она поверх instruct-версии Qwen2.5.

Кому подходит

  • Авторам и разработчикам, которым нужна модель, нацеленная на художественную прозу
  • Ролевым чатам и сюжетным играм с настраиваемым сэмплированием
  • Тем, кто уже работает с форматом ChatML и SillyTavern

Ограничения

  • Ответ не длиннее 4096 токенов: большой рассказ придётся писать частями
  • Изображения не принимает, вызов функций не заявлен
  • Знания до июня 2024 года, свежие события модель не знает

Сценарии использования

  • Ведущий текстовой ролевой игры — Разработчик игрового бота даёт модели карточку персонажа и историю, а она продолжает сцену от лица героя.
  • Черновик главы рассказа — Автор фантастики пишет сцену с описанием места и диалогом, затем редактирует результат вручную.
  • Диалоги для персонажей в играх — Сценарист игры генерирует варианты реплик, подбирая температуру и штрафы за повторы.
  • Подключение к SillyTavern — Энтузиаст ролевых чатов использует готовый шаблон ChatML и настраивает сэмплирование под свой стиль.

Magnum v4 72B API: как подключить

OpenAI-совместимый API: POST https://api.apikley.ru/v1/chat/completions, ID модели anthracite-org/magnum-v4-72b. Подойдёт официальный SDK OpenAI с базовым адресом https://api.apikley.ru/v1.

cURL

curl https://api.apikley.ru/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -d '{
  "model": "anthracite-org/magnum-v4-72b",
  "messages": [
    {
      "role": "user",
      "content": "Объясните, что такое API, в двух предложениях."
    }
  ]
}'

Python

from openai import OpenAI

client = OpenAI(api_key="YOUR_API_KEY", base_url="https://api.apikley.ru/v1")

response = client.chat.completions.create(
    model="anthracite-org/magnum-v4-72b",
    messages=[{"role": "user", "content": "Объясните, что такое API, в двух предложениях."}],
)
print(response.choices[0].message.content)

Быстрый старт · Chat Completions: параметры и ответы

Похожие модели

FAQ

На чём основана Magnum v4 72B?

На Qwen2.5 72B Instruct. Авторы Anthracite провели полное дообучение весов с целью приблизить прозу к моделям Claude 3 Sonnet и Opus. Лицензия весов Apache 2.0.

Какой формат запроса нужен?

ChatML: реплики оформляются служебными токенами начала и конца сообщения. Для SillyTavern у авторов есть готовые шаблоны контекста и инструкций.

Как вызвать модель через API?

Через OpenAI-совместимый API по адресу https://api.apikley.ru/v1 с идентификатором модели anthracite-org/magnum-v4-72b. Доступ из России работает без VPN.

Хватит ли лимита ответа на длинную главу?

Нет. Длинную главу нужно собирать по частям, передавая предыдущий фрагмент в запрос; окно в 32 768 токенов это позволяет.

Можно ли получить ответ по JSON-схеме?

Да, структурированный вывод и формат ответа поддерживаются.

Все AI-модели каталога Apikley — доступ через API из России, оплата в рублях, без VPN.