Агентная модель ByteDance для управления графическими интерфейсами: смотрит на скриншот и решает, куда кликнуть и что ввести.
Модель ByteDance: UI-TARS 7B доступна через OpenAI-совместимый API Apikley из России без VPN, с оплатой в рублях: от 27 ₽ / 1M токенов.
UI-TARS-1.5 читает скриншот экрана и текст задачи и выдаёт текст с действием или планом. Модель разработана ByteDance для работы с графическими интерфейсами: настольными программами, браузером, мобильными системами и играми. Перед действием она рассуждает, планирует многошаговые сценарии и находит на изображении элементы, по которым нужно кликнуть. Вход состоит из изображений и текста, ответ приходит текстом. Окно составляет 128 000 токенов, зато ответ ограничен 2048 токенами. Знания ограничены январём 2025 года. По данным разработчика, версия 7B лучше подходит для общих задач с компьютером, а для игр сильнее старшая модель UI-TARS-1.5. Веса открыты по лицензии Apache 2.0.
OpenAI-совместимый API: POST https://api.apikley.ru/v1/chat/completions, ID модели bytedance/ui-tars-1.5-7b. Подойдёт официальный SDK OpenAI с базовым адресом https://api.apikley.ru/v1.
curl https://api.apikley.ru/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer YOUR_API_KEY" \
-d '{
"model": "bytedance/ui-tars-1.5-7b",
"messages": [
{
"role": "user",
"content": "Объясните, что такое API, в двух предложениях."
}
]
}'from openai import OpenAI
client = OpenAI(api_key="YOUR_API_KEY", base_url="https://api.apikley.ru/v1")
response = client.chat.completions.create(
model="bytedance/ui-tars-1.5-7b",
messages=[{"role": "user", "content": "Объясните, что такое API, в двух предложениях."}],
)
print(response.choices[0].message.content)Модель получает скриншот и задачу и возвращает текстом нужное действие в интерфейсе. Она рассчитана на компьютер, браузер, телефон и игры.
Apache 2.0, веса опубликованы на Hugging Face.
Для этого лучше выбрать универсальную модель. UI-TARS заточена под действия в интерфейсах, а короткий лимит ответа не оставляет места длинным диалогам.
Да, поиск кликабельных элементов, или привязка к интерфейсу, входит в её заявленные возможности. Вместе с планированием шагов это основа для автоматизации сценариев.
Сколько именно кадров влезет, зависит от разрешения.
Все AI-модели каталога Apikley — доступ через API из России, оплата в рублях, без VPN.