Каждый день · проверено по первоисточникуВсе выпуски
Применяй ИИ
Новости ИИ и технологий каждый день
Находки и кодГлавное

Vercel Labs выложила agent-desktop: CLI и C-библиотеку, через которые ИИ-агент видит и управляет десктопными приложениями на macOS, Windows и Linux

🖥 Vercel Labs выложила agent-desktop: CLI и C-библиотеку, через которые ИИ-агент видит и управляет десктопными приложениями на macOS, Windows и Linux.

Работает через дерево доступности ОС, а не по скриншотам. Команда snapshot отдаёт JSON, где у каждого элемента, с которым можно взаимодействовать, есть ref. Агент кликает по ref, снова делает snapshot и проверяет результат. Сравнения пикселей нет.

🛠 Ставится так: `npm install -g agent-desktop`. На macOS нужно выдать право Accessibility, на Linux нужен at-spi2-core. В комплекте 60 имён команд: клики, ввод, окна, буфер обмена, уведомления.

По умолчанию ref-действия идут без движения курсора и захвата фокуса. Физический ввод включается флагом `--headed`.

🔒 Снимки, скриншоты и буфер могут содержать личное, так что в публичные логи их лучше не отправлять.

Лицензия Apache-2.0. Репозиторий по ссылке.

Темы:AppleИИ-агентыMicrosoft и Windows

Комментарии

Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение

Ещё по теме