Vercel Labs выложила agent-desktop: CLI и C-библиотеку, через которые ИИ-агент видит и управляет десктопными приложениями на macOS, Windows и Linux

🖥 Vercel Labs выложила agent-desktop: CLI и C-библиотеку, через которые ИИ-агент видит и управляет десктопными приложениями на macOS, Windows и Linux.
Работает через дерево доступности ОС, а не по скриншотам. Команда snapshot отдаёт JSON, где у каждого элемента, с которым можно взаимодействовать, есть ref. Агент кликает по ref, снова делает snapshot и проверяет результат. Сравнения пикселей нет.
🛠 Ставится так: `npm install -g agent-desktop`. На macOS нужно выдать право Accessibility, на Linux нужен at-spi2-core. В комплекте 60 имён команд: клики, ввод, окна, буфер обмена, уведомления.
По умолчанию ref-действия идут без движения курсора и захвата фокуса. Физический ввод включается флагом `--headed`.
🔒 Снимки, скриншоты и буфер могут содержать личное, так что в публичные логи их лучше не отправлять.
Лицензия Apache-2.0. Репозиторий по ссылке.
Темы:AppleИИ-агентыMicrosoft и Windows
Комментарии
Комментарии ведутся в Telegram: войдите через Telegram, чтобы написать или поставить лайк. Открыть обсуждение


