Проблема: почему автономные агенты спотыкаются о браузер
Каждый разработчик, работающий с современными кодовыми ассистентами (Google Antigravity, Claude Code, Cursor, Codex), рано или поздно сталкивается с одной и той же стеной: агенту нужно проверить реальный веб-сервис.
Типичные примеры из жизни:
- Проверить отчёт об индексации в Google Search Console или Яндекс Вебмастере.
- Просмотреть открытые pull request'ы на GitHub и смерджить проверенный PR.
- Зайти в Cloudflare и проверить статус DNS-записи.
- Проверить верстку нового компонента в рабочей панели администратора.
В этот момент стандартные инструменты предлагают запустить headless-браузер через Puppeteer или Playwright. Но в этом чистом браузере нет ваших сессий, нет сохранённых cookie и нет расширений. Он упирается в форму логина с двухфакторной аутентификацией — и агент беспомощно останавливается.
Вторая проблема — синтетические события. Если просто выполнить в консоли document.querySelector('button').click(), браузер пометит такое событие флагом isTrusted: false. Сложные интерфейсы на React или Angular часто игнорируют такие клики, а выпадающие меню и всплывающие окна попросту не открываются.
Решение: Chrome DevTools Protocol и архитектура моста
Вместо того чтобы изобретать велосипед или передавать свои пароли сторонним облачным сервисам, мы подключили агента напрямую к уже запущенному браузеру разработчика.
Архитектура решения состоит из трёх лёгких частей:
- Расширение Chrome (Manifest V3): работает в браузере, подключается к локальному демону по WebSocket и использует системный API
chrome.debuggerдля отправки команд DevTools. - Локальный демон (Python): слушает исключительно внутренний адрес
127.0.0.1:8766. Он принимает запросы от агента, координирует команды и сохраняет аннотированные скриншоты. - CLI-утилита
br.py: простой интерфейс командной строки, который агент вызывает прямо из терминала.
Так агент видит страницу после команды shot: у каждой кнопки и поля свой номер, фиолетовая стрелка — где сейчас его курсор.
Зрение агента: почему номера элементов лучше селекторов
Когда агент пытается найти кнопку по селектору вроде button.btn-primary.inline-flex.mt-2, любая правка стилей ломает весь сценарий.
В Agent Chrome Bridge применён подход функциональной разметки:
- Команда
python server/br.py lookмгновенно обходит дерево DOM и присваивает каждому кликабельному элементу порядковый номер:[1],[2],[3]. - Агент видит лаконичный список:
[14] button "Создать репозиторий",[16] input:text "Название". - Для действия агенту достаточно отправить
python server/br.py click 14. - Если верстка обновилась, следующий вызов
lookпросто пересчитает номера, и скрипт продолжит работу без поломок.
Реальный пример: как агент выполняет задачу
Представим, что агенту поручено проверить статус индексации сайта в Google Search Console:
- Агент вызывает
python server/br.py open https://search.google.com/search-console— страница открывается в отдельной фоновой вкладке Chrome. - Вызывает
python server/br.py lookи видит:[5] button "Эффективность",[8] a "Индексирование страниц". - Вызывает
python server/br.py click 8— мост отправляет доверенный клик по координатам элемента. - Вызывает
python server/br.py shot— получает наглядный снимок экрана с графиком проиндексированных страниц и анализирует динамику.
Вся операция занимает считанные секунды и не требует от пользователя ни единого повторного ввода логина или SMS-кода.
Безопасность: где проходят границы дозволенного
Предоставление ИИ-агенту доступа к реальному браузеру требует строгих правил гигиены:
- Никаких паролей в промптах: агент никогда не должен вводить учетные данные или мастер-пароли. Человек логинится сам, агент подключается к готовой сессии.
- Оплата и капчи — только человеку: мост не обходит капчи и проверки Cloudflare. Правила
AGENT_RULES.mdвелят агенту остановиться на оплате, капче или входе в аккаунт и позвать владельца. - Изоляция на localhost: сервер слушает только 127.0.0.1 и отклоняет запросы с веб-страниц (проверка заголовков Origin и Host). Сайты из интернета не могут управлять мостом через ваш браузер.
Итог
Браузерная автоматизация для ИИ-агентов не обязана быть громоздкой или небезопасной. Подключение через Chrome DevTools Protocol превращает обычный Chrome в мощную рабочую среду, где агент может самостоятельно решать рутинные задачи, сохраняя полный контроль в руках разработчика.
Частые вопросы
Почему обычный headless Playwright не подходит для повседневных задач агента?
Playwright запускает изолированный профиль без ваших cookie, закладок и расширений. Если задача требует проверить Search Console, открыть тикет в Jira или обновить DNS в Cloudflare, агенту придётся снова вводить логины и проходить двухфакторную аутентификацию (2FA). В собственном Chrome все доступы уже есть.
Что такое доверенные (trusted) события и почему они важны?
В браузере событие мыши или клавиатуры имеет флаг event.isTrusted=true только тогда, когда оно сгенерировано пользователем или системным отладчиком через Chrome DevTools Protocol. Синтетические события (element.click() или new MouseEvent) имеют isTrusted=false, и многие современные веб-приложения (React, Angular, финтех-сервисы) намеренно их игнорируют в целях защиты от ботов.
Безопасно ли запускать локальный сервер моста?
Сервер моста привязан строго к петлевому адресу 127.0.0.1 (localhost) и не слушает внешнюю сеть. Кроме того, WebSocket-соединение проверяет заголовок Origin и принимает соединения только от расширений Chrome, а HTTP-запросы с веб-страниц отклоняются. Сайт, открытый в браузере, не может отправить команду на локальный порт. Пока сервер запущен, им может воспользоваться любая программа на компьютере, поэтому выключайте его, когда агент не работает.
Может ли агент перехватить мои банковские пароли или украсть деньги?
Сам мост капчи не обходит, а готовые правила AGENT_RULES.md запрещают агенту вводить пароли и подтверждать платежи. Вся аутентификация выполняется человеком вручную, после чего агент работает в уже открытой вкладке исключительно в рамках порученной задачи.
Как агент понимает, какую кнопку нажимать без CSS-селекторов?
Команда look сканирует видимое дерево страницы, находит все интерактивные элементы и присваивает им короткие порядковые номера: [1], [2], [3]. Агенту достаточно вызвать click 2, не гадая о запутанных хэшах классов вроде Tailwind или CSS-in-JS.