Проблема: почему автономные агенты спотыкаются о браузер

Каждый разработчик, работающий с современными кодовыми ассистентами (Google Antigravity, Claude Code, Cursor, Codex), рано или поздно сталкивается с одной и той же стеной: агенту нужно проверить реальный веб-сервис.

Типичные примеры из жизни:

В этот момент стандартные инструменты предлагают запустить headless-браузер через Puppeteer или Playwright. Но в этом чистом браузере нет ваших сессий, нет сохранённых cookie и нет расширений. Он упирается в форму логина с двухфакторной аутентификацией — и агент беспомощно останавливается.

Вторая проблема — синтетические события. Если просто выполнить в консоли document.querySelector('button').click(), браузер пометит такое событие флагом isTrusted: false. Сложные интерфейсы на React или Angular часто игнорируют такие клики, а выпадающие меню и всплывающие окна попросту не открываются.

Решение: Chrome DevTools Protocol и архитектура моста

Вместо того чтобы изобретать велосипед или передавать свои пароли сторонним облачным сервисам, мы подключили агента напрямую к уже запущенному браузеру разработчика.

Архитектура решения состоит из трёх лёгких частей:

  1. Расширение Chrome (Manifest V3): работает в браузере, подключается к локальному демону по WebSocket и использует системный API chrome.debugger для отправки команд DevTools.
  2. Локальный демон (Python): слушает исключительно внутренний адрес 127.0.0.1:8766. Он принимает запросы от агента, координирует команды и сохраняет аннотированные скриншоты.
  3. CLI-утилита br.py: простой интерфейс командной строки, который агент вызывает прямо из терминала.
Скриншот команды shot: страница сайта с цветными рамками и номерами кнопок, фиолетовый курсор агента наведён на меню

Так агент видит страницу после команды shot: у каждой кнопки и поля свой номер, фиолетовая стрелка — где сейчас его курсор.

Зрение агента: почему номера элементов лучше селекторов

Когда агент пытается найти кнопку по селектору вроде button.btn-primary.inline-flex.mt-2, любая правка стилей ломает весь сценарий.

В Agent Chrome Bridge применён подход функциональной разметки:

Реальный пример: как агент выполняет задачу

Представим, что агенту поручено проверить статус индексации сайта в Google Search Console:

  1. Агент вызывает python server/br.py open https://search.google.com/search-console — страница открывается в отдельной фоновой вкладке Chrome.
  2. Вызывает python server/br.py look и видит: [5] button "Эффективность", [8] a "Индексирование страниц".
  3. Вызывает python server/br.py click 8 — мост отправляет доверенный клик по координатам элемента.
  4. Вызывает python server/br.py shot — получает наглядный снимок экрана с графиком проиндексированных страниц и анализирует динамику.

Вся операция занимает считанные секунды и не требует от пользователя ни единого повторного ввода логина или SMS-кода.

Безопасность: где проходят границы дозволенного

Предоставление ИИ-агенту доступа к реальному браузеру требует строгих правил гигиены:

Итог

Браузерная автоматизация для ИИ-агентов не обязана быть громоздкой или небезопасной. Подключение через Chrome DevTools Protocol превращает обычный Chrome в мощную рабочую среду, где агент может самостоятельно решать рутинные задачи, сохраняя полный контроль в руках разработчика.

🌐 Скачайте готовый открытый мост и запустите его за 5 минут:
Страница инструмента Agent Chrome Bridge→

Частые вопросы

Почему обычный headless Playwright не подходит для повседневных задач агента?

Playwright запускает изолированный профиль без ваших cookie, закладок и расширений. Если задача требует проверить Search Console, открыть тикет в Jira или обновить DNS в Cloudflare, агенту придётся снова вводить логины и проходить двухфакторную аутентификацию (2FA). В собственном Chrome все доступы уже есть.

Что такое доверенные (trusted) события и почему они важны?

В браузере событие мыши или клавиатуры имеет флаг event.isTrusted=true только тогда, когда оно сгенерировано пользователем или системным отладчиком через Chrome DevTools Protocol. Синтетические события (element.click() или new MouseEvent) имеют isTrusted=false, и многие современные веб-приложения (React, Angular, финтех-сервисы) намеренно их игнорируют в целях защиты от ботов.

Безопасно ли запускать локальный сервер моста?

Сервер моста привязан строго к петлевому адресу 127.0.0.1 (localhost) и не слушает внешнюю сеть. Кроме того, WebSocket-соединение проверяет заголовок Origin и принимает соединения только от расширений Chrome, а HTTP-запросы с веб-страниц отклоняются. Сайт, открытый в браузере, не может отправить команду на локальный порт. Пока сервер запущен, им может воспользоваться любая программа на компьютере, поэтому выключайте его, когда агент не работает.

Может ли агент перехватить мои банковские пароли или украсть деньги?

Сам мост капчи не обходит, а готовые правила AGENT_RULES.md запрещают агенту вводить пароли и подтверждать платежи. Вся аутентификация выполняется человеком вручную, после чего агент работает в уже открытой вкладке исключительно в рамках порученной задачи.

Как агент понимает, какую кнопку нажимать без CSS-селекторов?

Команда look сканирует видимое дерево страницы, находит все интерактивные элементы и присваивает им короткие порядковые номера: [1], [2], [3]. Агенту достаточно вызвать click 2, не гадая о запутанных хэшах классов вроде Tailwind или CSS-in-JS.