Чтение страниц через настоящий браузер

Что нового

У загрузки страниц появился второй способ: рендеринг в настоящем браузере. Он выручает там, где обычный запрос возвращал пустоту — проверки Cloudflare и ddos-guard, страницы «проверка браузера», reCAPTCHA, а также сайты, у которых содержимое собирается скриптами и в исходном коде его нет. Ассистент сам понимает, когда переключиться: если он видит капчу или пустой результат, он повторяет запрос через браузер.

Обычная загрузка теперь показывает код ответа и всю цепочку редиректов — от запрошенного адреса до конечного, по шагам. Это убирает целый класс неверных советов, когда рекомендация давалась для адреса, с которого сервер молча уводит в другое место.

Отдельно: robots.txt, карты сайта, .json, .csv, .pdf и сжатые файлы больше не отвечают ошибкой сервиса — они читаются как есть.

Кому это пригодится

Тем, кто анализирует чужие сайты: интернет-магазины на скриптах и площадки под защитой встречаются постоянно.

Как попробовать

Вставьте адрес любой такой страницы и попросите разобрать её.