Парсинг Авито: пишем Python-парсер без лимитов и с уведомлениями в Telegram
Пост на «
Хабре» показывает рабочий рецепт мониторинга новых объявлений на
Avito без упора в лимиты и 429. Автор собирает лёгкий асинхронный парсер на Python (asyncio, aiohttp, aiogram, python-dotenv), который опрашивает неофициальный эндпоинт /web/1/main/items по списку ссылок (параметры: locationId, categoryId, sort=date, limit, page, lastStamp), сравнивает ответы с локальным seen.json и мгновенно шлёт только новые лоты в
Telegram (фото + цена + ссылка). Пуллинг — раз в 60 секунд.
- Инфраструктура: деплой в Amvera с ротируемыми IP на каждый запрос (снижение блокировок), быстрый старт и бесплатный кредит в 111 руб. Персистентное хранилище — каталог
/data(дляseen.json). - Конфигурация: переменные
TG_TOKEN,TG_CHAT_ID,AVITO_URLS,SEEN_FILE; зависимости —aiohttp,aiogram,python-dotenvи др. - Результат: минималистичный бот-«снайпер» по категориям (недвижимость, электроника и т.п.), с возможностью горизонтального масштабирования (больше IP, выше частота выборки) и простым расширением: фильтры по ключевым словам, приоритизация по цене/дате.
Ограничения/риски: правовой режим скрейпинга и устойчивость к возможным изменениям API/антибот-механик Avito.
Читайте также
Open Source: галерея решений и Telegram-бот для сбора брифов — новый open-source MVP для малого бизнеса и разработчиков
Создание максимально стабильной автоматизированной торговой системы: от бэктеста до реального бота
Тестовый стенд с автономным ИИ-агентом QA для тестирования бэкенда: концепция и пример
Лучшие практики работы с агентами для написания кода
Создаём пет-проект по аналитике с GitHub Actions: часть 2
Ключевые инсайты из новости (по версии ChatGPT)
- Неофициальный Avito-эндпоинт для мониторинга новых лотов: Для оперативного мониторинга можно опрашивать /web/1/main/items с параметрами locationId, categoryId, sort=date, limit, page, lastStamp. Ответ — JSON с массивом items (id, title, price, urlPath, images), достаточный для сборки алертов без рендеринга страниц.
[Инструмент]
Для получения полного доступа оформите подписку PubMag PRO.
Зарегистрированные пользователи видят только два тезиса.
Зарегистрироваться
Зарегистрированные пользователи видят только два тезиса.
Зарегистрироваться
Инсайты автоматически генерируются с помощью искусственного интеллекта на основе текста статьи.
Подписывайтесь на мой Telegram-канал — там еще больше интересного про AdTech, MarTech, AI и многое другое!