Парсер на основе библиотеки Scrapy

Технологический стек проекта

Задачи данного скрипта

Собирать данные с данного веб сайта https://наш.дом.рф

Скрипт собирает следующие данные:

• Заголовок объявления (название жилого комплекса);
• Адрес;
• ID объявления;
• Ввод в эксплуатацию;
• Застройщик;
• Группа компаний;
• Дата публикации проекта;
• Выдача ключей;
• Средняя цена за 1 м²;
• Распроданность квартир;
• Класс недвижимости;
• Количество квартир

Дополнительные функции парсера

-Поддержка обработки кнопки "Показать еще" - парсер собирает в том числе данные, которые скрыты в html шаблоне страницы с помощью, например, пагинации;

-После успешного выполнения скрипта данные сохраняются в формате JSON.

Установка и запуск проекта

Клонировать репозиторий и перейти в него в командной строке:

git clone 
cd scrapy_project_ourhouse/
git clone [email protected]:your_username_in_github/scrapy_project_ourhouse.git

Cоздать и активировать виртуальное окружение

Для Linux:

python3 -m venv venv
source venv/bin/activate

Для Windows:

python -m venv venv
source venv/Script/activate

Установить зависимости из файла requirements.txt:

python -m pip install --upgrade pip
pip install -r requirements.txt

Запустить скрипт:

python3 main.py