Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

스마트스토어 크롤링 기능 수정 #271

Open
wants to merge 2 commits into
base: dev/be
Choose a base branch
from

Conversation

Muungi
Copy link
Collaborator

@Muungi Muungi commented May 27, 2024

진행 내용

  • smartstore 크롤링 시, userAgent 설정 범위 변경

  • 상품 정보 주기적 갱신 과정 로직 변경

  • smartstore 크롤링 차단으로 인해, 랜덤 userAgent 생성 범위를 조정하였습니다.

  • 상품 정보 조회하는 promise가 실패할 경우, 상품 정보를 갱신하는 과정에서 새로운 상품에 대한 정보가 없어서 에러가 발생하는 로직을 수정하였습니다.

@Muungi Muungi added feature 새로운 기능 bug 버그 수정 backend 백엔드 관련 labels May 27, 2024
@Muungi Muungi requested a review from sickbirdd May 27, 2024 13:30
@Muungi Muungi self-assigned this May 27, 2024
Copy link
Collaborator

@sickbirdd sickbirdd left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

전반적인 크롤링 로직을 개선하셨네요!
스마트스토어에서 차단을 했는데 랜덤 userAgent 생성 범위를 조정하면 해결이 어떻게 되는 지 개인적으로 궁금합니다!

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
backend 백엔드 관련 bug 버그 수정 feature 새로운 기능
Projects
None yet
Development

Successfully merging this pull request may close these issues.

2 participants