Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

在最开始webdriver阶段就遭到了反爬 #565

Open
LiaLee87 opened this issue Sep 26, 2024 · 3 comments
Open

在最开始webdriver阶段就遭到了反爬 #565

LiaLee87 opened this issue Sep 26, 2024 · 3 comments

Comments

@LiaLee87
Copy link

看到main issue里也有其他用户提到,在使用“带用户信息浏览器设计”模式的时候,在最开始获取user_data的阶段,用爬虫端发起的爬取网页窗口都会被网站ban掉。无论手动通过多少次校验都会反复回到人机检验页,无法访问网站内容。 有尝试用自带浏览器的无痕模式打开该网站,人机检验一次就通过了,猜测可能是底层设计中发起网站请求的那一步会被网站察觉到,然后反复禁止访问。 感谢作者的辛勤开发QAQ
截屏2024-09-26 22 28 34

@NaiboWang
Copy link
Owner

NaiboWang commented Sep 26, 2024

是的,这个问题客观存在,但我确实已经把网上能查到的所有关于Selenium反反爬的方法都用上了,但仍然不能解决某些网站的反爬问题,也许是框架自身确实有局限性,那只能将来有时间更换底层框架;也许是我还没有发现更合适的反爬的处理手段,所以欢迎大家去读代码,看一下有什么反反爬手段没有用上,欢迎大家告诉我,我来更新底层框架的反反爬机制。

@touero
Copy link
Contributor

touero commented Sep 27, 2024

是的,这个问题客观存在,但我确实已经把网上能查到的所有关于Selenium反反爬的方法都用上了,但仍然不能解决某些网站的反爬问题,也许是框架自身确实有局限性,那只能将来有时间更换底层框架;也许是我还没有发现更合适的反爬的处理手段,所以欢迎大家去读代码,看一下有什么反反爬手段没有用上,欢迎大家告诉我,我来更新底层框架的反反爬机制。

webdriver存在问题,与某个版本的之前中有段内容不一样。
请阅读仓库undetected_chromedriver中的patcher.py
他有一个替换webdriver中内容的方法patch_exe
在我测试下有利于反爬措施

@kimobebe
Copy link

是的,这个问题客观存在,但我确实已经把网上能查到的所有关于Selenium反反爬的方法都用上了,但仍然不能解决某些网站的反爬问题,也许是框架自身确实有局限性,那只能将来有时间更换底层框架;也许是我还没有发现更合适的反爬的处理手段,所以欢迎大家去读代码,看一下有什么反反爬手段没有用上,欢迎大家告诉我,我来更新底层框架的反反爬机制。

webdriver存在问题,与某个版本的之前中有段内容不一样。 请阅读仓库undetected_chromedriver中的patcher.py 他有一个替换webdriver中内容的方法patch_exe 在我测试下有利于反爬措施

可否详细描述一下如何实现的呐?🙏

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

4 participants