Skip to content

LeanFly/python_crawler

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

62 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

python版本:3.7.4

使用python自带的urllib模块构建爬虫工具

chiphell已支持的图片有jpg、png、jpeg
zhengmei.py
- 下载 www.zhengmei.co 的所有栏目图片,不包含(正妹秀)
zhengmei.py
- pc页面获取图片的程序执行效率比 zhengmei.py 慢

抖音滑块验证

 - 使用 webdriver 打开页面,使用 ddddocr 计算滑块距离,当触发滑块验证时自动处理滑块。
 - 该算法的成功率大概在90%以上。

京东滑块验证

 - 使用 webdriver 打开页面,使用 ddddocr 计算滑块距离,当触发滑块验证时自动处理滑块。
 - 该算法的成功率大概在90%以上。

微信公众号文章、视频号视频获取

 - 登录公众号平台,获取token、cookie,使用获取到的token、cookie请求内容列表
 - token、cookie的活跃期大约在5天,定时刷新登录后的页面即可

About

python爬虫

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages