Skip to content

使用Scrapy的初体验,目前可以爬去主页的30个链接中的信息;

Notifications You must be signed in to change notification settings

OrangePlusPlus/lab_1

Repository files navigation

lab_1

残留的问题:

  • 文档进度不详;
  • 抓取准确率能否进一步提高;
  • 抓取效率和性能。

实际存在的不可克服的问题:

  • 部分数据确实没有中标金额;
  • 部分数据把供应商和金额放在单独的附件里;
  • 不标注金额的名称,直接放在供应商名字的后面;
  • 中标结果由多包构成;

##程序运行须知:

  • 1 安装PyQt,Scrapy,MongoDB,PyMongo;
  • 2 命令行启动MongoDB服务;
  • 3 命令行运行:python Scraper.py(即界面程序)。

About

使用Scrapy的初体验,目前可以爬去主页的30个链接中的信息;

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages