Skip to content

Latest commit

 

History

History
38 lines (27 loc) · 1.61 KB

README.md

File metadata and controls

38 lines (27 loc) · 1.61 KB
Raw

nodejs-puppeteer

基于nodejs+puppeteer开发的网络爬虫功能，本项目以boss直聘为爬虫对象，爬取前4页的nodejs职位的薪资、地区、具体岗位，把爬取的数据存储起来，然后渲染到页面上

使用说明：本项目是本人学习的内容，并没有任何的商业价值，仅供学习参考

  • step1克隆拉取项目
  • step2输入下面命令安装依赖包
npm install --save
npm install --save puppeteer  
//配置文件的依赖项中没有puppeteer包，需要另行安装
  • step3输入下面命令运行项目
node app.js

  • step4在浏览器中输入127.0.0.1:3000

  • step5在浏览器中输入127.0.0.1:3000/echarts访问数据可视化页面

文件说明

  • middleware文件中封装了几个用到的方法
  • router文件处理路由请求
  • public文件存放静态资源
  • views存放视图文件
  • liepin.js是爬取内容的，需要单独运行此文件 node liepin.js
  • liepin.json和data.json存储爬取的数据
  • app.js此文件是入口文件，文件中提供了两种分析获取页面的方法，第一种方法很简便但是得到的数据不是我想要的格式，所以我习惯用第二种方法获取到的数据，以便于我可以把数据展示在页面上。

最后，如果有幸看到此文件，请在议题中帮忙介绍关于数据处理方面的教程(最好是免费的，可以白嫖的)，就是各种各样的数据格式渲染到前端，对于数据分析处理、接口数据接入等方面内容，不胜感激！！！ 前方道阻且长，顶峰相见！！ avatar