扫一扫分享
x-ray安装:
npm install x-ray
示例:
var Xray = require('x-ray');
var x = Xray();
x('https://blog.ycombinator.com/', '.post', [{
title: 'h1 a',
link: '.article-title@href'
}])
.paginate('.nav-previous a@href')
.limit(3)
.write('results.json')
特点:
灵活的架构:支持字符串,数组,对象数组和嵌套对象结构。
可组合: api完全可组合,为您提供了每页抓页的灵活性。
分页支持:通过网站分页,抓取每一页。
抓取工具支持:从一页开始,轻松移动到下一页。在广度优先爬行每个页面之后,流程是可预测的。
负责任:支持并发,限制,延迟,超时和限制,以帮助您负责任地抓取任何页面。
可插拔驱动程序:根据您的需要切换不同的
手机预览