node crawler如何添加promise支持
编程学习 2021-07-04 15:02www.dzhlxh.cn编程入门
这篇文章主要介绍了node crawler如何添加promise支持，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们狼蚁网站SEO优化随着长沙网络推广来一起学习学习吧
背景
最近在组内做一些爬虫相关的工作，本来想自己简单造个轮子的，但是经网友推荐后，采用了node-crawler，用了一段时间过后，确实满足了我的绝大部分需求，但是其 api 却不支持 promise，而且我还需要一些同步爬取、同步处理的能力，如果不用 promise 的话，写法很不优雅，所以我就简单地给其封装了一层 promise api
现状
目前 node-crawler 的使用方式不支持 promise ，这里直接给出 npm 上的使用例子
const Crawler = require("crawler")
// 实例化
const c = new Crawler({
// ... 可以传入一些配置
callback : function (error, res, done) {
// 请求回调，实例化的时候传入的 callback 是作为默认 callback 的，后续每次抓取如果没有传入 callback，那么都会调用默认 callback
done();
}
})
// 爬取
c.queue([{
uri: 'http://parishackers.org/',
jQuery: false,
// The global callback won't be called
callback: function (error, res, done) {
if(error){
console.log(error);
}else{
console.log('Grabbed', res.body.length, 'bytes');
}
done();
}
}])
这样的回调方式对于多爬虫同步爬取很不友好
改造
理想使用方式：
const Crawler = require('crawler')
const c = new Crawler({
// 一些默认配置
})
c
.queue({
uri: 'xxx'
})
.then(res => {
// 抓取成功
})
.catch(err => {
// 抓取失败
})
改造方案：
// utils/crawler.js
const Crawler = require('crawler')
const defaultOptions = {
jQuery: false,
rateLimit: fetchRateLimit,
retries: 0,
timeout: fetchTimeout,
}
module.exports = class PromiseifyCrawler extends Crawler {
// namespace 是为了后续抓取结果统一上报时候进行区分
constructor(namespace = 'unknow', options = {}) {
if (typeof namespace === 'object') {
options = namespace
namespace = 'unknow'
}
options = merge({}, defaultOptions, options)
const cb = options.callback
options.callback = (err, res, done) => {
typeof cb === 'function' && cb(err, res, noop)
process.nextTick(done)
// 在这里可以自定义抓取成功还是失败
// 我这里直接设置的是如果 http code 不是 200 就视为错误
// 而且在这里也可以做一些抓取成功失败的统计
if (err || res.statusCode !== 200) {
if (!err) err = new Error(`${res.statusCode}-${res.statusMessage}`)
err.options = res.options
err.options.npolisReject(err)
} else {
res.options.npolisResolve(res)
}
}
options.headers = Object.assign({}, options.headers, {
'X-Requested-With': 'XMLHttpRequest',
})
super(options)
}
queue(options = {}) {
// 每次抓取都是一个新的 promise
return new Promise((resolve, reject) => {
// 然后在 options 里挂载上 resolve 和 reject
// 这样在全局 callback 上就可以用到了
options.npolisResolve = resolve
options.npolisReject = reject
const pr = options.preRequest
options.preRequest = (options, done) => {
typeof pr === 'function' && pr(options, noop)
// 在这里也可以做一些通用的抓取前的处理
done()
}
super.queue(options)
})
}
// direct api 同理
}
// 使用
const Crawler = require('./utils/crawler')
const crawler = new Crawler('示例爬虫 namespace')
crawler
.queue({
uri: 'xxx',
preRequest: options => log('开始抓取'),
})
.then(res => {
log('爬取成功')
return res
})
.catch(err => {
log('爬取失败')
throw err
})
promise 化后，多个爬取任务同步爬取写法就友好多了：
// 抓取任务1
const fetchTask1 = () => crawler.queue({/* 配置 *