nodejs可以爬虫。Node.js出现后，爬虫便不再是后台语言如php，Python的专利了，尽管在处理大量数据时的表现仍然不如后台语言，但是Node.js异步编程的特性可以让我们在最少的cpu开销下轻松完成高并发的爬取。
另外由于现在许多网站都有了反爬虫手段，对付这些手段最合适的当然是可以在浏览器中直接运行的JS，这也使得基于Node.js的爬虫技术越来越受重视。
node做爬虫的优势
1、node的驱动语言是JavaScript。
JavaScript在nodejs诞生之前是运行在浏览器上的脚本语言，其优势就是对网页上的dom元素进行操作，在网页操作上这是别的语言无法比拟的。
2、nodejs是单线程异步的。
听起来很奇怪，单线程怎么能够异步呢？想一下学操作系统的时候，单核cpu为什么能够进行多任务处理？道理也是类似，在操作系统中进程对CPU的占有进行时间切片，每一个进程占有的时间很短，但是所有进程循环很多次，因此看起就像是多个任务在同时处理。
js也是一样，js里有事件池，CPU会在事件池循环处理已经响应的事件，未处理完的事件不会放到事件池里，因此不会阻塞后续的操作。在爬虫上这样的优势就是在并发爬取页面上，一个页面未返回不会阻塞后面的页面继续加载，要做到这个不用像python那样需要多线程。
web爬虫抓取技术的门道,对于网络爬虫技术的攻与防
从爬虫的攻防角度来讲,最简单的爬虫，是几乎所有服务端、客户端编程语言都支持的http请求，只要向目标页面的url发起一个http get请求，即可获得到浏览器加载这个页面时的完整html文档，这被我们称之为“同步页”。
大话爬虫的实践技巧
数据收集的一种是方式是通过上报API进行自身平台用户交互情况的捕获，还有一种手段是通过开发爬虫程序，爬取竞品平台的数据，后面就重点说下爬虫的应用场景和实践中会遇到的问题和反反爬虫的一些套路与技巧。
网络爬虫_基于各种语言的开源网络爬虫总汇
网络爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。是互联网爬虫，蜘蛛，数据采集器，网页解析器的汇总，下面介绍各语言实现网络爬虫的开源框架
爬虫最终杀手锏 --- PhantomJS 详解（附案例）
PhantomJS无界面的浏览器:认识PhantomJS、网站模拟登录豆瓣网、动态页面模拟点击（unittest -python测试模块）、执行JavaScript代码、模拟最新无界面浏览器...
什么是网络爬虫，网络爬虫有什么用？
网络爬虫在数据采集方面有好的优势，比如采集速度快，比人来操作可能要快一千倍一万倍都不止；方便将获取的数据进行相关的清洗加工以及储存工作；代码可重复使用，或者说是一劳永逸。
爬虫解决网页重定向问题
每个网站主页是网站资源的入口，当重定向发生在网站主页时，如果不能正确处理就很有可能会错失这整个网站的内容。 笔者编写的爬虫在爬取网页时遇到了三种重定向的情况。
爬虫 解决网页ip限制的问题的八种方法
之前由于公司项目需要，采集过google地图数据，还有一些大型网站数据。 有小部分网站的防范措施比较弱，可以伪装下IP，修改X-Forwarded-for（貌似这么拼。。。）即可绕过。ser agent 伪装和轮换 ,使用代理 ip 和轮换
到百度云加速，网页内容爬不到的快速解决
在爬网站时，发现网站做了百度云加速，每次访问首页时要求输入验证码，才能打开网站首页。经过分析网站，发现如果你拿到一个当期可用的Cooikes后，你就可以一直爬数据，且并不会触发百度验证输入
反爬经验与理论基础
完整的反爬体系有三大部分工作要做：感知识别、策略分析、监控封禁。数据支撑：爬虫指纹、设备指纹、风险UA、IP库等，不同端指纹的mapping等。
node.js主从分布式爬虫
node.js是一款基于google的V8引擎开发javascript运行环境。在高性能的V8引擎以及事件驱动的单线程异步非阻塞运行模型的支持下，node.js实现的web服务可以在没有Nginx的http服务器做反向代理的情况下实现很高的业务并发量。
内容以共享、参考、研究为目的,不存在任何商业目的。其版权属原作者所有,如有侵权或违规,请与小编联系!情况属实本人将予以删除!