笔者编写的搜索引擎爬虫在爬取页面时遇到了网页被重定向的情况，所谓重定向(Redirect)就是通过各种方法（本文提到的为3种）将各种网络请求重新转到其它位置（URL）。每个网站主页是网站资源的入口，当重定向发生在网站主页时，如果不能正确处理就很有可能会错失这整个网站的内容。 笔者编写的爬虫在爬取网页时遇到了三种重定向的情况。
1.服务器端重定向，在服务器端完成，一般来说爬虫可以自适应，是不需要特别处理的，如响应代码301（永久重定向）、302（暂时重定向）等。具体来说，可以通过requests请求得到的response对象中的url、status_code两个属性来判断。当status_code为301、302或其他代表重定向的代码时，表示原请求被重定向；当response对象的url属性与发送请求时的链接不一致时，也说明了原请求被重定向且已经自动处理。
2.meta refresh，即网页中的<meta>标签声明了网页重定向的链接，这种重定向由浏览器完成，需要编写代码进行处理。例如，某一重定向如下面的html代码第三行中的注释所示，浏览器能够自动跳转，但爬虫只能得到跳转前的页面，不能自动跳转。
<html>
<head>
<meta http-equiv="refresh" content="0.1;url=http://www.redirectedtoxxx.com/"><!--本网页会在0.1秒内refresh为url所指的网页-->
</head>
</html>解决办法是通过得到跳转前的页面源码，从中提取出重定向url信息（上述代码第三行中的url属性值）。一个具体的操作：
①使用xpath('//meta[@http-equiv="refresh" and @content]/@content')提取出content的值
②使用正则表达式提取出重定向的url值。
3.js 重定向，通过JavaScript代码形式进行重定向。如下面JavaScript代码
<script language=javascript>window.location.href='http://www.redirectedtoxxx.com'</script>对于这种方式的跳转，由于可以实现该功能的JavaScript语句有多种形式，不能再使用正则表达式提取url，只能考虑加载JavaScript代码来进行解决。
web爬虫抓取技术的门道,对于网络爬虫技术的攻与防
从爬虫的攻防角度来讲,最简单的爬虫，是几乎所有服务端、客户端编程语言都支持的http请求，只要向目标页面的url发起一个http get请求，即可获得到浏览器加载这个页面时的完整html文档，这被我们称之为“同步页”。
大话爬虫的实践技巧
数据收集的一种是方式是通过上报API进行自身平台用户交互情况的捕获，还有一种手段是通过开发爬虫程序，爬取竞品平台的数据，后面就重点说下爬虫的应用场景和实践中会遇到的问题和反反爬虫的一些套路与技巧。
网络爬虫_基于各种语言的开源网络爬虫总汇
网络爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。是互联网爬虫，蜘蛛，数据采集器，网页解析器的汇总，下面介绍各语言实现网络爬虫的开源框架
爬虫最终杀手锏 --- PhantomJS 详解（附案例）
PhantomJS无界面的浏览器:认识PhantomJS、网站模拟登录豆瓣网、动态页面模拟点击（unittest -python测试模块）、执行JavaScript代码、模拟最新无界面浏览器...
什么是网络爬虫，网络爬虫有什么用？
网络爬虫在数据采集方面有好的优势，比如采集速度快，比人来操作可能要快一千倍一万倍都不止；方便将获取的数据进行相关的清洗加工以及储存工作；代码可重复使用，或者说是一劳永逸。
爬虫 解决网页ip限制的问题的八种方法
之前由于公司项目需要，采集过google地图数据，还有一些大型网站数据。 有小部分网站的防范措施比较弱，可以伪装下IP，修改X-Forwarded-for（貌似这么拼。。。）即可绕过。ser agent 伪装和轮换 ,使用代理 ip 和轮换
到百度云加速，网页内容爬不到的快速解决
在爬网站时，发现网站做了百度云加速，每次访问首页时要求输入验证码，才能打开网站首页。经过分析网站，发现如果你拿到一个当期可用的Cooikes后，你就可以一直爬数据，且并不会触发百度验证输入
反爬经验与理论基础
完整的反爬体系有三大部分工作要做：感知识别、策略分析、监控封禁。数据支撑：爬虫指纹、设备指纹、风险UA、IP库等，不同端指纹的mapping等。
node.js主从分布式爬虫
node.js是一款基于google的V8引擎开发javascript运行环境。在高性能的V8引擎以及事件驱动的单线程异步非阻塞运行模型的支持下，node.js实现的web服务可以在没有Nginx的http服务器做反向代理的情况下实现很高的业务并发量。
使用Node.js爬取任意网页资源并输出高质量PDF文件到本地
本文适合无论是否有爬虫以及 Node.js 基础的朋友观看~如果你是一名技术人员，那么可以看我接下来的文章，否则，请直接移步到我的 github 仓库，直接看文档使用即可
内容以共享、参考、研究为目的,不存在任何商业目的。其版权属原作者所有,如有侵权或违规,请与小编联系!情况属实本人将予以删除!