如何避免Puppeteer被前端JS检测

更新日期: 2019-04-21 阅读: 5.5k 标签: Puppeteer

前言

这两天开始看puppeteer,发现居然也能被某数的前端js检测出来!?
github的issue区找了找,原来puppeteer启动的chrome里面,是有navigator.webdriver属性的,搞什么搞么,老外真是做那啥还要立牌坊……


方案1

issue区里看到的解决方案:

await this.page.evaluateOnNewDocument(() => {
         Object.defineProperty(navigator, 'webdriver', {
         get: () => undefined,
    });
 }

但是说实话这个还是有点问题的,因为用"webdriver" in navigator还是能检测出来。


方案2

想找找到底哪个环节把"webdriver"属性加上的,但是文本搜索发现puppeteer源码中并没有……
后来chrome中用chrome:version看了下命令行启动参数,结果发现了这个:"--enable-automation"……
一看就有问题,为了确认特意搜了一下这个命令行参数的说明:

--enable-automation: Inform users that their browser is being controlled by an automated test.

妈蛋纯粹是立牌坊用的,其它毛用没有……

确认了就可以干掉它了,启动chrome时加个忽略默认参数即可:

const browser = await puppeteer.launch({ignoreDefaultArgs: ["--enable-automation"]});

本文内容仅供个人学习、研究或参考使用,不构成任何形式的决策建议、专业指导或法律依据。未经授权,禁止任何单位或个人以商业售卖、虚假宣传、侵权传播等非学习研究目的使用本文内容。如需分享或转载,请保留原文来源信息,不得篡改、删减内容或侵犯相关权益。感谢您的理解与支持!

链接: https://fly63.com/article/detial/3812

Puppeteer_拥有前端自动化测试、爬虫抓取等功能的无界面 Chrome 浏览器

Chrome自带headless(无界面)模式很方便做自动化测试或者爬虫。但是如何和headless模式的Chrome交互则是一个问题。通过启动Chrome时的命令行参数仅能实现简易的启动时初始化操作。

Puppeteer浏览器控制器_介绍Puppeteer的一些用法

Puppeteer是Chrome团队开源的Node库,其提供基于DevTools协议的高阶API让开发人员能够控制Headless Chrome、Chromium、Chrome等浏览器,通过Puppeteer能够将平时手动使用浏览器的操作通过代码的方式自动化执行

node.js中Puppeteer爬虫

Puppeteer是谷歌官方出品的一个通过DevTools协议控制headless Chrome的Node库。可以通过Puppeteer的提供的api直接控制Chrome模拟大部分用户操作来进行UI Test或者作为爬虫访问页面来收集数据

无头浏览器Puppeteerp 的使用

Puppeteer是无头浏览器中的佼佼者,基于nodejsd,提供了简单好用的API。在介绍Puppeteer的基本用法前,我们需要了解一下什么是无头浏览器

内容以共享、参考、研究为目的,不存在任何商业目的。其版权属原作者所有,如有侵权或违规,请与小编联系!情况属实本人将予以删除!