这两天开始看puppeteer,发现居然也能被某数的前端js检测出来!?
github的issue区找了找,原来puppeteer启动的chrome里面,是有navigator.webdriver属性的,搞什么搞么,老外真是做那啥还要立牌坊……
issue区里看到的解决方案:
await this.page.evaluateOnNewDocument(() => {
Object.defineProperty(navigator, 'webdriver', {
get: () => undefined,
});
}
但是说实话这个还是有点问题的,因为用"webdriver" in navigator还是能检测出来。
想找找到底哪个环节把"webdriver"属性加上的,但是文本搜索发现puppeteer源码中并没有……
后来chrome中用chrome:version看了下命令行启动参数,结果发现了这个:"--enable-automation"……
一看就有问题,为了确认特意搜了一下这个命令行参数的说明:
--enable-automation: Inform users that their browser is being controlled by an automated test.
妈蛋纯粹是立牌坊用的,其它毛用没有……
确认了就可以干掉它了,启动chrome时加个忽略默认参数即可:
const browser = await puppeteer.launch({ignoreDefaultArgs: ["--enable-automation"]});
Chrome自带headless(无界面)模式很方便做自动化测试或者爬虫。但是如何和headless模式的Chrome交互则是一个问题。通过启动Chrome时的命令行参数仅能实现简易的启动时初始化操作。
Puppeteer是Chrome团队开源的Node库,其提供基于DevTools协议的高阶API让开发人员能够控制Headless Chrome、Chromium、Chrome等浏览器,通过Puppeteer能够将平时手动使用浏览器的操作通过代码的方式自动化执行
Puppeteer是谷歌官方出品的一个通过DevTools协议控制headless Chrome的Node库。可以通过Puppeteer的提供的api直接控制Chrome模拟大部分用户操作来进行UI Test或者作为爬虫访问页面来收集数据
Puppeteer是无头浏览器中的佼佼者,基于nodejsd,提供了简单好用的API。在介绍Puppeteer的基本用法前,我们需要了解一下什么是无头浏览器
内容以共享、参考、研究为目的,不存在任何商业目的。其版权属原作者所有,如有侵权或违规,请与小编联系!情况属实本人将予以删除!