- 2024-09-07thinkjs + puppeteer=解决中文乱码+https错误
asyncindexAction(){constself=this;constbrowser=awaitpuppeteer.launch({headless:true,ignoreHTTPSErrors:true,args:['--no-sandbox','--disable-setuid-sandbox']});constpage=awaitbrowser.newPage();/
- 2024-08-26[javascript] 使用 puppeteer 包模拟 chrome 自动化
npmipuppeteerconstpuppeteer=require('puppeteer');functionsleep(ms){returnnewPromise(resolve=>setTimeout(resolve,ms));}asyncfunctionrun(){constbrowser=awaitpuppeteer.launch({headless:false,args:['--st
- 2024-08-25【JS|第24期】Puppeteer:50个常用操作,你会了吗?
日期:2024年8月19日作者:Commas签名:(ง•_•)ง积跬步以致千里,积小流以成江海……注释:如果您觉得有所帮助,帮忙点个赞,也可以关注我,我们一起成长;如果有不对的地方,还望各位大佬不吝赐教,谢谢^-^1.01365=37.7834;0.99365=0.02551.02365=1377.4083;0.98365=0.0006
- 2024-08-04在mac上唤起本地chrome浏览器任务
几年之前用puppeteer做过网站测试、手机短信攻击、爬虫,但是一直没有记录,都忘记了,重新记录下1、通过输入chrome://version/,查看chrome安装位置2、npmipuppeteer importpuppeteerfrom'puppeteer-core'(async()=>{constuserAgent="Mozilla/5.0(iPhone;CPUiPh
- 2024-07-05Puppeteer node 瞬秒安装 亲测可用!
Puppeteernode瞬秒安装亲测可用!Puppeteer最难得不是如何自动化,而是安装,这个包你就装不上,后面还看什么~~今天看了一篇文章,非常好,走了一遍流程,瞬秒能用,赶紧放上来建立目录myPuppeteernpminit-ynpmipuppeteer--ignore-scriptshttps://download-chromium.appspot.com
- 2024-07-05在wsl中部署puppeteer的相关笔记
二.缺少依赖问题 反复提示缺少各种依赖,到处搜刮一顿操作之后是没问题了,但也不知道哪些是无所谓的aptinstall-ygconf-servicelibc6libcairo2libdbus-1-3libexpat1libfontconfig1libgcc1libgdk-pixbuf2.0-0libglib2.0-0libgtk-3-0libstdc++6libx11-6aptinstall
- 2024-06-22puppeteer exposeFunction 方法简单试用
以下简单演示下puppeteerexposeFunction的使用环境准备基于browserlessdocker-composeversion:"3"services:nginx:image:nginx:alpinevolumes:-./index.html:/usr/share/nginx/html/index.htmlports:-"80
- 2024-06-19记录--前端如何截屏
- 2024-05-18puppeteer使用一些技巧简单说明
puppeteer是一个nodejs包提供了方便的基于devtools协议进行chrome/chromium控制,puppeteer默认运行在无头模式以下是对于puppeteer使用的一些简单总结一些问题browser&&page对象复用问题实际上还是结合实际,个人建议减少复用,除非自己对于browser&&page进行了比较
- 2024-05-18puppeteer localstorage 处理简单说明
puppeteer对于cookie以及localstorage的控制实际上还是比较常见的需求,现在主流web开发都比较喜欢使用localstorage进行一些数据的额存储,以下是关于localstorage处理的一个简单演示环境准备基于了browserless(使用了v2版本,注意browserlessv1与v2是有差异的,目前测试chrome
- 2024-05-17使用puppeteer url转换pdf中文不显示
本来正在优化一个url转pdf的node服务,项目是使用puppeteer进行转换。功能优化提测后,发现转换后的pdf中文都不显示了。而本身这次优化没有涉及到转换本身相关的内容,这就很奇怪,而且本地转换都很正常。一般中文不显示,很可能是缺少中文字体导致的,于是看了项目中的Dockerfil
- 2024-04-22puppeteer 调用谷歌翻译api
npmi puppeteerindex.jsconstpuppeteer=require('puppeteer');asyncfunctiontranslateText(text,sl,tl){ constbrowser=awaitpuppeteer.launch(); constpage=awaitbrowser.newPage(); awaitpage.goto( `http://translate.google.co
- 2024-04-18browserless 部署无头浏览器到docker中的工具
browserless部署无头浏览器到docker中的工具包含的特性支持可配置的并行以及请求队列开箱即用的字体支持debug视图支持交互式的puppeteer调试器支持puppeteer以及playwright支持基于websocket以及restapi的请求控制(可以进行pdf生成,图片处理等)简单使用docker
- 2024-04-17linux puppeteer 截图提示缺少chrome-linux/chrome error while loading shared libraries: libXdamage.so.1
puppeteer/.local-chromium/linux-1002410/chrome-linux/chrome:errorwhileloadingsharedlibraries:libXdamage.so.1:cannotopensharedobjectfile:Nosuchfileordirectory按照错误对照进行安装执行,缺啥安啥
- 2024-03-26没想到三天10KStar的营销利器MediaCrawler开源作者已经删库了
前言一站式社交平台数据抓取利器,带你玩转小红书、抖音、快手、B站和微博数据分析不经意间,来查看MediaCrawler仓库源码,发现作者已经删库了。看来是领奖了。才几天不到的时间Star数量已经直逼10K了,增长速度近乎疯狂。前两天只是将代码下载下来了,还没认真的玩。还好代码本地已经
- 2024-03-22Puppeteer实践:复杂的问题简单化
最近遇到一个需求需要将上千条的数据写入到基于Wordpress搭建的系统中,但是对于底层数据录的写入逻辑不是很清楚,通过sql各种写入也没有完全达到效果。后面想了想或许可以换一个方向,不能从底层逻辑写入数据那就通过正常操作写入。由于数据量大所以需要自动化处理,这时候就想到
- 2024-03-21没想到三天10KStar的营销利器MediaCrawler开源作者已经删库了
前言一站式社交平台数据抓取利器,带你玩转小红书、抖音、快手、B站和微博数据分析不经意间,来查看MediaCrawler仓库源码,发现作者已经删库了。看来是领奖了。才几天不到的时间Star数量已经直逼10K了,增长速度近乎疯狂。前两天只是将代码下载下来了,还没认真的玩。还好代码本地已经
- 2024-01-10puppeteer的简单使用
引言对于编写应用程序,尤其是要部署上线投入生产使用的应用,QA是其中重要的一环,在过去的工作经历中,我参与的项目开发,大多是由测试同学主要来把控质量的,我很少编写前端方面的测试代码,对于测试工具的使用,也基本停留在一个小玩具的样子,所以接触的也少,回忆上一次写单元测试,还是在一个vu
- 2023-12-11爬取动态网页内容的库
爬取动态网页内容时,传统的Python爬虫库(如Requests、BeautifulSoup)可能无法直接获取JavaScript动态生成的内容。为了处理这种情况,你可以使用一些特别设计的库,它们能够模拟浏览器行为,执行JavaScript,并获取渲染后的页面内容。以下是一些常用的库:1.SeleniumSelenium是一个自动
- 2023-11-24使用Electron+Puppeteer实现万媒易发,一键发布原创文章到各大主流博客平台!
使用Electron+Puppeteer实现万媒易发,一键发布原创文章到各大主流博客平台引言作为一名热衷于原创文章的程序员,我们常常面临的问题是如何高效地将精彩的内容分享到各大主流博客平台,以扩大影响力。为了解决这一难题,我开发了一款名为“万媒易发”的多平台自动发布文章工具,通过Elect
- 2023-11-03Playwright VS Selenium VS Puppeteer VS Cypress
参考:https://www.testim.io/blog/puppeteer-selenium-playwright-cypress-how-to-choose/这四款自动化测试框架在我们的公众号都有介绍。上周介绍了新出Playwright,那这款工具有什么优点,是否值得我们投入精力学习。关键对比接下来,我会通过一些维度来进行对比。支持语言Playwright:
- 2023-09-05How to fix waitForFunction TimeoutError of puppeteer All In One
HowtofixwaitForFunctionTimeoutErrorofpuppeteerAllInOnepage.waitForFunction超时错误error❌TimeoutError:Waitingfailed:30000msexceededconstselector='.foo';awaitpage.waitForFunction((selector)=>!!document.querySelector(se
- 2023-09-01centos node.js安装puppeter遇到的一些错误
libatk-1.0.so.0Failedtolaunchthebrowserprocess!/data/project/p_base/node_modules/puppeteer/.local-chromium/linux-1002410/chrome-linux/chrome:errorwhileloadingsharedlibraries:libatk-1.0.so.0:cannotopensharedobjectfile:Nosuchfileordi
- 2023-08-04腾讯云TCB云函数趣应用:巧用 puppeteer 五分钟实现一个云加社区个人成就爬虫...
技术选型应用思路核心代码参数介绍HTTP访问注意事项参考资料最后奉上几个社区大佬的成就#技术选型之前一直想用云函数来做爬虫,无奈小程序云开发的云函数还未完全支持puppeteer,调用会报错。但是最近发现TCB的云函数支持puppeteer依赖,就决定用它了。另外一个原因就是它也
- 2023-07-17利于puppeteer获取网络资源的直链
背景比如我想使用curl或者页面按钮点击直接下载个网盘资源,那就会出现问题。因为目前各大网盘给的分享链接都是一个页面,而且大部分还都做了防盗机制,你无法简单的获取真实下载连接!但是我们可以利用puppeteer来做到!蓝奏云lanzou-helper.jsimport{sleep}from'./index.js'