• 2024-06-22puppeteer exposeFunction 方法简单试用
    以下简单演示下puppeteerexposeFunction的使用环境准备基于browserlessdocker-composeversion:"3"services:nginx:image:nginx:alpinevolumes:-./index.html:/usr/share/nginx/html/index.htmlports:-"80
  • 2024-06-19记录--前端如何截屏
  • 2024-05-18puppeteer使用一些技巧简单说明
    puppeteer是一个nodejs包提供了方便的基于devtools协议进行chrome/chromium控制,puppeteer默认运行在无头模式以下是对于puppeteer使用的一些简单总结一些问题browser&&page对象复用问题实际上还是结合实际,个人建议减少复用,除非自己对于browser&&page进行了比较
  • 2024-05-18puppeteer localstorage 处理简单说明
    puppeteer对于cookie以及localstorage的控制实际上还是比较常见的需求,现在主流web开发都比较喜欢使用localstorage进行一些数据的额存储,以下是关于localstorage处理的一个简单演示环境准备基于了browserless(使用了v2版本,注意browserlessv1与v2是有差异的,目前测试chrome
  • 2024-05-17使用puppeteer url转换pdf中文不显示
    本来正在优化一个url转pdf的node服务,项目是使用puppeteer进行转换。功能优化提测后,发现转换后的pdf中文都不显示了。而本身这次优化没有涉及到转换本身相关的内容,这就很奇怪,而且本地转换都很正常。一般中文不显示,很可能是缺少中文字体导致的,于是看了项目中的Dockerfil
  • 2024-04-22puppeteer 调用谷歌翻译api
    npmi puppeteerindex.jsconstpuppeteer=require('puppeteer');asyncfunctiontranslateText(text,sl,tl){ constbrowser=awaitpuppeteer.launch(); constpage=awaitbrowser.newPage(); awaitpage.goto(  `http://translate.google.co
  • 2024-04-18browserless 部署无头浏览器到docker中的工具
    browserless部署无头浏览器到docker中的工具包含的特性支持可配置的并行以及请求队列开箱即用的字体支持debug视图支持交互式的puppeteer调试器支持puppeteer以及playwright支持基于websocket以及restapi的请求控制(可以进行pdf生成,图片处理等)简单使用docker
  • 2024-04-17linux puppeteer 截图提示缺少chrome-linux/chrome error while loading shared libraries: libXdamage.so.1
    puppeteer/.local-chromium/linux-1002410/chrome-linux/chrome:errorwhileloadingsharedlibraries:libXdamage.so.1:cannotopensharedobjectfile:Nosuchfileordirectory按照错误对照进行安装执行,缺啥安啥
  • 2024-03-26没想到三天10KStar的营销利器MediaCrawler开源作者已经删库了
    前言一站式社交平台数据抓取利器,带你玩转小红书、抖音、快手、B站和微博数据分析不经意间,来查看MediaCrawler仓库源码,发现作者已经删库了。看来是领奖了。才几天不到的时间Star数量已经直逼10K了,增长速度近乎疯狂。前两天只是将代码下载下来了,还没认真的玩。还好代码本地已经
  • 2024-03-22Puppeteer实践:复杂的问题简单化
    最近遇到一个需求需要将上千条的数据写入到基于Wordpress搭建的系统中,但是对于底层数据录的写入逻辑不是很清楚,通过sql各种写入也没有完全达到效果。后面想了想或许可以换一个方向,不能从底层逻辑写入数据那就通过正常操作写入。由于数据量大所以需要自动化处理,这时候就想到
  • 2024-03-21没想到三天10KStar的营销利器MediaCrawler开源作者已经删库了
    前言一站式社交平台数据抓取利器,带你玩转小红书、抖音、快手、B站和微博数据分析不经意间,来查看MediaCrawler仓库源码,发现作者已经删库了。看来是领奖了。才几天不到的时间Star数量已经直逼10K了,增长速度近乎疯狂。前两天只是将代码下载下来了,还没认真的玩。还好代码本地已经
  • 2024-01-10puppeteer的简单使用
    引言对于编写应用程序,尤其是要部署上线投入生产使用的应用,QA是其中重要的一环,在过去的工作经历中,我参与的项目开发,大多是由测试同学主要来把控质量的,我很少编写前端方面的测试代码,对于测试工具的使用,也基本停留在一个小玩具的样子,所以接触的也少,回忆上一次写单元测试,还是在一个vu
  • 2023-12-11爬取动态网页内容的库
    爬取动态网页内容时,传统的Python爬虫库(如Requests、BeautifulSoup)可能无法直接获取JavaScript动态生成的内容。为了处理这种情况,你可以使用一些特别设计的库,它们能够模拟浏览器行为,执行JavaScript,并获取渲染后的页面内容。以下是一些常用的库:1.SeleniumSelenium是一个自动
  • 2023-11-24使用Electron+Puppeteer实现万媒易发,一键发布原创文章到各大主流博客平台!
    使用Electron+Puppeteer实现万媒易发,一键发布原创文章到各大主流博客平台引言作为一名热衷于原创文章的程序员,我们常常面临的问题是如何高效地将精彩的内容分享到各大主流博客平台,以扩大影响力。为了解决这一难题,我开发了一款名为“万媒易发”的多平台自动发布文章工具,通过Elect
  • 2023-11-03Playwright VS Selenium VS Puppeteer VS Cypress
    参考:https://www.testim.io/blog/puppeteer-selenium-playwright-cypress-how-to-choose/这四款自动化测试框架在我们的公众号都有介绍。上周介绍了新出Playwright,那这款工具有什么优点,是否值得我们投入精力学习。关键对比接下来,我会通过一些维度来进行对比。支持语言Playwright:
  • 2023-09-05How to fix waitForFunction TimeoutError of puppeteer All In One
    HowtofixwaitForFunctionTimeoutErrorofpuppeteerAllInOnepage.waitForFunction超时错误error❌TimeoutError:Waitingfailed:30000msexceededconstselector='.foo';awaitpage.waitForFunction((selector)=>!!document.querySelector(se
  • 2023-09-01centos node.js安装puppeter遇到的一些错误
    libatk-1.0.so.0Failedtolaunchthebrowserprocess!/data/project/p_base/node_modules/puppeteer/.local-chromium/linux-1002410/chrome-linux/chrome:errorwhileloadingsharedlibraries:libatk-1.0.so.0:cannotopensharedobjectfile:Nosuchfileordi
  • 2023-08-04腾讯云TCB云函数趣应用:巧用 puppeteer 五分钟实现一个云加社区个人成就爬虫...
    技术选型应用思路核心代码参数介绍HTTP访问注意事项参考资料最后奉上几个社区大佬的成就#技术选型之前一直想用云函数来做爬虫,无奈小程序云开发的云函数还未完全支持puppeteer,调用会报错。但是最近发现TCB的云函数支持puppeteer依赖,就决定用它了。另外一个原因就是它也
  • 2023-07-17利于puppeteer获取网络资源的直链
    背景比如我想使用curl或者页面按钮点击直接下载个网盘资源,那就会出现问题。因为目前各大网盘给的分享链接都是一个页面,而且大部分还都做了防盗机制,你无法简单的获取真实下载连接!但是我们可以利用puppeteer来做到!蓝奏云lanzou-helper.jsimport{sleep}from'./index.js'
  • 2023-07-16centos8安装puppeteer
    背景我计划使用puppeteer爬点html数据,结果windows11上没问题但在我的服务器centos8上确报错。[root@104auto-task]#npmrunstart>[email protected]>nodesrc/main.js启动成功:http://localhost:3000Error:Failedtolaunchthebrowserprocess!/root/.cach
  • 2023-07-02[FAQ] 对于 Puppeteer 和 Chromium 在 Linux 上的安装,需要安装哪些依赖库
     比如puppeteer/chrome/linux-114.0.5735.133/chrome-linux64/chrome到底要装哪些依赖。 一般根据报错提示,安装缺少的即可,以下是一般需要的:$sudoapt-getinstalllibatk1.0-0libatk-bridge2.0-0libcups2libxkbcommon0libxcomposite1libxdamage1libxfixes3libxr
  • 2023-07-02[GPT] 网页中某些dom内容是通过 js 数据异步渲染的,nodejs 怎么获取网页解析这些数据
     要处理使用JavaScript异步渲染内容的网页,您可以在JavaScript蜘蛛中使用Puppeter或Playwright等无头浏览器来获取网页,然后与动态渲染的内容进行交互。 下面是一个使用Puppeteer的例子:constpuppeteer=require('puppeteer');(async()=>{//Launchaheadles
  • 2023-06-30小程序实现页面转图片
    要实现一个小程序页面转图片的需求,类似于用户编辑了一些内容,上传了一些头像,然后生成几十张图片,供用户下载转发及生成pdf等等,实验了以下方案:1.wxml2canvas微信提供的解决方案,写起来很麻烦,页面样式还有好多不支持,pass2.webview+html2canvas在小程序里通过webview打开一个外部页
  • 2023-04-27Mac M1(arm 系列芯片)如何安装 Chromium | Puppeteer
    最近写个脚本用到puppeteer,然后安装Chromium出现一点问题,这里记录一下解决方案。Puppeteer自动安装失败在Puppeteer安装时会自动安装Chromium,然而却总是报错502导致下载失败,直接下载可以下载,命令行wget也可以,猜测是因为Puppeteer开启了新的process来安装导致环境
  • 2023-04-11Yunzai-Bot运行报错:[ERRO] puppeteer Chromium 启动失败 解决方法
    前提:一定是本机安装了chrome各路方法汇总:重新下载puppeteer依赖(与现版本似乎不匹配)解决yunzai云崽报错puppeteerChromium启动失败|花落尽终归尘(clt6.cn)ln-vsflibre2.so/lib/libre2.so.9小白求教,puppeteerChromium启动失败·Issue#I65JGY·时雨◎星空/TR