起因
想学习爬虫的编写 ： 看到大佬对一个爬虫项目，的学习笔记。 跟着大佬的学习笔记学一遍
项目地址:https://github.com/Qianlitp/crawlergo
学习记录：
对浏览器环境的hook: 看到这个之前没见到过 学习一波
参考文章理解爬虫HOOK技术 - 掘金 (juejin.cn) 通过hook,修改js代码的实现。
chromedp
chromedp 基础 https://blog.csdn.net/weixin_45268711/article/details/122129553 (参考) 用来实现浏览器操作
Chromedp, 是由Go语言编写，支持Chrome DevTools Protocol的一个库，不需要依赖其他的外界服务（如Selenium和PhantomJS） https://github.com/chromedp/chromedp
Chromedp使用
chromedp.NewContext() 初始化chromedp的上下文，后续这个页面都使用这个上下文进行操作
chromedp.Run() 运行一个chrome的一系列操作
chromedp.Navigate() 将浏览器导航到某个页面
chromedp.WaitVisible() 等候某个元素可见，再继续执行。
chromedp.Click() 模拟鼠标点击某个元素
chromedp.Value() 获取某个元素的value值
chromedp.ActionFunc() 再当前页面执行某些自定义函数
chromedp.Text() 读取某个元素的text值
chromedp.Evaluate() 执行某个js，相当于控制台输入js
network.SetExtraHTTPHeaders() 截取请求，额外增加header头
chromedp.SendKeys() 模拟键盘操作，输入字符
chromedp.Nodes() 根据xpath获取某些元素，并存储进入数组
chromedp.NewRemoteAllocator
chromedp.OuterHTML() 获取元素的outer html
chromedp.Screenshot() 根据某个元素截图
page.CaptureScreenshot() 截取整个页面的元素
chromedp.Submit() 提交某个表单
chromedp.WaitNotPresent() 等候某个元素不存在，比如“正在搜索。。。”
chromedp.Tasks{} 一系列Action组成的任务