首页 > 其他分享 >golang环境和第三方爬虫包下载安装一把成

golang环境和第三方爬虫包下载安装一把成

时间:2023-11-20 15:35:50浏览次数:28  
标签:tar gz 爬虫 golang 下载安装 第三方

复制代码在CentOS7.6中命令行中全部粘贴执行,golang环境和第三方爬虫包全部安装一把成。

wget https://golang.google.cn/dl/go1.21.4.linux-amd64.tar.gz
tar -zxvf go1.21.4.linux-amd64.tar.gz -C /usr/local/
cat >> .bash_profile << "EOF"
export GOROOT=/usr/local/go
export PATH=$PATH:$GOROOT/bin
EOF
source .bash_profile 
go version
go env -w GOPROXY=https://goproxy.cn,direct
mkdir golib && cd golib && mkdir pkg src bin
go mod init golib
go get github.com/gocolly/colly/v2
go get github.com/PuerkitoBio/goquery
go get github.com/tidwall/gjson
go get github.com/xuri/excelize/v2

操作系统为CentOS7.6

golang版本为1.21.4

第三方包为:

goquery用于爬取网络信息

colly是爬虫框架

Gjson用于解析json

excelize用于操作Excel

 

标签:tar,gz,爬虫,golang,下载安装,第三方
From: https://www.cnblogs.com/yogurt-lids/p/17844059.html

相关文章

  • 【K哥爬虫普法】不要沾边!涉案 7k 合判 6 年!
    我国目前并未出台专门针对网络爬虫技术的法律规范,但在司法实践中,相关判决已屡见不鲜,K哥特设了“K哥爬虫普法”专栏,本栏目通过对真实案例的分析,旨在提高广大爬虫工程师的法律意识,知晓如何合法合规利用爬虫技术,警钟长鸣,做一个守法、护法、有原则的技术人员。案情简介涉事人员......
  • [转]Golang线程池实现百万级高并发
     转,原文: https://lk668.github.io/2021/03/22/2021-03-22-Golang%E7%BA%BF%E7%A8%8B%E6%B1%A0%E5%AE%9E%E7%8E%B0%E7%99%BE%E4%B8%87%E7%BA%A7%E9%AB%98%E5%B9%B6%E5%8F%91/--------------Golang线程池实现百万级高并发2021-03-22本文基于Golang实现线程池,从而可以达到百......
  • [转]手把手教你如何用golang实现一个timewheel时间轮
     转,原文:https://lk668.github.io/2021/04/05/2021-04-05-%E6%89%8B%E6%8A%8A%E6%89%8B%E6%95%99%E4%BD%A0%E5%A6%82%E4%BD%95%E7%94%A8golang%E5%AE%9E%E7%8E%B0%E4%B8%80%E4%B8%AAtimewheel/-------------------------- 手把手教你如何用golang实现一个timewheel时间轮202......
  • 【爬虫】进一步提取图片url,下载图片
     importrequestsfromlxmlimportetreeurl="https://pic.netbian.com/4kdongman/"domain="https://pic.netbian.com/"data=requests.get(url)#print(data.text)et=etree.HTML(data.text)res=et.xpath("//div[@class='slist']......
  • 今日头条我的收藏爬虫
    背景:今日头题我的收藏搜索功能很弱,收藏的文章在pc/手机上总是如法全部搜索出来。也给头条反馈了很多次,总是不搭理。实在忍受不了这种敷衍,决定自己写一个爬虫。 思路: 先解决有无问题,做一个最基础版本。、头条我的收藏是是get请求,返回的是json格式数据,直接使用requests发......
  • Centos7.8 go1.18.3指定版本安装 完美运行Golang安装
    安装背景说明:公司已经有3台服务器安装了go1.18.3版本,这次又买了一台新服务器,由于线上推上去的功能,可能会导致用户出现异常,要做压力测试,所以要重建go环境。遇到问题:昨天下午自己下载了安装包,也是go1.18.3解析到了/usr/local目录也配置了环境/etc/profile 就是识别不到go ......
  • 使用golang来解密m3u8视频播放列表里面的ts文件
    如果我有一个1.2G的mp4格式的电影,想要放在网站上进行播放,直接用video标签,src属性设置为视频的地址就可以了!这种观看体验,究竟怎么样,可以自己去尝试下。。。结果是令人崩溃的。。。加载巨慢,无法选择性观看自己想要看的部分,反正就是哪哪儿都不爽。 那么为了解决这个问题,现在有很......
  • golang channel
    ”不要以共享内存的方式来通信,相反,要通过通信来共享内存“golang的一个思想,不整文的,整点武的,具体来看channel怎么做的有一个很关键的golangMPG模型再单独分析,这篇先只分析channel定义//runtim/chan.gotypehchanstruct{ qcountuint//通道里的元素......
  • Python中的爬虫应用及常用Python库
    Python的爬虫应用非常广泛,以下是一些典型的示例:数据采集:使用爬虫可以从网页上抓取数据,并将其保存到本地或数据库中。这对于构建大规模数据集、进行市场调研、舆情监测等任务非常有用。搜索引擎索引:搜索引擎需要通过网络爬虫来收集和更新互联网上的信息,以便为用户提供准确且......
  • golang map
    golang的map使用的是hashmap基本结构下面截取自源码,已翻译//runtime/map.go:117//gomap定义,hashmap缩写typehmapstruct{ countint//map里文件数 flagsuint8//map当前是否在写入,一般为hashWriting=4(写入中)或0(空闲) Buint8......