Go采集1688网站数据对比商品价格

最近看了下多多和1688的一些商品价格，发现好多店铺都是无货源拿货一件发货，这就导致层层叠加价格翻了不知道几倍，真所谓多花钱办的事还是一样，因此，今天我就通过一个爬虫程序监控对应商品价格，了解行业龙头低价是多少，防止被割韭菜。

以下是使用 Go 语言编写的爬虫程序，它可以爬取 采集1688网站数据 的内容。这个程序使用了两个包：net/http 和 html 解析器。代理信息使用了 http_proxy 和 https_proxy 环境变量。

package main

import (
    "fmt"
    "io/ioutil"
    "log"
    "net/http"
    "net/url"
    "strings"
)

func main() {
    // 代理信息
    // 提取代理ip
    // jshk.com.cn/mb/reg.asp?kefu=xjy&51cto
    proxy := "duoip:8000"
    // 采集的URL
    url := "https://www.1688.com/"

    // 设置代理
_PROXY_ENV := "http_proxy"
_HTTPS_PROXY_ENV := "https_proxy"
    http_proxy := proxy
    https_proxy := proxy

    // 设置环境变量
    if err := os.Setenv(_PROXY_ENV, http_proxy); err != nil {
        log.Fatal(err)
    }
    if err := os.Setenv(_HTTPS_PROXY_ENV, https_proxy); err != nil {
        log.Fatal(err)
    }

    // 发送请求
    resp, err := http.Get(url)
    if err != nil {
        log.Fatal(err)
    }
    defer resp.Body.Close()

    // 读取响应体
    body, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        log.Fatal(err)
    }

    // 解析响应体
    body = strings.Replace(string(body), "<script>", "", -1)
    body = strings.Replace(string(body), "</script>", "", -1)
    doc, err := goquery.NewDocumentFromReader(strings.NewReader(body))
    if err != nil {
        log.Fatal(err)
    }

    // 获取商品列表
    list := doc.Find(".product-list")
    for _, item := range list.FindAll("li") {
        // 获取商品标题
        title := item.Find(".product-title").Text()
        // 获取商品链接
        link := item.Find(".product-title a").Attr("href")
        // 打印商品信息
        fmt.Printf("标题: %s, 链接: %s\n", title, link)
    }
}

以下是每行代码的解释：

1、import "fmt": 导入 fmt 包，用于打印输出。

2、import "io/ioutil": 导入 ioutil 包，用于读取文件。

3、import "log": 导入 log 包，用于打印错误信息。

4、import "net/http": 导入 http 包，用于发送 HTTP 请求。

5、import "net/url": 导入 url 包，用于处理 URL。

6、import "strings": 导入 strings 包，用于字符串处理。

7、func main() { ..、}: 定义主函数。

8、proxy := "duoip:8000": 定义代理信息。

9、url := "https://www.1688.com/": 定义采集的URL。

10、http_proxy := proxy: 设置 http_proxy 环境变量。

11、https_proxy := proxy: 设置 https_proxy 环境变量。

12、if err := os.Setenv(_PROXY_ENV, http_proxy); err != nil {...}: 设置 http_proxy 环境变量。

13、if err := os.Setenv(_HTTPS_PROXY_ENV, https_proxy); err != nil {...}: 设置 https_proxy 环境变量。

14、resp, err := http.Get(url): 发送 GET 请求到 URL。

15、defer resp.Body.Close(): 闭包函数，关闭响应体。

16、body, err := ioutil.ReadAll(resp.Body): 读取响应体到内存。

17、doc, err := goquery.NewDocumentFromReader(strings.NewReader(body)): 使用 goquery 解析响应体。

18、list := doc.Find(".product-list"): 获取商品列表。

19、for _, item := range list.FindAll("li") {...}: 遍历商品列表。

20、title := item.Find(".product-title").Text(): 获取商品标题。

21、link := item.Find(".product-title a").Attr("href"): 获取商品链接。

22、fmt.Printf("标题: %s, 链接: %s\n", title, link): 打印商品信息。

其实很多东西从源头商家拿货是很便宜的，而且质量没的说杠杠的，就是有些人投机取巧用别的店铺倒卖提高价格，发货什么的都不用自己操作，只需要手动提交订单就行，轻松就能赚取差价。上面的代码很完善，解释也挺不错的，如果有啥问题可以评论区留言讨论。