学习python 爬虫之pyppteer

1、安装 pyppteer库

　　 pip install pyppteer 

如果安装出错，使用国内镜像安装 

　　pip install pyppeteer -i https://pypi.douban.com/simple

2、下载chromium浏览器

  https://npm.taobao.org/mirrors/chromium-browser-snapshots/

　　下载解压后即可使用（记住解压的地址，在下面例子中要指定浏览器的路径；）

　　　　# 启动chrome的路径
        "executablePath": r"C:\app\chrome-win32\chrome.exe",

3、例子

#!/usr/bin/python
# -*- coding: UTF-8 -*-

import asyncio
from pyppeteer import launch


async def main():
    # 浏览器 启动参数
    start_parm = {
        # 启动chrome的路径
        "executablePath": r"C:\app\chrome-win32\chrome.exe",
        # 关闭无头浏览器 默认是无头启动的
        "headless": False,
    }
    # 创建浏览器对象，可以传入 字典形式参数
    browser = await launch(**start_parm)

    # 创建一个页面对象， 页面操作在该对象上执行
    page = await browser.newPage()

    await page.goto('https://www.baidu.com/')  # 页面跳转
    page_text = await page.content()  # 页面内容
    print(page_text)
    await browser.close()  # 关闭浏览器对象