python网页爬虫开局通用示例

万事开头难，好的开始是成功的一半。

步骤：

1、导入requests模块，2、get方法（url,timeout,headers等）3、状态判断，4、考虑编码，5、try方法判断异常。

import requests


# import time


def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()  # 如果状态不是200，产生HTTPError异常
        # print(r.status_code)
        r.encoding = r.apparent_encoding
        return r.text
    except:
        print(r.status_code)
        return "产生异常"


if __name__ == '__main__':
    url = "http://www.doubai.com"
    print(getHTMLText(url))

封装函数，方便调用。