首页 > 编程语言 >python爬虫基础

python爬虫基础

时间:2023-04-13 22:36:04浏览次数:32  
标签:python 基础 爬虫 agent urllib2 url values print except


下面是爬取网站源代码的代码,用的我们学校的教务处网站。。

#!/usr/bin/env python

import urllib
import urllib2

url = 'http://etc.sdut.edu.cn/eol/main.jsp'
user_agent='Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:42.0) Gecko/20100101 Firefox/42.0'
values = {}
values['username']='******'
values['password']='******'
headers = {'User-Agent':user_agent}
data = urllib.urlencode(values)
request = urllib2.Request(url)
try:
    response = urllib2.urlopen(request)
except urllib2.HTTPError, e:
    print e.code
except urllib2.URLError, e:
    print e.reason
else:
    print response.read()


标签:python,基础,爬虫,agent,urllib2,url,values,print,except
From: https://blog.51cto.com/u_16070138/6188456

相关文章

  • java捡基础
    ++与--写在前后有什么区别?++或--写在变量前后有区别?*1.如果不参与运算的话,它们是没有区别。*2.如果参与了运算,区别就是很大了。*参与运算时两者的区别:累加的结果要不要参与本次的运算,(使用累加之后值运算,还是使用累加之前的值进行运算......
  • js基础:1.
    javascript(简称“js”)开发外部脚本语言是轻量级解释型语言开始于1995年网景公司javascript的标准是ECMAscript互联网是1970年1月1号js代码必须写在script标签里(预格式化文本)预格式输出标签console.log输出使用:控制台打印语句(控制台日志)变量var声明关键字关......
  • 一、图论基础知识(2023.4.13初版[个人向])
    1.图的定义和概念1.图的定义图(Graph)是由顶点的有穷非空集合V和顶点之间的边的集合E组成,通常表示为G={V,E},其中,G表示一个图,V是图G中顶点的集合,E是图G中边的集合1.图中点的数据元素称之为顶点线性表中的数据元素称为元素数中的数据元素称为结点2.线性表和树均可以没有元素,......
  • Linux操作系统汇编语言基础知识(图文代码)
    1、什么是汇编语言,它在计算机语言中的地位?汇编语言是程序设计语言的基础语言,是唯一可以直接与计算机硬件打交道的语言2、汇编语言与源程序、汇编程序、汇编的关系?3、汇编语言的特点\1)汇编语言与机器指令一一对应,可充分理解计算机的操作过程汇编语言指令是机器指令的符号表......
  • python5:列表及其常用方法
    list(列表):是一个有序的集合,可以随时添加和删除其中的元素。特点:1:支持增删改查2:列表中的数据是可以变化的【数据项可以变化,内存地址不会改变】3:用[]来表示列表类型,数据项之间用逗号来分割,注意:数据项可以是任何类型的数据4:支持索引和切片来进行操作。 列表操作方法:append:在列......
  • Java GC基础知识
    1对象存活判断1.1引用计数在对象中添加一个引用计数器,每当有一个地方引用它时,计数器值就加一;当引用失效时,计数器值就减一;任何时刻计数器为零的对象就是不可能再被使用的引用计数法的缺陷:publicclassReferenceCountingGC{publicObjectinstance=null;priv......
  • Java基础
    cmd打开Java代码//代码编译javacHello.java//运行编译码javaHelloJDK、JRE和JVM的关系JDK=JRE+开发工具集(如Javac、java编译工具等)JRE=JVM+JavaSE标准类库只测试只需要JRE即可Java八大数据类型数据转换自动转换规则容量大的类型能......
  • Redis基础数据结构
    五种基础数据结构:string(字符串)、list(列表)、set(集合)、hash(集合)和set(有序集合)使用命令redis-cli即可连接使用go语言代码连接redis:import( "github.com/go-redis/redis")varc*redis.Clientfuncmain(){ c=redis.NewClient(&redis.Options{ Addr:......
  • python 离线安装包
    下载好第三方库,上传到服务器,用pip命令执行安装通过pypi官网下载包pypi官网提供各种Python的第三方库,主要提供Linux版本的后缀是".whl"和“.tar.gz”,可以搜索相关的包。".whl"文件离线安装(推荐)#以Markdown为例(默认文件在当前目录下)pipinstallMarkdown-3.2.2-py3-none-any.wh......
  • python 中英文对齐
    python中英文对齐代码defget_len(string:str):length=0forchinstring:if'\u4e00'<=ch<='\u9fa5':#是中文字符length+=2else:length+=1returnlengthdefaligned(string......