爬虫之urllib库的使用

  |   0 评论   |   3,903 浏览

首先什么是库?

简单的说就是别人写好的东西,你拿来调用就可以实现基本的操作。比如电视你只用看,不用知道他是如何成像的。

urllib库之request(用来模拟HTTP请求)模块

request的第一个方法urlopen()

我们以淘宝为例写上这样一段代码:

null

read()是返回得到的内容,decode('utf8')是编码格式。

返回的结果如下:

null

如果我们不想获取页面,只想获取请求的状态码或者头信息只需要

print(html.status)获取状态码,print(html.getheaders())获取头信息,可能你会说那莫多方法我怎么知道他有什么方法,此时只需要print(dir(html))一下,所有的方法,属性尽收眼底。那我怎么知道他是干什么的呢?help()一下就知道。

接下来我们来说一下urlopen()方法的参数:

我们利用上面说的去看一下有什么参数:

null

得到如下结果:

null

卧槽?怎么全英文???无奈,苦逼的我只好打开谷歌翻译。。。

data参数:

data参数是干什么的?我们知道我们在登录的时候的会填写账号密码,那么我们模拟登录的时候也要填写,这个参数就是做这个的!值得注意的是当我们添加了这个参数之后请求方式就不再是GET,而是POST请求。并且data参数是字节流编码格式我们需要转化一下。

null

httpbin.org/post是一个请求测试网站,如下我们可以看到我们传递的参数已经在里面了。

null

timeout参数:

tomeout参数是设置超时时间的,如果超出这个时间未得到响应就会抛出超时异常。下面我们来练习一下:

null

iisinstance()函数用来判断是否是超时,socket.timeout就是超时异常,而e.reason是捕捉的异常,做一个判断。

结果如下:

null

其他参数用到的时候再说,目前不需要了解吧。

request的第二个方法Request()

同样以淘宝为例:

null

结果和上面的结果是一样的,我们可以发现只是请求的对象发生了改变,这有什么用了?这样会让我们更灵活的添加参数或者配置,没什么其他卵用,来说一下Request的参数吧。

help一下:

null

url,data和上面的一样,headers表示请求头,是一个字典,我们在爬取网站的时候通常会加上一个User-Agent参数,防止被识别为爬虫,修改它,伪装成浏览器。origin_reg_host是指请求的ip或者host,unverifiable是是否有抓取的权限没有为True,否者是False,mothod为请求方式。

我们试着去添加多个参数:

null

结果:

null

也可以用方法去添加,这个就自己去试吧。

error模块

1,URLError类

昨天我们导入包的方式感觉很烦,每次写都会很长

想要变得简单点可以这样写:

null

随便输入一个网址,并没有直接报错。

null

2,HTTPError类(针对HTTP请求错误的类,使用方式和上面的一样)

null

结果:

null

reason:返回错误原因

code:返回状态码

headers:返回请求头信息

这里只针对爬虫用到的来说一下。

parse模块

paese模块总的来说就是对url的操作,各种解析和合并等

拆分的有:

urlparse()

urlsplit()

null

结果:

null

urlsplit()和urlparse()一样,不同是是urlsplit()的结果将parsms合并到了path里

合并的有:

urlunparse()合并的列表长度必须为6个

urlunsplit()合并的列表长度变成了5个

null

结果:

null

urlunsplit()的写法也一样只是变成了长度变成了5。

序列化和反序列化(我的理解是转化成符合某种格式)

urlencode():将字典转化为get请求的编码格式

parse_qs():将GET请求的参数转化成字典

null

结果 :

null

当url中有汉字时我们需要转化成url的编码格式quote()转化回来unquote()

null

结果:

null

其实上面讲的有三个模块,request请求模块,parse对url的处理模块和error异常处理模块。

done


标题:爬虫之urllib库的使用
作者:jackssybin
地址:https://jackssybin.cn/articles/2019/09/16/1568643489909.html

评论

发表评论


取消