百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术分类 > 正文

Python每日一库之requests(python的requests库怎么安装)

ztj100 2025-03-19 18:46 50 浏览 0 评论

Python urllib库使用起来很麻烦,尤其是在进行网络爬取时。比如在处理网页验证和cookies的时候,需要编写Opener和Handler来处理。为了更方便地实现这些操作,有一个更强大的requests库。

安装requests

requests是第三方库,不是Python内置库,需要手动安装。

相关链接

  • GitHub:https ://github.com/psf/requests
  • PyPI:https ://pypi.org/project/requests/
  • 官方文档:https ://docs.python-requests.org/en/latest/

通过 pip 安装

可以通过pip来安装requests,在命令行界面运行以下命令,完成requests库的安装:

pip install requests

requests的基本用法

下面的代码示例使用requests中的 get ()方法发送一个 get 请求。

import requests 
# 发送 get 请求
r = requests.get('https://www.baidu.com') 
# 检查响应类型
print(type(r)) 
# 检查状态码
print(r.status_code) 
# 检查响应内容类型
print(type(r.text)) 
# 检查响应内容
print(r.text) 
# 检查 cookie 
print(r.cookies)

这里get()调用该方法实现与urllib库中的urlopen()一致,结果返回一个响应对象,然后分别输出响应对象类型、状态码、响应体内容类型、响应体内容、Cookies。

从运行结果可以知道,响应对象requests.models.Response的类型,响应体内容str的类型,Cookies的类型是RequestCookieJar。如果要发送其他类型的请求,可以直接调用其对应的方法:

r = requests.post('https://www.baidu.com') 
r = requests.put('https://www.baidu.com') 
r = requests.delete('https://www.baidu.com') 
r = requests.head('https://www.baidu.com') 
r = requests.options('https://www.baidu.com')

获取请求

构建一个GET请求,请求https://www.baidu.com(网站会判断如果客户端发起GET请求,会返回相应的信息)

import requests

r = requests.get('http://httpbin.org/get') 
print(r.text)

输出将如下所示:

  • 如果要添加请求参数,例如添加两个请求参数,其中name值为jack,age值为20。可以写成:
r = requests.get(' http://httpbin.org/get?name=jack&age=20' )

但是推荐最佳的写法如下:

import requests
data = { 
'name':'jack', 
  'age':20, 
}
r = requests.get(' http://httpbin.org/get',params=data ) 
print(r.text)

输出将如下所示:

  • 网页返回内容的类型为 type str。如果符合 JSON 格式,可以使用json()方法将其转为字典类型,方便解析。
import requests
r = requests.get('http://httpbin.org/get' ) 
# str type 
print(type(r.text))# 以字典形式返回
print(r.json()) 
print(type(r.json()))

输出:

POST 请求

发送 POST 请求

import requests
r = requests.post(' http://httpbin.org/post' ) 
print(r.text)

输出:

发送带参数的 POST

import requests
data = { 
  "name":"jack", 
  "age":"20" 
} 
r = requests.post(' http://httpbin.org/post',data=data ) 
print(r.text)

输出

设置请求头

可以headers通过以下方式设置你的请求:

import requests
headers = { 
  'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:95.0) Gecko/20100101 Firefox/95.0', 
  'Test':'Gopher' 
} 
r = requests. get(' http://httpbin.org/get',headers=headers)
print(r.text)

输出:

请求响应

  • 发送请求后,返回一个响应,它有很多属性,状态码、响应头、cookies、响应内容等,可以通过它的属性获取,如下:
import requests 
r = requests.get('https://www.baidu.com/') 
# 响应内容类型
print(type(r.text),r.text) 
# 响应内容
print(type(r.content), r.content) 
# 状态码
print(type(r.status_code),r.status_code) 
# 响应头
print(type(r.headers),r.headers) 
# Cookies 
print(type(r.cookies),r.cookies ) 
# URL 
print(type(r.url),r.url) 
# 响应历史记录
print(type(r.history),r.history)
  • 状态码常用于判断请求是否成功。除了 HTTP 提供的状态码之外,requests 库还提供了一个内置的状态码查询对象,称为 requests.codes。事实上,两者是等价的。一个例子如下:
import requests
r = requests.get('https://www.baidu.com/')
if r.status_code == requests.codes.ok: 
  print('请求成功') 
else: 
  print('请求失败')

抓取二进制数据

图片、音频、视频文件本质上是由二进制代码组成的,所以如果要爬取它们,就必须获取它们的二进制代码。以抓取百度的站点图标(标签页上的小图标)为例:

import requests
r = requests.get('https://www.baidu.com/favicon.ico') 
with open('favicon.ico','wb') as f: 
    f.write(r.content)

我们这里使用的open()方法,它的第一个参数是要保存的文件名(带路径),第二个参数表示要以二进制形式写入数据。运行后,可以favicon.ico在当前目录下找到命名的保存图标。同样,也可以通过这种方式获得音频和视频。

上传文件

requests可以模拟提交一些数据。如果一个网站需要上传文件,我们也可以做到。

import requests 

files = {'file':open('favicon.ico','rb')}
r = requests.post('http://httpbin.org/post',files=files)
print(r.text)

处理 Cookie

用 urllib 处理 cookie 比较复杂,而用requests处理 cookie 则非常简单。

  • 获取 cookie
import requests
r = requests.get(' https://www.zhihu.com' ) 
print(r.cookies) 
for key,value in r.cookies.items(): 
	cookie = key+"="+value
    print(cookie)

可以Cookies通过调用response对象的cookies属性来获取,该对象是一个类型的对象RequestCookiesJar,然后使用该items()方法将其转换为一个元组列表,遍历并输出每个的名称和值Cookies

  • 使用 cookie 来维护登录状态。
import requests
headers = { 
  'Cookie':'KLBRSID=xxx|xx|xx',
  'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:95.0) Gecko/20100101 Firefox/95.0', 
  'Host':'www.zhihu.com' 
} 
r = requests.get('https://www.zhihu.com',headers=headers) 
print(r.text)

运行后,结果中包含登录后的内容,说明获取登录状态成功。

  • 也可以通过cookies参数来设置,不过这个需要RequestCookieJar对象的构造,后面的cookies需要划分,比较麻烦,但是效果是一样的。
import requests
cookies ='KLBRSID=xx|xx|xx' 
jar = requests.cookies.RequestsCookieJar()
headers = {
  'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:95.0) Gecko/20100101 Firefox/95.0',
  'Host':'www.zhihu.com'
}
for cookie in cookies.split(';'):
  key,value = cookie.split('=',1)
  jar.set(key,value)
r = requests.get('https://www.zhihu.com',headers=headers)
print(r.text)

会话保持

可以通过调用 get ()或 post ()和其他方法来模拟 Web 页面请求,但是这实际上等效于不同的会话,这意味着你使用两个浏览器打开不同的页面。如果第一次请求使用 post ()方法登录网站,第二次成功登录后想获取自己的个人信息,再次使用 get ()方法获取所请求的个人信息,实际上相当于打开两个浏览器,所以不能成功获取个人信息。为此,需要进行会话维护。您可以为两个请求设置相同的 Cookie,但是这非常麻烦,而且通过 Session保持会话非常容易

improt requests
s = requests.Session() 
s.get(' http://httpbin.org/cookies/set/number/123456789' ) 
r = s.get(' http://httpbin.org/cookies' )
print(r.text)

先通过requests打开一个session,然后get通过session发送一个request,用来设置cookies中的参数号,参数值为123456789;然后用这个发起get请求获取Cookies,然后打印获取的内容。

SSL证书验证

requests还提供了证书验证功能。发送 HTTP 请求时,它会检查 SSL 证书。我们可以使用 verify 参数来控制是否检查 SSL 证书。

  • 请求HTTPS网站时,如果网站的证书不被CA机构信任,程序会报错,提示SSL证书验证错误。为此,只需将验证参数设置为 False:
import requests
response = requests.get('https://www.xxx.com',verify=False) 
print(response.status_code)
  • 也可以指定一个本地证书用作客户端证书,它可以是单个文件(包含密钥和证书)或包含两个文件路径的元组。
import requests
response = requests.get('https://www.xxxx.com',cert('/path/server.crt','/path/key')) 
print(response.status_code)

代理设置

对于一些网站,在测试过程中多次请求后可以正常获取内容。但是一旦开始大规模频繁爬取,网站可能会弹出验证码,或者跳转到登录验证页面,甚至直接屏蔽客户端IP,导致一段时间内无法访问。为了防止这种情况,我们需要使用代理来解决这个问题,这需要代理参数。

import requests
proxies = {
    'http': 'http://153.35.2.201:80',
    'https': 'https://153.35.2.201:80' 
}
try:
    response = requests.get('http://httpbin.org/get', proxies=proxies)
    print(response.text)
except requests.exceptions.ConnectionError as e:
    print('Error', e.args)

如果代理需要使用 HTTP Basic Auth,可以使用类似 http://user:password@host:port 的语法来设置代理。

除了基本的HTTP代理外,requests还支持SOCKS协议的代理。首先你需要安装 socks 库:

pip3 install 'requests[socks]'
import requests
proxies = {
  'http':'socks5://user:password@host:port',
  'https':'socks5://user:password@host:port'
}
requests.get('https://www.xxxx.com',proxies=proxies)

超时设置

当本地网络条件不好或者服务器网络响应太慢甚至没有响应时,我们可能会等待很长时间才能收到响应,甚至最后没有收到响应就报错。

为了处理这种情况,应该设置一个超时时间,即从计算机向服务器发送请求到返回响应的时间。如果请求超过了这个超时时间并且没有收到响应,就会抛出错误。这需要使用 timeout 参数来实现,以秒为单位。

import requests
r = requests.get('https://www.baidu.com',timeout=1) 
print(r.status_code)

或者您可以分别指定超时时间。实际上,请求分为两个阶段:连接和读取。如果给 timeout 参数指定一个整数值,则 timeout 是两个阶段的总和;如果你想单独指定它们,你可以传入一个元组,连接超时和读取超时:

import requests
#5 秒超时连接和 30 秒读取
r = requests.get('https://www.xxxx.com',timeout=(5,30)) 
print(r.status_code)

网站验证

访问网站时,可能会遇到如下认证页面,此时可以使用requests自带的认证功能,通过HTTPBasicAuth类实现。

import requests
from requests.auth import HTTPBasicAuth
r = requests.get('http://localhost:8080/manager/html',auth=HTTPBasicAuth('admin','123456'))
# or
r = requests.get('http://localhost:8080/manager/html',auth=('admin','123456'))
print(r.status_code)

requests也提供其他认证方式,如OAuth认证,但需要安装oauth包。

使用以下命令进行安装:

pip install requests_oauthlib

然后构造一个认证:

import requests
from requests_oauthlib import OAuth1
url = 'https://api.twitter.com/1.1/account/verify_credentials.json'
auth = OAuth1("YOUR_APP_KEY","YOUR_APP_SECRET","USER_OAUTH_TOKEN","USER_OAUTH_TOKEN_SECRET")
requests.get(url,auth=auth)

Prepared封装请求头

有时如果需要设置请求头,需要用一个Request对象来表示。在 requests 库中,有一个类似的类,叫做 Prepared Request。

from requests import Request,Session
url = 'http://httpbin.org/post'
data = {
 'name':'jack'
}
headers = {
 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:95.0) Gecko/20100101 Firefox/95.0'
}
s = Session()
req = Request('POST',url,data=data, headers=headers)
prepped = s.prepare_request(req)
r = s.send(prepped)
print(r.text)

Request这里引入,然后Request用url、data和headers参数构造一个对象。这时候就需要调用prepare_request()Session的方法将其转化为Prepared Request对象,然后调用该send()方法发送。

这样做的好处是可以使用Request把请求当成一个独立的对象,这样对于队列调度非常方便,后面会用来构造一个Request队列。

相关推荐

其实TensorFlow真的很水无非就这30篇熬夜练

好的!以下是TensorFlow需要掌握的核心内容,用列表形式呈现,简洁清晰(含表情符号,<300字):1.基础概念与环境TensorFlow架构(计算图、会话->EagerE...

交叉验证和超参数调整:如何优化你的机器学习模型

准确预测Fitbit的睡眠得分在本文的前两部分中,我获取了Fitbit的睡眠数据并对其进行预处理,将这些数据分为训练集、验证集和测试集,除此之外,我还训练了三种不同的机器学习模型并比较了它们的性能。在...

机器学习交叉验证全指南:原理、类型与实战技巧

机器学习模型常常需要大量数据,但它们如何与实时新数据协同工作也同样关键。交叉验证是一种通过将数据集分成若干部分、在部分数据上训练模型、在其余数据上测试模型的方法,用来检验模型的表现。这有助于发现过拟合...

深度学习中的类别激活热图可视化

作者:ValentinaAlto编译:ronghuaiyang导读使用Keras实现图像分类中的激活热图的可视化,帮助更有针对性...

超强,必会的机器学习评估指标

大侠幸会,在下全网同名[算法金]0基础转AI上岸,多个算法赛Top[日更万日,让更多人享受智能乐趣]构建机器学习模型的关键步骤是检查其性能,这是通过使用验证指标来完成的。选择正确的验证指...

机器学习入门教程-第六课:监督学习与非监督学习

1.回顾与引入上节课我们谈到了机器学习的一些实战技巧,比如如何处理数据、选择模型以及调整参数。今天,我们将更深入地探讨机器学习的两大类:监督学习和非监督学习。2.监督学习监督学习就像是有老师的教学...

Python教程(三十八):机器学习基础

...

Python 模型部署不用愁!容器化实战,5 分钟搞定环境配置

你是不是也遇到过这种糟心事:花了好几天训练出的Python模型,在自己电脑上跑得顺顺当当,一放到服务器就各种报错。要么是Python版本不对,要么是依赖库冲突,折腾半天还是用不了。别再喊“我...

超全面讲透一个算法模型,高斯核!!

...

神经网络与传统统计方法的简单对比

传统的统计方法如...

AI 基础知识从0.1到0.2——用“房价预测”入门机器学习全流程

...

自回归滞后模型进行多变量时间序列预测

下图显示了关于不同类型葡萄酒销量的月度多元时间序列。每种葡萄酒类型都是时间序列中的一个变量。假设要预测其中一个变量。比如,sparklingwine。如何建立一个模型来进行预测呢?一种常见的方...

苹果AI策略:慢哲学——科技行业的“长期主义”试金石

苹果AI策略的深度原创分析,结合技术伦理、商业逻辑与行业博弈,揭示其“慢哲学”背后的战略智慧:一、反常之举:AI狂潮中的“逆行者”当科技巨头深陷AI军备竞赛,苹果的克制显得格格不入:功能延期:App...

时间序列预测全攻略,6大模型代码实操

如果你对数据分析感兴趣,希望学习更多的方法论,希望听听经验分享,欢迎移步宝藏公众号...

AI 基础知识从 0.4 到 0.5—— 计算机视觉之光 CNN

...

取消回复欢迎 发表评论: