位置：情诗网 >情话句子 > 高端情话 >[python高性能计算]Python高性能HTTP客户端

Python高性能HTTP客户端

2020-12-03 16:50 | 发布:情诗网 | 分类:高端情话

Python中有许多HTTP客户端。使用最广泛且最容易的是requests。

持续连接

持续连接是自HTTP 1.1以来的标准，尽管许多应用程序并未使用它们。以简单模式使用请求时(例如使用get函数)，连接会在返回时关闭，Session对象允许重用已经打开的连接。

import requests

session = requests.Session()
session.get("https://china-testing.github.io/")
# Connection is re-used
session.get("https://china-testing.github.io/")

每个连接都存储在连接池中(默认为10)

import requests


session = requests.Session()
adapter = requests.adapters.HTTPAdapter(
    pool_connections=100,
    pool_maxsize=100)
session.mount('http://', adapter)
response = session.get("http://example.org")

重用TCP连接有许多性能优势：

降低CPU和内存使用率(同时打开的连接较少)。
减少了后续请求中的延迟(无TCP握手)。
可以引发异常而不会关闭TCP连接。

HTTP协议还提供了流水线，流水线化允许在同一连接上发送多个请求，而无需等待答复(批处理)。不幸的是，请求库不支持此功能。但是，流水线请求可能不如并行发送它们那么快。实际上，HTTP 1.1协议强制以与发送请求相同的顺序发送答复-先进先出。

并行

requests的主要缺点是同步的。调用requests.get("http://example.org")会阻塞程序，直到HTTP服务器完全答复为止。可以通过使用并发线程提供的线程池来缓解此问题。它允许以非常快速的方式并行化HTTP请求。

from concurrent import futures

import requests


with futures.ThreadPoolExecutor(max_workers=4) as executor:
    futures = [
        executor.submit(
            lambda: requests.get("http://example.org"))
        for _ in range(8)
    ]

results = [
    f.result().status_code
    for f in futures
]

print("Results: %s" % results)

也可以借助requests-futures的库：

来自requests_futures导入会话

from requests_futures import sessions


session = sessions.FuturesSession()

futures = [
    session.get("http://example.org")
    for _ in range(8)
]

results = [
    f.result().status_code
    for f in futures
]

print("Results: %s" % results)

在请求中使用期货

默认情况下，创建具有两个线程的工作程序，但是程序可以通过将max_workers参数甚至是自己的执行程序传递给FuturSession对象来轻松自定义此值，例如：FuturesSession(executor=ThreadPoolExecutor(max_workers=10))。

异步

如前所述，请求是完全同步的。这会在等待服务器回复时阻止应用程序，从而降低程序速度。在线程中发出HTTP请求是一种解决方案，但是线程确实有其自身的开销，这暗示着并行性，这并不是每个人总是很高兴在程序中看到的东西。

从版本3.5开始，Python使用异步将异步作为其核心。aiohttp库提供了一个基于asyncio之上的异步HTTP客户端。该库允许按顺序发送请求，但无需等待答复回来再发送新请求。与HTTP流水形成对比，aiohttp通过多个连接并行发送请求，避免了前面解释的排序问题。

# Author: 钉钉或微信pythontesting 技术支持qq群：630011153 144081101
import aiohttp
import asyncio


async def get(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as response:
            return response


loop = asyncio.get_event_loop()

coroutines = [get("https://china-testing.github.io/") for _ in range(8)]

results = loop.run_until_complete(asyncio.gather(*coroutines))

print("Results: %s" % results)

所有这些解决方案都提供了不同的方法来提高HTTP客户端的速度。

性能

下面的代码向HTTPbin.org发送请求。本示例实现了上面列出的所有技术并对它们进行计时。

# Author: 钉钉或微信pythontesting 技术支持qq群：630011153 144081101
import contextlib
import time

import aiohttp
import asyncio
import requests
from requests_futures import sessions

URL = "http://httpbin.org/delay/1"
TRIES = 10


@contextlib.contextmanager
def report_time(test):
    t0 = time.time()
    yield
    print("Time needed for `%s' called: %.2fs"
          % (test, time.time() - t0))


with report_time("serialized"):
    for i in range(TRIES):
        requests.get(URL)


session = requests.Session()
with report_time("Session"):
    for i in range(TRIES):
        session.get(URL)


session = sessions.FuturesSession(max_workers=2)
with report_time("FuturesSession w/ 2 workers"):
    futures = [session.get(URL)
               for i in range(TRIES)]
    for f in futures:
        f.result()


session = sessions.FuturesSession(max_workers=TRIES)
with report_time("FuturesSession w/ max workers"):
    futures = [session.get(URL)
               for i in range(TRIES)]
    for f in futures:
        f.result()


async def get(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as response:
            await response.read()

loop = asyncio.get_event_loop()
with report_time("aiohttp"):
    loop.run_until_complete(
        asyncio.gather(*[get(URL)
                         for i in range(TRIES)]))

运行此程序将给出以下输出：

Time needed for `serialized' called: 12.12s
Time needed for `Session' called: 11.22s
Time needed for `FuturesSession w/ 2 workers' called: 5.65s
Time needed for `FuturesSession w/ max workers' called: 1.25s
Time needed for `aiohttp' called: 1.19s

image.png

使用Session对象并因此重新使用连接意味着节省了8％的时间。

如果您的系统和程序允许使用线程，那么最好使用它们来并行化请求。但是，线程有一些开销，而且不是轻量级的。他们需要创建，启动然后加入。

除非您仍在使用旧版本的Python，否则如果您想编写一个快速且异步的HTTP客户端，无疑使用aiohttp应该是当今的方式。它是最快，最具扩展性的解决方案，因为它可以处理数百个并行请求。替代方案是并行管理数百个线程不是一个好选择。

https://www.jianshu.com/p/832b11aecf69 深圳市网新新思软件有限公司招聘大数据测试

Streaming

另一个有效的速度优化是流式传输请求。发出请求时，默认情况下会立即下载响应的正文。请求库提供的流参数或aiohttp的content属性都提供了一种在执行请求后不立即将全部内容加载到内存中的方法。

import requests


# Use `with` to make sure the response stream is closed and the connection can
# be returned back to the pool.
with requests.get('http://example.org', stream=True) as r:
    print(list(r.iter_content()))

用aiohttp流

import aiohttp
import asyncio


async def get(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as response:
            return await response.content.read()

loop = asyncio.get_event_loop()
tasks = [asyncio.ensure_future(get("https://china-testing.github.io/"))]
loop.run_until_complete(asyncio.wait(tasks))
print("Results: %s" % [task.result() for task in tasks])

为了避免无用地分配可能的数百兆内存，不加载全部内容非常重要。如果您的程序不需要整体访问整个内容，而是可以处理块，那么最好使用这些方法。例如，如果您要保存内容并将其写入文件，则仅读取一个块并同时写入它将比读取整个HTTP正文(分配大量的内存)具有更高的内存效率。然后将其写入磁盘。

我希望这可以使您更轻松地编写适当的HTTP客户端和请求。如果您知道任何其他有用的技术或方法，请随时在下面的评论部分写下来！

本站以现代、古代情诗为主，情诗网创办于2013年，以原创爱情诗歌、经典情诗、现代情诗、古代情诗、英文情诗、情诗绝句为主并收集古诗、古诗词、诗歌大全、诗词名句的文学门户。方便您下次继续阅读；可以放在浏览器的收藏夹中（快捷键Ctrl+D）;或者看到喜欢或者有趣的诗词可以通过分享按钮给你的好友分享；情诗网是目前最全情诗大全网站之一。并欢迎广大诗歌爱好者阅览投稿！喜欢本站的话请大家把本站告诉给你朋友哦！地址是 www.qingshiwang.com ！

本文标题:Python高性能HTTP客户端
本文地址:http://www.qingshiwang.com/qinghua/10077.html

原创情诗

Python高性能HTTP客户端

持续连接

并行

异步

性能

Streaming

你可能感兴趣的文章:

本站为你推荐的文章:

最新高端情话

高端情话阅读榜

相关专题栏目