Hướng dẫn python requests post size limit - python yêu cầu giới hạn kích thước bài đăng

Yêu cầu Python là một thư viện tuyệt vời để thực hiện các yêu cầu HTTP. Nó tự động xử lý nén và chuyển hướng. Thư viện này cũng có một luồng tùy chọn mạnh mẽ, cực kỳ hữu ích để làm việc với các tệp lớn. Một tệp nén lớn có thể được phát trực tuyến, được giải nén khi bay, xử lý và tái tạo cùng một lúc, mà không tải xuống toàn bộ tệp.

Sau đây là đoạn mã, được lấy từ StackOverflow, biểu thị cách chúng ta có thể sử dụng giới hạn kích thước và thời gian chờ với thư viện yêu cầu.

r = requests.get(..., stream=True, timeout=initial_timeout)
r.raise_for_status()

if int(r.headers.get('Content-Length')) > your_maximum:
    raise ValueError('response too large')

size = 0
start = time.time()

for chunk in r.iter_content(1024):
    if time.time() - start > receive_timeout:
        raise ValueError('timeout reached')

    size += len(chunk)
    if size > your_maximum:
        raise ValueError('response too large')

    # do something with chunk

Howerver, có một nhược điểm của phương pháp này, nội dung won được giải mã theo mặc định. Kiểm tra các ý kiến ​​về câu trả lời cụ thể này.

Do đó, nếu chúng ta muốn giới hạn, kích thước phản hồi và chúng ta có thể đi theo cách tiếp cận này.

import requests
r = requests.get('https://github.com/timeline.json', timeout=5, stream=True)

content = r.raw.read(100000+1, decode_content=True)
if len(content) > 100000:
    raise ValueError('Too large a response')
print content
print json.loads(content)

Với cách tiếp cận này, chúng ta có thể giới hạn, kích thước phản hồi. Tuy nhiên, trước khi cố gắng nhận được phản hồi, chúng tôi có thể kiểm tra các tiêu đề trước tiên, ví dụ:

    if 'html' not in r.headers.get('Content-Type'):
        raise ValueError('Not Html Document')

Theo cách này, thay vì tạo yêu cầu đầu trước, sau đó thực hiện yêu cầu nhận, chúng tôi có thể thực hiện một yêu cầu nhận và kiểm tra các tiêu đề trước, sau đó nhận nội dung nếu đáp ứng các yêu cầu của chúng tôi.