Парсинг путем отправки одновременных запросов с помощью python

Я предлагаю запустить собственную многопоточную программу для выполнения запросов. Я обнаружил, что concurrent.futures это самый простой способ многопоточного выполнения таких запросов, в частности, с помощью ThreadPoolExecutor. У них даже есть пример простого многопоточного запроса URL в документации.

Что касается второй части вопроса, это действительно зависит от того, насколько/как вы хотите ограничить свои запросы. Для меня установка достаточно низкого аргумента max_workers и, возможно, включение ожидания time.sleep в мою функцию было достаточно, чтобы избежать каких-либо проблем даже при очистке десятков тысяч страниц, но это, очевидно, намного больше зависит от сайта, который вы пытаетесь очистить. Тем не менее, не должно быть сложно реализовать какую-то пакетную обработку или ожидание.

Следующий код не тестировался, но, надеюсь, он может стать отправной точкой. Отсюда вы, вероятно, захотите изменить get_url_data (или любую другую функцию, которую вы используете) с тем, что вам нужно сделать (например, синтаксический анализ, сохранение).

import concurrent.futures as futures
import requests
from requests.exceptions import HTTPError

urllist = ...

def get_url_data(url, session):
    try:
        r = session.get(url, timeout=10)
        r.raise_for_status()
    except HTTPError:
        return None

    return r.text

s = requests.Session()

try:
    with futures.ThreadPoolExecutor(max_workers=5) as ex:
        future_to_url = {ex.submit(get_url_data, url, s): url
                         for url in urlist}

    results = {future_to_url[future]: future.result() 
               for future in futures.as_completed(future_to_url)}
finally:
    s.close()