Pular para o conteúdo
TreeProxiesENPTESFREntrar

Guias

Usar o endereço com Scrapy

O endereço entra no middleware, não no spider.

No Scrapy, o proxy vai no meta do request: request.meta["proxy"] = "http://IP:20001". A autenticação vai num header Proxy-Authorization com o usuário e a senha em base64.

Rodar a lista

Para distribuir entre vários endereços, sorteie um da lista a cada request. Fixar o mesmo endereço em tudo concentra o bloqueio nele.

Um 407 no log é senha, não é banimento. Trate esse código à parte dos códigos do site de destino.