En Scrapy, el proxy va en el meta de solicitud: request.meta["proxy"] = "http://IP:20001". La autenticación va en un encabezado Proxy-Authorization con el nombre de usuario y la contraseña en base64.
ejecutando la lista
Para distribuir entre varias direcciones, elija una de la lista al azar en cada solicitud. Fijar la misma dirección a todo concentra el bloqueo en ello.
Un 407 en el registro es la contraseña, no una prohibición. Maneje ese código aparte de los códigos del sitio de destino.