Dans Scrapy, le proxy va dans la méta de la requête : request.meta["proxy"] = "http://IP:20001". L'authentification va dans un en-tête Proxy-Authorization avec le nom d'utilisateur et le mot de passe en base64.
Exécuter la liste
Pour répartir sur plusieurs adresses, choisissez-en une dans la liste au hasard à chaque requête. Épingler la même adresse à tout concentre le blocage sur elle.
Un 407 dans le journal est le mot de passe, pas une interdiction. Gérez ce code indépendamment des codes du site de destination.