Coleta de páginas em quantidade esbarra no limite de consultas que o destino aceita por IP. Passou do limite, vem bloqueio ou captcha, e o endereço não tem culpa.
Como dimensionar
Meça quantas páginas por hora um endereço entrega com resposta válida. Divida o total que você precisa por esse número. O resultado é a quantidade, com folga para os que falharem no meio do dia.
Espalhe entre blocos diferentes. Cem endereços no mesmo bloco são bloqueados de uma vez só.