CDN mal configurada bloqueia o Googlebot e derruba o tráfego

O que o Google publicou em 11 de novembro

Assinado por Cherry Prommawin e Gary Illyes, do time de rastreamento, o texto cobre o que esperar do tráfego de rastreadores depois da migração, por que a CDN não o absorve de imediato e o que fazer para não derrubar o site da Busca.

A recomendação central é não tratar a proteção antibots como interruptor de emergência. Sem exceção para crawlers verificados, a CDN ou o WAF desafia o Googlebot com CAPTCHA ou devolve erro, e o site passa a parecer restrito ou quebrado para o Google.

Por que o rastreamento acelera quando o site fica mais rápido

O mecanismo é a capacidade de rastreamento, o antigo hostload. A infraestrutura do Google monitora a saúde e a responsividade do servidor: respostas lentas reduzem a taxa de rastreamento, e respostas rápidas e estáveis sinalizam que o servidor aguenta mais — desde que exista demanda de rastreamento, a taxa sobe.

No instante em que o DNS aponta para uma CDN, o tempo de conexão e de resposta cai. Para o sistema de rastreamento, é como se o servidor tivesse recebido uma atualização de hardware, e os crawlers começam a subir o ritmo para acompanhar. O próprio Google lembra que o rastreamento não acelera de imediato e que muitas CDNs têm controle de conexão que suaviza o pico — mas a curva existe.

Cache frio: a CDN só protege na segunda visita

O problema é que a CDN nova começa com o cache vazio. Na primeira requisição de uma URL em cada ponto de presença, não há cópia do HTML, do CSS, do JavaScript ou da imagem: é um cache miss, e o servidor de origem precisa buscar, responder e só então guardar a versão para as próximas visitas.

Visitantes humanos se concentram em poucas páginas populares — home, artigos mais lidos, promoções —, que aquecem rápido. Rastreadores fazem o contrário: percorrem a largura do inventário de URLs. Some as duas coisas e cada URL nova que o crawler visita vira um cache miss que vai direto ao origin. Enquanto o cache não aquece, a CDN não é escudo.

O bloqueio em massa que derruba o Googlebot

É nesse intervalo que o administrador olha o gráfico de requisições, vê o pico e liga a proteção antibots em massa. Sem exceções, a regra trata todo tráfego automatizado igual — inclusive o Googlebot, que falha no desafio de CAPTCHA.

Do ponto de vista do Google, o site passa a responder com erro ou com uma página de desafio que não serve para a Busca. Os crawlers recuam, e páginas, anúncios de produto e imagens começam a sair do índice — uma queda de indexação causada pela própria configuração de segurança.

O que fazer antes, durante e depois da migração

O guia traz três recomendações. A primeira é liberar os bots verificados nas configurações da CDN e do firewall — a maioria dos fornecedores tem um botão ou uma regra gerenciada para isso, e o Google publica os intervalos de IP e o DNS reverso para conferência. Se a intenção é bloquear bots indesejados, o caminho é mirar user-agents específicos ou usar o robots.txt, não bloquear tudo.

A segunda é pré-aquecer o cache antes de abrir as comportas: buscar as páginas de maior tráfego, as que vão receber pico sazonal e as mais rastreadas através da CDN, em ritmo controlado. A terceira é o freio de emergência: se o volume ainda pesar no origin enquanto o cache aquece, responder 429 ou 503 por um período curto — poucas horas, no máximo um ou dois dias — com o cabeçalho Retry-After indicando quando tentar de novo.

Depois da virada, o acompanhamento é no Search Console: indexação, erros de rastreamento e cobertura. Se as páginas pararem de aparecer, olhe a regra de bots da CDN antes de culpar o algoritmo.

O que isso significa para a PME brasileira

CDN e WAF de plano gratuito são padrão em sites de PME no Brasil, muitas vezes ativados às pressas na migração. O risco é maior justamente aí: o painel oferece um botão de “bloquear bots” com nome tranquilizador, e o efeito colateral não aparece no dia seguinte — aparece quando o tráfego orgânico cai.

O caso brasileiro já foi documentado: configuração errada de Cloudflare pode bloquear o Googlebot e derrubar o ranking a ponto de parecer atualização do algoritmo, como mostrou o iMasters em 2026.

Vale separar dois objetivos que costumam se misturar. Bloquear rastreadores de IA para treinamento é uma decisão legítima de custo e de conteúdo; bloquear o Googlebot não é. Uma regra ampla de “bots de IA” pode acertar o alvo errado, e o ajuste fino é por user-agent e por faixa de IP, não por categoria genérica.

Riscos e limites da orientação

O guia é a visão do Google sobre o próprio crawler: ele não promete que o rastreamento vai acelerar, nem quanto tempo o pico dura. Em sites pequenos, o volume de URLs pode ser baixo o bastante para o efeito passar despercebido — e a documentação de orçamento de rastreamento é escrita para sites com dezenas de milhares de páginas.

O 429 ou 503 é freio de emergência, não política: devolver erro por dias a fio pode atrasar a indexação e, se a resposta for 403 ou CAPTCHA, o efeito é o bloqueio que o guia quer evitar. Também não existe garantia de recuperação imediata: depois de um bloqueio, o crawler volta devagar, e o tempo depende da autoridade e do tamanho do site.

Por fim, a CDN não substitui capacidade de origem nem resolve código lento: ela adia o problema da primeira visita e o devolve no primeiro cache miss.

Fontes

• Google Search Central — Migrar para CDN sem sobrecarregar o servidor de origem — post oficial, 11/11/2026
• Google — Optimize your crawl budget — capacidade de rastreamento, atualizado em 22/07/2026
• Google — Reduce the Google crawl rate — 429/503 e Retry-After, atualizado em 06/10/2026
• iMasters — Cloudflare mal configurado pode derrubar seu ranking — cobertura brasileira, agosto de 2026

Fechamento

Migrar para CDN é uma melhoria de infraestrutura, não uma pausa no SEO. Antes de virar a chave, libere os bots verificados, aqueça o cache e combine com quem opera o servidor o que fazer se o origin pesar — o resto é acompanhar a indexação.

Vai migrar ou acabou de migrar o site? A Canis faz auditoria de SEO técnico para conferir rastreamento, indexação e configuração de CDN antes e depois da virada.