Sitemaps XML: Dando aos crawlers um mapa limpo do seu site

Um sitemap é uma ajuda de descoberta. Ele diz aos motores de busca quais URLs você considera dignas de rastreamento e aproximadamente quando cada uma mudou pela última vez. Em um site pequeno com link interno limpo, muda pouco. Em um site grande, novo ou onde páginas úteis ficam a 4 cliques da página inicial, costuma ser a diferença entre uma página ser encontrada esta semana e no próximo trimestre. Duas propriedades fazem um sitemap útil: ele é descobrível, e é honesto. Descobrível significa que é referenciado em robots.txt ou enviado diretamente, e vive em um URL estável. Honesto significa que todo URL nele é um que você gostaria de indexar, ou seja, canonical, devolve 200, e está aberto ao crawling. O defeito mais comum é um sitemap gerado uma vez e nunca regenerado, listando URLs que agora redirecionam ou 404 enquanto omite tudo publicado desde. O segundo é um sitemap contendo todos os URL que o CMS pode produzir, incluindo arquivos de tag, duplicatas paginadas e variantes parametrizadas. Ambos ensinam os motores de busca a confiar menos no arquivo. Essas verificações confirmam que o sitemap pode ser encontrado, é analisado como XML válido, e usa corretamente a estrutura de índice e filho. Depois elas leem cada URL listada contra as suas próprias diretivas, porque um arquivo que nomeia URLs bloqueadas, noindex ou não canônicas se contradiz, e os motores de busca resolvem essa contradição confiando menos nele.