XML 사이트맵: 크롤러에게 깨끗한 사이트 지도 제공

사이트맵은 발견 보조 도구입니다. 검색 엔진에게 어떤 URL을 크롤링할 가치가 있다고 생각하는지, 그리고 각 URL이 마지막으로 언제 변경되었는지 알려줍니다. 작은 사이트에서 내부 링크가 깔끔하면 거의 변하지 않습니다. 대형 사이트, 새 사이트, 또는 유용한 페이지가 홈페이지에서 4번 클릭 떨어진 경우, 이는 한 주에 페이지가 발견되는지 다음 분기에 발견되는지의 차이를 만들 수 있습니다. 두 가지 속성이 사이트맵을 유용하게 만듭니다: 발견 가능하고 정직합니다. 발견 가능성은 robots.txt에서 참조되거나 직접 제출되며, 안정적인 URL에 존재합니다. 정직성은 그 안의 모든 URL이 인덱스하고 싶어하는 것, 즉 canonical, 200을 반환하고 크롤링에 열려 있는 것입니다. 가장 흔한 결함은 한 번 생성되어 재생성되지 않는 사이트맵으로, 이제 리디렉션되거나 404인 URL을 나열하면서 게시된 모든 것을 생략합니다. 두 번째는 CMS가 생성할 수 있는 모든 URL을 포함하는 사이트맵으로, 태그 아카이브, 페이지 매김 중복 및 파라미터화된 변형을 포함합니다. 두 경우 모두 검색 엔진이 파일을 덜 신뢰하도록 만듭니다. 이 검사는 사이트맵을 찾을 수 있는지, 유효한 XML로 파싱되는지, 인덱스 및 자식 구조를 올바르게 사용하는지 확인합니다. 이어서 나열된 각 URL을 여러분 자신의 지시문과 대조합니다. 차단되거나 noindex이거나 비canonical한 URL을 올린 파일은 스스로 모순되며, 검색 엔진은 그 모순을 파일에 대한 신뢰를 낮추는 것으로 정리합니다.