구글 검색 누락 해결 방법 (구글봇 크롤링 오류)

티스토리 블로그의 대부분은 검색을 통해 유입됩니다. 네이버나 다음은 저품질 블로그로 인식되는 경우 방문자수가 급격히 감소합니다. 방문자수의 감소는 자연히 애드센스 수익 하락을 가져오는데요. 네이버, 다음은 워낙 꼼수도 많고 자사의 제품을 우대하기 때문에 구글에 대한 의존도가 점점 높아갑니다. 오늘은 구글에서 검색 관련 크롤링 오류가 발생했다는 메일을 받아, 이에 어떻게 대처해야 하는지 알아보고겠습니다.

 

구글 검색에 노출되기 위해서는 구글 봇이 티스토리 블로그를 잘 크롤링해 가야 합니다. 구글 봇이 알아서 잘 크롤링을 해 가지만 그렇지 못하는 링크도 있습니다. 그래서 가끔 Search Console 들어가는 와중에 새로운 색인 생성 범위 관련 문제가 발생했다는 메일을 받게 됩니다. 구글은 외국회사라 그런지 한글로 보낸 메일이 읽기 너무 어렵습니다. 중간에 '검색 결과에 부정적인 영향을 받을 수 있다'는 말을 보고 대처가 필요하다고 생각했습니다.

발견된 새로운 문제, '제출된 URL을 찾을 수 없습니다(404)'입니다. 뒤에서 다루겠지만 그리 큰 문제는 아니었습니다.

 

오류는 총 2개이고 '하나는 제출된 URL을 찾을 수 없습니다(404)'이고, 다른 하나는 '제출된 URL에 크롤링 문제가 있습니다.' 입니다. 해당 오류를 클릭하면, 오류가 발생한 URL을 확인할 수 있습니다. 이 URL을 복사하여 브라우저에서 접속한 결과 오류의 원인을 찾을 수 있었는데요.

 

티스토리 블로그를 하다 보면 처음 셋팅한 상태를 변경하게 됩니다. 카테고리명을 수정하기도 하고, 카테고리 위치를 바꾸기도 하는 데다. 위 카테고리는 최근에 변경한 카테고리명입니다. 변경한 카테고리명이 반영이 되지 않으면서, 오류가 발생했습니다. 2가지 문제가 모두 동일한 원인으로 큰 문제는 아니었습니다.

 

오류사항을 더블 클릭하면 페이지 세부정보가 나옵니다. 3가지 정도의 해결 방법이 있는데요. 이미 수정된 부분이라 '색인에 제출'이라는 방법을 통해서 문제를 해결하고자 합니다.

 

URL 입력창에 변경한 카테고리의 URL을 입력하고 제출했습니다. '제출된 URL이 색인에 표시되는지 여부와 시기는 예상하거나 보장하지 않는다'라고 합니다. 구글의 불친절함을 느끼지만 어쩔 도리는 없습니다.

 

해당 작업으로 문제가 해결됐기를 기대하지만, 당장 확인이 되지는 않습니다. 하지만 큰 문제는 아니므로 그냥 넘어가기로 했습니다. 검색을 통한 유입은 블로거에게 소중한 채널입니다. 이번 기회를 통해서 점검하는 시간을 가져보는 것도 좋겠습니다.