하나도 중요한 이야기는 아니지만 각 포털에 내 글 색인 생성에 관심이 많은 분들도 꽤 있고 나처럼 호기심에 들어갔다가 머리카락이 빠지도록 낚여버리는 경우도 있어서 그런 분들이 계시다면 머리카락 덜 빠지도록 내가 파악한 바를 전하려고 한다.
구글서치콘솔(바로가기), 예전에는 구글도 네이버와 비슷하게 색인을 원하는 개별 url을 직접 넣어 그 자리에서 바로 결과를 확인할 수 있었는데 (그것도 네이버와는 다르게 하루에 얼마를 요청하든 제한없이, 대신 내가 로봇이 아님을 증명해야 하는 사진 맞추기 관문이 있었지만) 몇 달 격조했던 틈을 타 완전히 바뀌어 있어서 오래 헤매고 다녔다. 이것이 최선인지는 모르겠지만 어쨌든 내가 정리한 것을 옮기면,
[구글에 내 글 색인 생성 요청하기]
일단 구글은 태그나 카테고리까지 일일이 색인하기 때문에 구글의 홈에서 'site:내 블로그 주소'로 내 글이 얼마나 색인 돼 있는지 찾아보면 수천 개가 나오기 때문에 사실 어느 글이 빠지고 어느 글이 색인이 됐는지 한 눈에 파악하기는 정말 어렵다.
그러므로 바로 서치 콘솔 - 내 속성 페이지로 들어가서 왼쪽에서 적용 범위를 선택한다. 그러면 오른쪽에 위와 같이 오류로 인해 제외 된 것, 경고로 인해 제외 된 것 등의 숫자가 나오고 개별 항목을 선택하면 위 그림처럼 오류 7개
경고 2개가 나온다 - 티스토리 사용자라면 이 경고가 중요(?)한데 여기에 대해서 전혀 골머리를 앓을 필요가 없다. 왜냐하면 로봇텍스트가 관리자 페이지와 m서치를 차단하게 돼 있다고 하는데 이것은 사용자가 마음대로 할 수 있는 것이 아니고 다음카카오가 하는 일이기 때문에 경고가 아무리 있어도 손 쓸 수 있는 방법이 없다.
자신의 로봇텍스트를 확인하는 방법은 "https://블로그 이름.tistory.com/robots.txt"을 주소창에 입력하고 이동하면 보이는데 티스토리라면 100% 아래처럼 나온다
User-agent: *
Disallow: /owner
Disallow: /manage
Disallow: /admin
Disallow: /oldadmin
Disallow: /search
Disallow: /m/search
Disallow: /m/admin - 여기까지의 Disallow 때문에 경고가 뜨는 것이다 (구글 지가 뭔데 남의 관리 페이지까지 들여다 보려 하지?)
Disallow: /like
Allow: /
User-agent: Mediapartners-Google
Allow: / - 애드센스는 아무 곳에나 드나들어도 된다고 돼 있고
User-agent: bingbot
Crawl-delay: 30 - 빙봇이 티스토리에 뭘 잘못 했는지 30초 딜레이를 두고 들어오게 해 놨다.
그러므로 결론은 로봇 텍스트가 원인이 돼 뜨는 노란색 경고에 대해서는 신경 쓸 필요가 없다는 것이다.
그리고 오류 - 같은 페이지의 아래를 보면
10개의 URL에 오류가 있다고 하고 나머지 두 개는 없는 페이지이기 때문에 '해당사항 없음'으로 뜬다. 그 중 10개가 있다고 적힌 줄을 클릭하면
위 그림처럼 세부 주소 정보가 나오는데 예를 들어 그 중 한 주소의 돋보기(자세히 보기)를 클릭하면
색인이 돼 있지 않다고 뜬다. 실제 URL 테스트를 누르든 색인생성 요청을 누르든
작은 창이 뜨면서 시간이 1~2분 걸릴 수 있다고 뜨는데 정말 꽤 시간이 걸리므로 기다려야 한다.
작업이 끝나고 색인 생성 요청이 가능하다고 뜨면 "색인 생성 요청"을 누르고 다시 한 번 1~2분 걸린다며 작은 창이 떠서 작업을 하는데 사람 환장하게 만든다. - 그리고 나는 잠시 "페이지가 변경 되었나요?" 하는 질문에 주목하는데 오탈자를 수정 한 것도 "변경"에 해당 되는지, 이 변경의 범위가 어디서 어디까지인지를 짐작 할 수 없다는 것이다. 어떤 사람들은 그래서 가능하면 한 번 발행한 글은 수정 하지 말라고도 하는데 그렇다고 턱도 없는 오탈자를 그냥 둘 수도 없고 말이다...
그리고는 "색인 생성 됐습니다"라고 깔끔하게 뜨면 좋겠지만 "요청이 됐다"고 뜬다. 그러면서 여러 번 요청한다고 빨리 해주는 거 아니다, 이런 말까지 덧붙인다.
그런데 이것이 얼마나 오래 걸리는지 한 열흘쯤 전에 10 개의 URL에 대해 색인 생성요청을 했는데 이제 겨우 3개 해결 되고 아직까지 7개가 요청 중인 상태로 나온다.
하지만 누락 된 글의 수가 많지 않다면 한 번쯤 해볼 만한 작업이 아닐까 생각이 된다. 어쨌든 일반 검색으로는 구글에서의 유입이 현재까지는 가장 많은 편이니까 말이다.
ⓒ고양이와 비누바구니 All rights reserved.
