호스트 에러 문제 '호스트 상태 지난 주 문제 있었음'에 대하여

호스트 에러

호스트 상태 지난 주에 문제 있었음

구글 서치콘솔에 블로그를 연결하고 운영하다 보면 여러가지 경우의 색인 생성 문제에 관하여 서치콘솔에서 notice 해 준다. 호스트 에러 문제도 그중 하나에 속한다.

초보 블로거로서 색인생성 문제가 발생하면 이유 불문하고 머리가 아프다. 글 쓸 시간도 모자라는 판에 해결 방법을 알아 내기 위하여 많은 시간을 투자해야 하기 때문이다.

호스트 에러가 발생하면 블로그 운영자가 어떻게 대처해야 하는지 문제 해결을 어떻게 하는 것인지 그 방법은 있는 지에 대하여 스터디 해 보겠다.

초보 블로거가 해결 점을 찾아가는 과정이 공유 됨으로써 잠시 머리를 식힐 수 있을 수 있는 시간이 된다면 좋겠다.

호스트 에러 배경

현재 필자가 운영하고 있는 티스토리에는 호스트 에러 문제가 지속해서 발생 되고 있다.

다음에서 지난해 하반기에 서비스 제공하던 블로그 운영을 멈추고, 티스토리에 통합한 이후부터 지금까지 계속해서 반복적으로 호스트 에러 문제가 발생하고 있는 것으로 추정하고 있다.

호스트 문제 발견은 어디서 알 수 있나?

서치콘솔 설정 메뉴에서 크롤링 통계 보고서를 열면 '호스트 상태에서 지난주 문제 있었음'의 문구를 볼 수 있다.

여기서 말하는 호스트 상태는 지난 90일 동안 일반적인 가용성 상태가 지난 90일 동안 또는 지난 주에 사이트에 영향을 미치는 가용성 문제가 발생하면 표시가 된다고 하고 있다.

호스트 상태는 가용성 문제 발생 여부를 3가지 경우로 구분됨을 알 수 있다.

• 가용성 문제가 전혀 없는 경우
• 일시적인 오류 또는 이미 문제가 해결되었을 수 있으나 가용성 문제가 1 개 이상 1주 전에 발생한 경우
• 중대한 가용성 문제가 최근 발생한 경우이다. 반복되는 문제인지 문제 여부를 확인하고 응답표를 검토하여 문제 파악 및 조치를 취해야 하는지 여부를 결정하라고 하고 있다.

여기서 호스트 상태가 초록색이면 이상이 없는 것이고 빨간색이면 해당 robot.txt 가져오기, DNS 확인, 서버 연결 문제를 클릭하여 세부 정보를 확인하라고 하고 있다.

호스트 문제 발생 이유

여기서 중대한 가용성 문제인 경우 문제 파악과 조치를 취할 것인지 결정 하라고 하였으나 조치 방법이 무엇인지 모르는데 문제가 있는 것이다.

구글 서치콘솔 도움말 센터에서는 다음과 같이 안내하고 있다. 이에 따른 해결 방법을 찾아야 하는 것이다.

1. robots.txt 가져오기

크롤링 중 robots.txt 요청 실패율을 표시하는 것으로 요청이 유효한 파일이거나 파일이 존재하지 않은 응답(404)을 반환 하지 않으면 만족스러운 robots.txt 응답을 받을 때 까지 크롤링속도를 늦추거나 중단한다.

2. DNS변환

DNS 서버가 호스트 이름을 인식 못하거나 크롤링 중 응답이 없는 경우로서 이때는 사이트가 올바르게 설정 되어 있는지 확인 및 서버가 인터넷에 연결 되어 있는지 확인하라.

3. 서버 연결

서버 응답이 없거나 크롤링 중 URL에 대하여 전체 응답이 전송 되지 않는 경우로 해결 방법은 서버 오류 원인을 알아야 한다.

원본 참조 :https://support.google.com/webmasters/answer/9679690#availability

나의 경우는 서버 연결에 문제가 있는 것으로 볼 수 있어 이에 대하여 좀더 확인을 해 보았다.

호스트 문제 해결 방법

서버 오류는 가용성의 문제 이므로 가능한 경우 수정을 할 것을 요구하고 있다. 세부정보와 시간을 확인하여 일시적 문제 또는 더 많은 가용성 문제가 발생되고 있는 지를 파악하여 크롤링 속도를 구글에 낮춰줄 것을 요구하던가 크롤링 급증 원인을 알아본 다음에 서버 오류 해결 방법을 모색 하는 것이다.

도움센터에서 제시하고 있는 서버 오류 수정 과정은 다음과 같다

1. 크롤링 통게 보고서에서 최근 호스트 가용성을 확인하여 지속적이거나 대규모 문제가 있는지 확인 한다.
2. 동적 페이지 요청에 대한 과도한 페이지 로드를 줄인다. 동적 페이지 응답시간이 길어 응답시간 초과 문제발생 또는 서버 과부하 상태를 반환하여 googlebot의 크롤링 속도를 줄이도록 요청하는 경우가 있으므로 가능한 매개 변수를 짧게 유지하거나 적게 사용할 것을 주문하고 있다.
3. 호스팅 서버 다운 또는 오버로드 되거나 잘못 구성되지 않도록 한다. 연결 시간 초과 응답문제가 지속되면 웹 호스팅 업체에 문의하여 사이트 트래픽 처리 능력을 높이는것을 고려하라.
4. 실수로 구글을 차단하지 않았는지 확인한다. DNS 구성, 방화벽, 콘텐츠 관리시스템 구성등의 문제로 구글이 차단 될 수 있다고 한다. 해결하기 위해서는 웹사이트의 인프라중 어느것이 구글 봇을 차단하는지 확인 후 차단 해제 하는 것이다.
5. 검색엔진 사이트 크롤링과 색인 생성을 현명하게 제어한다. 일부 웹마스터는 크롤링 색인 생성되는 방식을 제어 하기 위하여 구글 봇이 도달 하지 못하도록 차단하는 경우가 있으므로 이경우는 다음과 같이 해결하라고 한다.
   • googlebot의 크롤링 제어할때는 robots,txt 파일을 사용한다.
   • googlebot 사용자 에이전트를 사용하는 해로운 크롤러로 의심이되면 구글 봇이 맞는지 확인을 한다
   • googlebot의 사이트 크롤링 빈도를 줄이려면 googlebot 크롤링 속도 변경을 요청한다. 호스팅 업체 IP주소 소유권을 확인하여 속도 변경 기능을 사용 할 수 있다

콘텐츠 동적 게제로 간주되는 사례는 여러URL에 동일한 콘텐츠를 게제하는 경우이다.

https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot?sjid=6200115366403062393-AP&visit_id=638250705738773095-2409463675&rd=1&hl=ko

https://support.google.com/webmasters/answer/7440203?sjid=6200115366403062393-AP#fixing_server_errors&zippy=%2C%EC%84%9C%EB%B2%84-%EC%98%A4%EB%A5%98

나의 경우 여러url에 동일한 콘텐츠를 올린 바도 없으므로 응답 시간 초과 문제를 일으켰다고 볼 수도 없고 그렇다고 구글 봇을 실 수로 차단한 경우가 없는데도 불구하고 서버 오류가 지속되고 있다.

결론은 내가 해결 할 수 있는 문제가 없다는 것이다. 참 어려운 문제이다.

맺음말 : 결국 블로그를 운영하는 사용자로서 해결 방법이 무엇인지 해답을 명확하게 찾을 수는 없어 보인다. 시간이 지나면 빨간색이 초록색으로 자연스럽게 바뀌는 것을 볼 때 시간이 해결해 주는 것 같다는 결론이다.

구글은 구글 지도 메일 유튜브 블로그 등의 서비스를 무료로 제공하고(사실은 애드센스 광고 수익으로 운영하는 것임) 서비스 개선을 위해 노력하는 반면에 사용자에게는 이러한 서비스를 이용할 수 있도록 권한을 부여하면서 사용자가 최소한 준수해야 할 규범 등을 제시 하고 있다.

비록 컴퓨터 등에 전문 지식이 없는 일반 사용자이지만 색인에 있어 어떠한 문제가 발생 하는 경우 무엇을 어떻게 해결 해야 하는지 알아야 하는 것은 기본 예의일 것이다.

따라서 블로그 운영자인 입장에서 볼 때 본인 뿐만 아니라 다른 사용자의 쾌적한 이용 환경을 위해서는 운영자가 할 수 있는 것은 최선을 다하여 해결 점을 찾는데 노력해야 한다고 본다.

도움말 센터의 해석에 오류가 있을 수 있으므로 참조만 하고 자세한 내용은 첨부URL에서 별도 확인 바란다