봇 막는 설정.

하루에 150여 회의 접속자 수. 이게 과연 자기 혼자만 사용하는 블로그에서 나올 수 있는 수치일까.
물론 블로그코리아나 올블로그에 등록이 되어 있기는 하지만 내 블로그가 그다지 베스트 셀러도 아닌데 그 수치가 나온다는 것이 상식적으로 이해가 가지 않는다.

지금은 무한트래픽의 무료계정으로 옮겼지만, 하루에 1G의 트래픽을 모두 써 버리는 일이 가능할까?
한때, 내 블로그 페이지가 아니라 내 개인 홈페이지도 트래픽을 다 소모하곤 했는데, 요새는 그 봇이 활동을 그만두었는지(아무런 설정도 하지 않았다.) 트래픽 사용량이 1% 이내에서 그치고 있다.

봇들의 활동을 거부하는 설정은 다음과 같다.
다음 설정은 야후 봇의 활동을  막아버리는 것이다. 단지 야후봇만을 막았음에도 불구하고 거의 절반으로 일일 접속자 수가 떨어진 것을 볼 수 있다. 내 블로그를 검색엔진에 노출시키는 것도 좋지만 봇의 활동이 너무 심하니... 막았다. - 홈페이지를 가진지 오래되다 보니 검색엔진에 내 홈페이지가 등록되어 있다는 사실에 뭔가 뿌듯함을 가지는 것 따위는 초월해 버렸다. - 어차피 블로그코리아나 올블로그 같은 메타사이트가 또 검색엔진에 수집될테니 어떻게든 수집이 될거라는 생각에서였다.

다음과 같은 내용을 웹루트 혹은 수집을 거부하는 가장 상위 디렉토리에 robots.txt 파일을 만들고 그 안에 넣으면 된다.

User-agent: Slurp
Disallow: /

P.S 갑자기 접속자 수가 늘었다.(2006년 5월 18일 현재)

분명히 또 어떤 로봇이 들이대기를 하는 모양이다.
그렇지만 레퍼러 로그에도 그게 무엇인지는 나오지를 않으니... 내가 뭔가 설정을 잘 못한 건가?

어쨌거나, 이렇게 허위로 뭔가를 하는 짓들. 정말 싫다.