정말 사람 약이 바짝 오르게 만드는 오늘입니다.
외출하고 돌아와 보니 또 트래픽이 초과되어 있습니다.
누가 이기나 보자 생각하고 또 돈을 내고 트래픽을 리셋했습니다.
트래픽 리셋은 난생 처음 하는 일이지만 한번이 어렵지 두번은 쉽더군요.
범인은 일단 찾은 듯 합니다.
새벽 6시에 한번, 오후 7시 쯤에 한번 서버가 닫혔기 때문에 올블로그나 한RSS 같은 곳에서의 유입도 별로 없었던 하루입니다. 그런데, 누군가 월별 아카이브를 돌아가며 긁어대고 있네요.
robots.txt에서 'User-agent:* disalllow: / 옵션을 주었기에 기타 로봇들은 활동이 별로 없었습니다.
그렇다면 과연 누굴까요?
@#$%$의 NaverBot/1.0이라고 나오네요. -_-
네이버 봇은 로봇이 아니랍니까. robots.txt에서 모든 에이전트를 막았는데 왜 이리 혼자서 하루종일 미친듯이 긁어댄건지. 일단 범인은 알았는데 왜 이런일이 생겼는지, 무엇을 어떻게 해야 되는지 모르겠습니다.
혹시 해결책을 아시거나, 제쪽에서 잘못한 점이 있는지 아무거라도 짚이는 부분이 있으면 한수 가르쳐 주시면 고맙겠습니다. 좋은 주말 밤 되시기 바랍니다. 전 평안치 못합니다만. -_-
외출하고 돌아와 보니 또 트래픽이 초과되어 있습니다.
누가 이기나 보자 생각하고 또 돈을 내고 트래픽을 리셋했습니다.
트래픽 리셋은 난생 처음 하는 일이지만 한번이 어렵지 두번은 쉽더군요.
범인은 일단 찾은 듯 합니다.
새벽 6시에 한번, 오후 7시 쯤에 한번 서버가 닫혔기 때문에 올블로그나 한RSS 같은 곳에서의 유입도 별로 없었던 하루입니다. 그런데, 누군가 월별 아카이브를 돌아가며 긁어대고 있네요.
robots.txt에서 'User-agent:* disalllow: / 옵션을 주었기에 기타 로봇들은 활동이 별로 없었습니다.
그렇다면 과연 누굴까요?
네이버 봇은 로봇이 아니랍니까. robots.txt에서 모든 에이전트를 막았는데 왜 이리 혼자서 하루종일 미친듯이 긁어댄건지. 일단 범인은 알았는데 왜 이런일이 생겼는지, 무엇을 어떻게 해야 되는지 모르겠습니다.
혹시 해결책을 아시거나, 제쪽에서 잘못한 점이 있는지 아무거라도 짚이는 부분이 있으면 한수 가르쳐 주시면 고맙겠습니다. 좋은 주말 밤 되시기 바랍니다. 전 평안치 못합니다만. -_-
'共知' 카테고리의 다른 글
| 잠시 집을 비웁니다. (12) | 2007/01/07 |
|---|---|
| 올해 가장 거시기한 포스팅 (24) | 2006/12/20 |
| 일단 범인은 찾았는데.. (28) | 2006/11/25 |
| 로봇의 역습 (14) | 2006/11/25 |
| 태터툴즈 업그레이드를 하긴 했는데 (16) | 2006/11/15 |
| MAT (14) | 2006/11/10 |
댓글을 달아 주세요
비밀댓글입니다
잔소리는 가볍게 씹는 것이 네이버 방식으로 알고있습니다. -_-
xxx님 오랫만입니다. 조언 고마워요. ^^
구글봇 야후봇의 경우 robots.txt를 준수하지만, 네이버봇의 경우에는 robots.txt를 무시하고 자기 멋대로 정보를 수집한다고 합니다.
네이버봇이 제어가 안된다면 저는 어떻게 하란 말입니까.
서버 트래픽 리셋한지 한시간 만에 30% 점유.
내일 또 닫힐 것이 매우 확실합니다. 덜덜덜..
참 재밌어요 이런거 보면 ...
http://kin.naver.com/robots.txt
http://cafe.naver.com/robots.txt
엠파스랑 싸움났을때 이 부분이 이야기 되었었지요.
자기 아카이브는 철저히 지킨다고. 그거야 자기 맘이지만 남의 사이트는 왜 허락없이 긁는답니까. -_-
저도 안그래도 트래픽으로 골치가 아픈데 말이죠.. 음.. 저도 범인을 잡아야 겠네요 ㅎㅎ
앗. 좀전에 들어갔던 사이트군요. 우리 아이들보고 멘토스 뿐만 아니라 박하사탕도 콜라랑 먹지 말라고 이야기 해줬습니다.
트래픽이란게 말씀처럼 정말 골치 아프네요.
네이버뿐만 아니라 한국 검색 엔진은 그닥 안 지키는 것으로 알고 있어요~_~;;;
그나저나 환상적으로 긁어가네요
netscape 라고 나온것도 재미나고 말이죠
bot 과 함께 잡힌 페이지 가보니
http://help.naver.com/delete_main.asp
근데 지킨다고 주장하긴 하는군요a
캡쳐해서 보내주세요~ㅋㅋ;
그럼 어떻게 해야 하지요? 정말 방법이 없나요? ㅠ.ㅜ
저는 제가 robots.txt에서 무언가 잘못했나 싶었는데.
(게다가 서버는 호주로 나오지요. 뭔일인지 도대체 알기 힘듭니다. -_-)
가장 확실한건 저기 페이지의 문의를 이용하시면 되요
일단 1,2일내로 처리를 해준다니까
그 사이만 어케~_~;;
아니면 스팸차단처럼 ip 차단하는 법도 있을텐데
저도 정확히 기억이;;
테터에 ip 차단이 있다면 저 ip 를 차단해버리심이
네이버에는 메일 보내놓았습니다.
처리가 얼마나 오래 걸릴지는 미지수네요. 오늘도 새벽을 못버틸듯 합니다.
IP를 차단하는 방법이 있으면 딱이지요. 202.179.180.52 이 주소가 문제인데.. 댓글이나 트랙백이 아닌한 차단하는 방법을 잘 모르겠습니다. -_-
암튼 같이 고민해 줘서 어찌나 고마운지 모르겠습니다. ^^
검색 봇 이 robots.txt 를 무시한다면 프로그램 적으로 막아버리는 것 밖에 없어 보이네요.. ^^
검색엔진 막아버리는 플러그인 이라도 만들어 드리고 싶군요.
그런 프로그램도 가능한가봐요. IP에 따라 내용을 안보여주거나 튕겨버리는.. 와우 말만 들어도 기분이 좋아지는 플러그인이군요.
말씀만이라도 너무 고맙습니다. ㅠ.ㅜ
여지껏 트래픽 50%도 못 넘겨본 저에겐..
한 번 경험해보고 싶었는데..
막상..이렇게 봇에게 당하는 거라면..
그닥 경험하고 싶지 않네요;;
더군다나 딱히 대책도 없는 녀석들에게 당한다면 더더욱;;
네. 손님에 의해 트래픽 초과정도 나오면 돈을 내든 서버를 바꾸든 기분좋게 고민을 하지요. 별 #@$*&^ 같은 로봇에 당한 기분은 말로 하기 힘듭니다. ^^
궁금한게 있습니다.. 혹시 특정 검색엔진에 검색이 안되게 하는 방법은 없나요?
특정엔진은 막을 수 있나봐요.
User-agent: GoobleBot
Disallow: /
뭐 이런 식입니다. 저 아래에 루미넌스님 블로그에 가보시면 잘 정리되어 있습니다. 제 문제는 네이버 로봇이 검색제한 키워드를 무시하고 마구 긁어가는 것이구요.
아래 내용이 도움되시기를..
http://blog.mydevs.com/79
http://www.kimyongjin.com/blog/tag/검색로봇
alex님 감사합니다. 검색의 달인이시군요.
개념잡는데 도움이 되었습니다. 그런데 .htaccess를 이용한 IP차단은 실패했습니다. 모르고 따라하다보니 어려워졌나봐요.
정성껏 가르쳐 주신점 감사드립니다. ^_^
트래픽 걱정 없는 티스토리로 넘어오심이...^^;;
이건 답이 아니라고 생각하지만 그냥 드는 생각을 적습니다.
저도 별도 호스팅으로 태터 운영하다가 이런저런 문제점 해결하는데 시간이 너무 많이들고, 자유도가 너무 많으니 이것저것 또 해보고 싶은거 구현하다가 시간 다 잡아먹고 그러더라구요. 그래서 그냥 속편하게 글만 쓰자 싶어서 티스토리로 넘어왔습니다.
넘어오니 얼마나 편리한지요. 물론 최신의 태터툴즈를 사용하지는 못하지만 트래픽 걱정 없고, 첨부파일 걱정없어 편리합니다.
지금은 로봇 문제를 해결하시는 것이 더 급선무겠지만 티스토리로 넘어오는 것에 대해서 생각한번 해보세요. (무슨 티스토리 홍보대사 같은 소리만 하고 있군요. ㅋㅋㅋ)
아무쪼록 멋지게 문제 해결하시길 바라겠습니다.
좋은 지적이십니다. 그렇지 않아도 티스토리도 하나의 대안으로 검토중입니다. 후배에게 티스토리 초대장 하나 달라고 청을 넣어 놓았습니다. 계정이 생기면 좀 써보며 결정할까 생각중입니다.
계정 문제는 일단 잠잠해진 듯 한데, 장기적 해결책은 아닌성 싶어요.
글쓰는데만 집중하고 싶은 심정과 자유도라는 두 요소의 trade-off을 해봐야지요.
고맙습니다.
순수 블로깅 외적인 문제로 고생이 많으십니다.^^. 티스토리 초대장 필요하시면 언제든지 말씀하세요^^
네, 제가 원치 않는 상황입니다. 일단 오늘 새벽부터 잠잠해 졌습니다. 네이버에 보낸 메일 탓인지, 검색봇이 배불리 먹어 더이상 관심이 없는지 잘 모르겠지만요.
티스토리는 필요할 듯 합니다. 제가 어제 후배에게 청을 넣어놓았는데, 혹시 안 되면 부탁을 좀 드릴지도 모르겠습니다. 고맙습니다. ^^
아이피를 막는건 저도 스팸을 막기 위해서 고민하던 거였는데
위에서 좋은 방법을 보네요 ^^ㅋ;
나중에 시간날때 도전해봐야겠습니다..
... 그나저나 제 홈피는 봇도 안와요 ( -_)
네 정말 재주 좋으신 분들이 많지요. ^^
그뎌 저도 네이버 봇이 습격하였숩니다-_-
바로 삭제 요청 들어가야죠 저는
다행히 트래픽은 20mb 도 안 먹은거 같지만
초기에 싹을 없애놔야;
주말 지나야 풀릴건데요..
암튼 네이버만 빠져줘도 트래픽이 넉넉해지더군요.