[attachment=0:3tbi3m8l]jul20.jpg[/attachment:3tbi3m8l]
음… 가끔 위 그림과 같은 것이 눈에 띄는데요. 그것이 볼 때 마다 좀 희안하다 싶어서 의문을 풀어보려고 몇자 적습니다.
보시다시피, 회원 4명 손님 23명이 지난 5분간 활동했다고 되어 있는데요. 회원 명단을 보니 모두가 Bot 들입니다. 제 의문은… 저 Bot 들이 이 포럼의 회원 데이터베이스에 들어가 있을 리는 없을 것 같거든요. 저 Bot 들이 손님으로 분류되어 있다면 이해하겠는데, 회원이라니…
진실은 어떻게 설명할 수 있을까요?
한때 인터넷 게시판을 달군 주제입니다
간단히 요약하면
"내 사이트에 정식 멤버(Registered member)로 구글봇이 있어요 OMG!!"
"구글봇은 보통 USER_ID 16으로 가입해서 활동합니다."
"사이트 관리툴의 권한 조정에서 막을 수 있어요"
"최근에 서버의 사이트 캐쉬를 청소했으면 또 들어오기도 해요" <- 사이트를 다시 스캔해서 구글DB 업데이트를 위해
같은 내용입니다.
이걸 다시 한줄 요약하면
"bot이 활동 가능하고 가입에 제한이 없는 사이트에서는 봇이 자동으로 가입 후 사이트를 뒤지고 다닌다"
그래서 우리는 bot과 같은 레벨(…)에서 놀고 있는겁니다
P.S.
아마 구글봇이 훨씬 똑똑하지 않을까 싶습니다만 Orz
ㅍㅎㅎㅎㅎ 걔들이 모두 회원이었군요~~~ㅋㅋㅋ
가입할 때 보니, 우분투를 한글로 쓰라고 되어 있던데, 그것 만으로는 Bot을 막기에 역부족인가 봅니다.
근데, 그렇다면 또 이상한데요? 검색 엔진의 Bot 들이 쉽게 회원 가입할 수 있다면 spam bot 들도 당연히 회원 가입을 할 수 있을텐데, 어디서도 스팸 글들을 보지 못했습니다. 요즘이라고 스팸 bot이 활동하지 않을 리가 없을텐데요. 몇년 전에 게시판에서 스팸 bot들이 달아 놓은 글들 때문에 고민하던 기억이 떠오르네요. 혹시 이것도 설명 가능한가요?
친절한 답변 감사드립니다.
간단한 스팸 필터링이라 보시면 됩니다.
봇에 대한 권한 설정을 하는 부분이 robots.txt 파일인데
User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /
이런 식으로 설정해 두면
으로 동작합니다.
아, 그런 방법을 쓰는군요. 근데, 예전에 어디선가 읽은 글에서 robot.txt는 search engine bot들은 존중해 주지만, spam bot들은 무시한다고 본 것 같은데 그렇지 않나 보네요. 그래서 공부해 봐야 소용없겠다 싶어서 읽어보지도 않았는데, 제가 잘못 배웠나 봅니다.
좋은 정보 감사합니다.
robots.txt는 강제성이 없습니다.
무슨 말이냐 하면 저기에 등록해 둔다고 해서 모든 봇이 막히는게 아니라, 봇이 사이트에 와서 제일 먼저 robots.txt를 보고 이 사이트에 접속할지 말지를 결정하는 겁니다.
이를테면 집 앞에 "검색봇은 들어오지 마세요"라는 팻말을 세워 놓은거랑 같은거죠.
그럼 당연히 이걸 무시할 수 있습니다. 단지 암묵적 약속으로 각종 봇들은 robots.txt의 내용을 보고 그 규칙을 따르는 것 뿐이죠.
그래서 웹페이지 솔루션들의 관리도구를 보면 검색봇이 사이트 캐싱 하는것을 허용하는가와 별도로
각종 스팸에 대한 스팸필터가 따로 존재하는거죠.
이 스팸필터는 봇에만 국한되지 않도록 텍스트, 이미지, 링크 등등 여러가지 방법을 제공합니다.
그래서 대부분의 스팸봇-대부분 댓글-은 이 스팸필터에 막히는거라 보시면 됩니다.
친절한 답변 감사합니다. 이젠 상당히 감 잡은 것 같습니다. 역시 robots.txt에만 의존할 수는 없는 것이네요.