안녕하세요. 달소입니다.

 

오늘은 사이트 운영을 하면서 필수적으로 해야할 설정인 악성/스팸 봇을 차단하는 방법입니다.

앞서 기본 Nginx에서 스팸봇을 차단하는 방법에 대해 작성했지만 NPM의 경우 UI가 조금 다르기 때문에 새로 작성해봅니다.

Nginx에서 User-agent를 통한 악성/스팸 봇 차단하기.  

대개 사이트를 운영하는경우 웹에 노출되기때문에 robot.txt를 통해 크롤링을 허용하고 계실텐데요. 이중에서는 검색에 도움은 되지않고 사이트의 트래픽을 낭비하거나 정보를 긁어가는 크롤링도 빈번하게 일어납니다.

그렇기 때문에 관리자로써 불필요하다고 생각되는 봇들은 차단하는게 좋습니다.

 

대표적은 악성봇으로는 SemrushBot이 있는데요. 아마 Nginx의 로그를 보시면 아래처럼 185.191.171.0 대역대를 통해 지속적으로 사이트에 접근하는걸 확인할 수 있습니다.

이외에 제가 악성봇이라고 판단하는것들은 AhrefsBot|BLEXBot|DotBot|SemrushBot|Eyeotabot|PetalBot|MJ12bot|brands-bot|bbot|AhrefsBo|MegaIndex|UCBrowser|Mb2345Browser|MicroMessenger|LieBaoFast|Headless|netEstate|newspaper|Adsbot/3.1|WordPress/|ltx71

 

이며 추가적으로 차단하고싶으시다면 코드에도 조금만 수정해주시면 손쉽게 수정가능합니다.

NPM에서 스팸 봇 차단하기

차단전에 미리 curl 명령어로 해당 Semrush bot이 접근가능한지 테스트해보겠습니다.

curl -I --user-agent "Mozilla/5.0 (compatible; SemrushBot/7~b|; +http://www.semrush.com/bot.html)" https://it-svr.com

잘접근되네요 이제 차단정책을 넣어보겠습니다.

NPM 관리페이지에 접속 후 Hosts로 가서 셋팅할 대상의 Edit를 눌러줍니다.

그리고 아래 내용을 넣어주세요.

### 공백 UserAgent 차단
if ($http_user_agent = "") {
  return 403;
}

### 기타 불필요한 스팸,악성 봇 차단
if ($http_user_agent ~* (AhrefsBot|BLEXBot|DotBot|SemrushBot|Eyeotabot|PetalBot|MJ12bot|brands-bot|bbot|AhrefsBo|MegaIndex|UCBrowser|Mb2345Browser|MicroMessenger|LieBaoFast|Headless|netEstate|newspaper|Adsbot/3.1|WordPress/|ltx71) ) {
  return 403;
}

Save만 해주면 설정값이 자동으로 Reload 되면서 값이 적용됩니다.

다시 테스트를해보면 위처럼 403이 나오는걸 확인할 수 있습니다.

쉽게적용할 수 있는만큼 웹사이트를 운영하신다면 기본 스팸봇들은 꼭 차단해주시기 바랍니다~