AI 봇 차단 이야기 - GeekNews BeeBS

사람 없는 시간에도 트래픽이 터지길래 보니, 이제 각종 봇이 심각한 수준으로 쏟아지네요.

그나마 모델 트레이닝용 봇은 3초당 1회 수준으로 느릿느릿 옵니다만 그것도 너무 많으니까 서버에 부담이 갈 정도가 됩니다.

얘네들은 그나마 지정해서 막을수 있으니 일단 UA로 robots.txt 에 막아줍니다.

평문

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: anthropic-ai
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Amazonbot
User-agent: Bytespider
User-agent: CCBot
User-agent: AI2Bot
User-agent: AI2Bot-Dolma
User-agent: cohere-ai
User-agent: cohere-training-data-crawler
User-agent: FacebookBot
User-agent: meta-externalagent
User-agent: ImagesiftBot
User-agent: omgili
User-agent: omgilibot
Disallow: /

물론, 요즘 챗봇들이 검색하면서 글을 가져다 참고하는 경우는 많으니 그거는 열어 줍니다

이거 혹시나 오용할수 있으니, OpenAI 의 공식 GPTBot IP 대역을 확인하는 것도 좋습니다.

평문

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: GoogleOther
Allow: /

SEO 한다고 온 사이트를 헤집는 봇이나, 중국의 봇들도 사실 사이트엔 별 도움 안되니까 차단합니다

평문

User-agent: AhrefsBot
User-agent: SemrushBot
User-agent: SemrushBot-BA
User-agent: Amzn-SearchBot
User-agent: Baiduspider
User-agent: MJ12bot
User-agent: DotBot
User-agent: PetalBot
User-agent: DataForSeoBot
User-agent: SERankingBacklinksBot
Disallow: /

물론 이거만으로는 대응이 안되어서 IP 차단 로직은 별도로 운영해야 합니다만, 일단 기본은 해두는게 좋겠죠.

댓글