robots.txt로 차단되지 않는 facebookexternalhit/1.1 페이스북 크롤러 차단하는 방법

작년부터 나는 Rocky Linux 운영체제와 라이믹스 CMS를 기반으로 하나의 사이트를 제작하여 운영하고 있다. 그리고 차츰 유입량과 수익성 증가를 보여주며 조금씩 자리를 잡아가고 있는데, 최근 특정 크롤러로부터 유입이 과도하게 발생하여 트래픽에 문제가 발생하였다. 그래서 해당 크롤러에 대한 차단을 진행하였으며, 이...