Блокирование ботов по User-Agent в Nginx
Если решите как-то реализовать написанное, то все действия вы производите на свой страх и риск!
Короткая заметка, чтобы можно было быстро найти.
Недавно касался темы ботов. Самый простой вариант заблокировать ботов по User-Agent в Nginx
if ($http_user_agent ~* (GPTBot|claudebot|GeedoProductSearch|GeedoBot|Amazonbot|Bytespider|SeopultContentAnalyzer|SeekportBot|DataForSeoBot|Barkrowler|BLEXBot|SemrushBot|MJ12bot|AhrefsBot|bingbot|DotBot|PetalBot|LinkpadBot|SputnikBot|statdom.ru|MegaIndex.ru|WebDataStats|Jooblebot|Baiduspider|BackupLand|NetcraftSurveyAgent|openstat.ru|thesis-research-bot|fidget-spinner-bot|facebookexternalhit)){
return 444;
}
Если не хочется загружать конфиг, то можно вынести в отдельное место и подключить файл через include.
Категории: Записи по DevOps
