Блокировка ботов через htaccess
<IfModule mod_setenvif.c> <IfModule mod_headers.c> SetEnvIfNoCase User-Agent «^ALittle Client» bot SetEnvIfNoCase User-Agent «^Go-http-client/1.1» bot SetEnvIfNoCase User-Agent «^TprAdsTxtCrawler» bot SetEnvIfNoCase User-Agent «^Photon/1.0» bot SetEnvIfNoCase User-Agent .*Twitterbot/1.0.* bot SetEnvIfNoCase User-Agent .*Screaming Frog SEO…