На разных форумах постоянно появляются темы примерно с таким содержанием: "Караул, боты одолели, резко возросло количество прямых заходов на сайт!" И тут же – многочисленные советы, как отсекать прямые заходы.
А у меня в связи с этим возникает вопрос: действительно ли это плохо - прямые заходы? И боты ли это заходят? И действительно ли боты заходят именно так? На мой взгляд, надо учитывать 2 момента:
1. Прямые заходы - то есть заходы без так называемого реферера, содержащего информацию об адресе сайта, с которого посетитель пришёл на ваш сайт, – могут делать и живые люди, а не роботы. Кто-то делает закладки в браузере на понравившиеся сайты, кто-то набирает адрес по памяти. Я, например, иногда просто копирую ссылку и вставляю её в адресную строку в другом браузере - иногда это делаю в целях безопасности, а иногда просто для более удобной работы. То есть многие полезные посетители приходят не из поисковых систем и даже не напрямую с других сайтов.
Есть ещё один момент: на многих сайтах ссылки стоят с атрибутом "noreferrer", в результате чего браузер удаляет реферер. Это, например, происходит на некоторых версиях CMS WordPress - в целях безопасности пользователей, причём хозяева сайтов об этом могут даже не знать. На некоторых форумах ставят атрибут "noreferrer" - в целях борьбы со спамерами. И в результате те, кто отсекает прямые заходы, теряют живой трафик.
2. Постоянно читаю: "Конкуренты травят меня ботами, поэтому не пускаю на сайт никого по прямым заходам". А подумать? Если конкуренты смогли создать бота, который имитирует какую-то активность с целью испортить вам ПФ, то неужели они не смогут прицепить реферер? Любой реферер ставится в запрос одной строчкой кода, и сделать это может любой, кто хоть немного научился кодить. В результате именно "злобных конкурентов" вы таким образом никогда не сможете отсечь. Боты без реферера - это обычно обычные индифферентные "пауки", ползающие по сети и собирающие всякую информацию для своих сервисов. И естественно, что чем выше сайт в выдаче, тем большему количеству сервисов он виден, и тем больше желающих просканировать ваш сайт. Да, они бывают назойливы, но отсекать их следует по другим признакам.
Какой вывод я делаю для себя? Вывод такой, что прямая связь между плохим бототрафиком и прямыми заходами на сайт отсутствует. Если вам всё же хочется отсечь роботов, – по причине ли их отрицательного влияния на сайт, или по той причине, что они создают избыточную нагрузку на сервер, – следует это делать, исходя из каких-то других признаков, но никак не по признаку отсутствия реферера.