Скликивание рекламных кампаний в РСЯ и огромное количество ботов на сайтах Веб-мастеров

Серьезную проблему по скликиванию рекламы, понижению позиций в выдаче поисковых систем (Яндекс), огромное количество прямых заходов на сайт и заходов из социальных сетей, помог более детально раскрыть пользователь Idonat. С его одобрения мы с радостью размещаем его виденье и возможные пути решения. Проблема есть и растет она в геометрической прогрессии, но к сожалению, сотрудники Яндекса пока не дают развернутых комментариев по данному факту.

Качество трафика падает

Приветствую всех, хочу поделиться своим мнением по поводу складывающейся ситуации на рынке контекстной и медийной рекламы в Яндексе. Сразу акцентирую внимание на том, что все сказанное является лишь моим субъективным мнением, и пока не подтверждено точными техническими данными.

Я являюсь постоянным рекламодателем в рекламной сети Яндекс уже почти на протяжении года, и, хотя у меня нет большого массива аналитических данных за предыдущие годы ранее, я заметил значительное ухудшение трафика, поступающего из поиска и сетей. Изначально, я думал, что проблема в увеличивающейся конкуренции, но открыв отчеты метрики я заметил просто невероятное количество ботов, количество которых только возрастает.

Если еще той весной я мог рекламироваться в поиске, сегодня это стало уже абсолютно не рентабельным. И вопрос не в сезонности моей темы, а именно в том, что объем живого трафика просто упал. В сетях ситуация обстоит немногим лучше, по моим скромным подсчетом порядка 20-30% переходов на мой сайт по рекламе совершаются ботами.

Почему снижается рентабельность рекламы?

Серьезные проблемы бот трафик создает не только тем, что генерирует ненужные переходы по рекламе и “съедает” рекламный бюджет, а также еще и тем, что он такой трафик буквально уничтожает аукционную систему выкупа позиций рекламы.

Что происходит? Боты массово и в рандомном порядке кликают на все объявления в поисковой выдаче и в сетях, изменяя им показатели CTR, и тем самым сбивают логику Яндекса, которая отвечает за распределение трафика между конкурентами. Получается, что сбитый с толку алгоритм постоянно пытается найти наиболее релевантные объявления, но не может понять точно, что именно ему нужно показать.

Вследствие этого, получается такая картина: даже при достаточно высокой ставке за клик, объявление штормит в выдаче, и количество трафика не сильно увеличится. При значительном повышении ставки за клик, объявление повышается, однако, на относительно недолгий срок, пока боты опять не начнут кликать.

Из-за этого, весь смысл аукционной системы просто пропадает, и я, как рекламодатель, вынужден как гимнаст на канате балансировать и постоянно играть со ставками, с одной стороны, чтобы не выходить в жесткий минус, а с другой – чтобы не лишиться трафика вовсе.

«Усталость» рекламной кампании

Следствием из вышеописанного возникает такое состояние РК, которое некоторые пользователи серча (searchengines.guru) и директологи называют «усталостью» рекламной кампании. Суть такова: через несколько дней/недель/месяцев открута (зависит от тематики и объемов трафика) – эффективность рекламной кампании значительно снижается. Трафик продолжает отливаться, а количество лидов падает. Причем на дистанции падение заявок продолжается сокращаться.

Если же рекламную кампанию остановить на какое-то время, либо изменить какие-то настройки, качество трафика вновь значительно возрастает, но, как правило, ненадолго. И в первом, и во втором случае, объем трафика практически одинаков, CTR, показы, отказы – все остается почти прежним, падает лишь качество трафика.

Очевидно, что данная ситуация происходит из-за сбоя, или некорректной работы одного из алгоритмов рекламной сети Яндекса, отвечающего за показ и ранжирование объявлений.

Эта ситуация наблюдается не только у меня, а также и у других людей, обсуждение было в этой теме, и в других (в том же разделе): https://searchengines.guru/ru/forum/1040500

Космические масштабы скликивания рекламы на поиске и в сетях

В данный момент масштабы скликивания рекламы носят по-настоящему грандиозный характер, сегодня уже в принципе нельзя запустить рекламную кампанию, и получать трафик без ботов. Процент ботов конечно же сильно зависит от тематики, лично в моей тематике их около 20-30%, а учитывая, что у меня далеко не самая конкурентная и дорогая тема, мне страшно представить, что творится в серьезных коммерческих тематиках, где клики стоят дорого.

Проблему усугубляет то, что Яндекс, судя по всему, практически не прилагает усилий по борьбе с бот трафиком. Вчера я открыл отчеты метрики, и нашел посетителя, который сделал 83 визита одного clientid в течение нескольких недель, еще немалое количество посетителей сделали по 30 визитов в разные дни, и это, не говоря уже о 3-5 визитах от других ботов, опять же в разные дни. Все они пробыли на сайте не дольше 10-15 секунд, практически не проявляя активности.

Неужели в логике крутого и продвинутого алгоритма Яндекса нет правила, которое бы ограничивало показ рекламы для пользователя, сделавшего 83 перехода на сайт, и не проявившего на нем никакой активности?

Программисты Яндекса разработали и внедрили алгоритм распознающий накрутку поведенческих факторов для серой SEO оптимизации сайтов, и даже добавили фильтр за накрутку ПФ. Так как же в самой рекламной системе Яндекса могут быть такие ужасные недоработки?

Кто кликает по рекламе? Откуда боты, и зачем?

Многие рекламодатели, видя склик рекламы, думают, что это таким образом их пытаются вытеснить конкуренты, однако, смею вас заверить, в большинстве случаев это не так. Дела обстоят намного хуже, и эта проблема носит абсолютно глобальный характер.

Изучая форумы и разные мнения в интернете, я пришел к выводу, что количество бот кликов в рекламе выросло во всех тематиках, даже в самых мало конкурентных и дешевых. Скликивают на заказ рекламу только в самых дорогих и максимально конкурентных тематиках, услуги эти не пользуются огромной популярностью, и мало афишируются где-либо. Был бы большой спрос, услуги склика рекламировались бы где-попало, а по факту есть буквально десяток полумертвых тем на разных форумах.

Откуда же тогда бот трафик? Зачем боты кликают по вашей рекламе? И кому это нужно?

Ответ на этот вопрос довольно прост: на этом зарабатывают недобросовестные владельцы сайтов, монетизируемых в рекламной сети Яндекса. За каждый клик по рекламе на их сайте, они получают оплату, и это безусловно выгодно для них.

Почему же тогда боты так массово кликают по всей рекламе, размещаемой где угодно, включая поиск и смежные площадки. Ответ на этот вопрос также довольно прост. Таким образом ботов «прокачивают» и «нагуливают» им профиль, чтобы более успешно выдавать себя за реальных людей. Ведь согласитесь, если один и тот же бот будет постоянно заходить на один сайт и кликать по рекламе, он однозначно довольно быстро будет обнаружен системой клик-форда, и заблокирован.

«Странные переходы из всех социальных сетей и прямые заходы» — зачем боты атакуют интернет?

Также боты постоянно посещают разнообразные сайты в рандомном порядке, стараясь выдать себя за реальных пользователей. еще весной 2020 года, огромное количество администраторов сайта заметили, что на их сайтах появился поток большого количества ботов, переходящих из самых разнообразных источников (в основном из социальных сетей). Вот ссылка на тему с обсуждением: https://searchengines.guru/ru/forum/1029854

Уже тогда один из пользователей ответил, что это «боты накрутчиков», однако каких именно накрутчиков, и зачем – он не уточнил. Подавляющее же большинство администраторов сайтов вообще недоумевали, что это за боты.

Изучая темы на разных форумах, я пришел к тому, что боты посещают только сайты, где установлен код Яндекс Метрики. Что подтверждало сказанное пользователем ранее. Это действительно боты накрутчиков, они нагуливают (прокачивают) профили, чтобы потом кликать по рекламе на нужных сайтах, цель посещения рандомных сайтов состоит в том, чтобы показать Яндекс Метрике их активность. Вероятнее всего, если спрятать от них код метрики, или вовсе убрать её с сайта, бот трафик пропадет, ибо смысла посещать сайт просто не будет.

Мало того, что эти боты уничтожают рынок контекстной рекламы, они еще и убивают ПФ (поведенческие факторы) сайтов, провоцируя проседание позиций страниц в поисковой выдаче. Для некоторых администраторов сайтов в дорогих тематиках это провоцирует очень большие денежные потери.

Кому выгодны эти боты?

Очевидно, что в первую очередь эти боты приносят немалые деньги накрутчикам, которые владеют целыми сетками сайтов в РСЯ. Некоторые рекламодатели, размещающие рекламу в Яндекс Директе высказывали мнения, что бот трафик генерирует сам Яндекс, чтобы увеличить прибыль от рекламы, и спровоцировать повышение ставок в поиске и сетях. Я очень сомневаюсь в этом, но как человек с критическим умом, не могу отвергать и такую вероятность. Особенно учитывая то, что Яндекс очень слабо борется с этим явлением.

Даже беглым изучением посетителей, перешедших по рекламе на мой сайт, я нашел огромное количество ботов, число визитов которых достигало до 83 с одного clientID, как я уже писал выше. И это совершенно неединичный случай, очень много ботов с 5-10-20 визитами в разные дни. Никакой компенсации за недобросовестные клики я не получил, в лучшем случае раз в неделю приходит шаблонное письмо с компенсацией в размере 2-3 рублей (1-2 клика). Хотя я уверен, что только за неделю набирается порядка 300-500 недобросовестных бот кликов.

Отсеивать площадки вручную бесполезно, так как низкокачественный бот трафик идет в больших количествах даже с хороших и проверенных площадок, чьи администраторы не занимаются никакими накрутками. Я работаю в довольно простой и недорогой тематике, потери от ботов у меня составляют не более 1-3 тыс. рублей в неделю, но мне действительно страшно представить, что сейчас происходит в дорогих тематиках, где цена клика уходит за 100 рублей.

Что делать, как решать проблему?

Сложно сказать, как именно можно решить проблему с ботами. Очевидно, что существующих мер распознавания ботов уже недостаточно для их отсеивания. Боты уже умеют эмулировать любое устройство, подставлять любой реффер перехода, создавать правдоподобный отпечаток (fingerprint). Однако, я считаю, что все на так ужасно, и есть способы если не полного, то хотя бы частичного решения этой проблемы.

Во-первых, значительно усовершенствовать алгоритм, распознавания ботов. И я в самом деле не думаю, что тут нужно быть гением, чтобы понять, что живой человек не будет заходить на сотню сайтов по сто раз, проводя на них по 10 – 15 секунд. Да, это не избавит от умных ботов, имитирующих поведение пользователей, но хотя бы отсеет самых простых и топорных ботов, коих большинство.

Во-вторых, усилить модерацию добавляемых в РСЯ сайтов, дорвеи, статейники на копипасте и парсерах не должны туда попадать, так как очевидно, что владельцы этих сайтов вряд ли будут гнушаться накручивать клики, зная, что ценность самих ресурсов почти нулевая.

В-третьих, было бы очень неплохо провести ревизию уже добавленных сайтов, чтобы исключить недобросовестные площадки.

В-четвертых, начать уже в конце концов выплачивать рекламодателям компенсацию за бот-клики. Как я понимаю, сегодня, деньги заработанные заблокированными за фрод в РСЯ сайтов, просто уходят в бюджет Яндекса. Если я вижу у себя в статистике бота, который сделал 83 клика по моей рекламе за месяц, я должен получить оплату за эти клики назад, а не пожертвовать деньги Яндексу. Я, итак, оплачиваю 20% НДС, и «разгон рекламной кампании» (завышение ставок на клики), без которого РК просто не идет в показ в принципе.

Заключение

На мой взгляд, проблема действительно серьезная и масштабная. Если с ней не бороться, объем бот трафика уже очень скоро превысит реальный трафик в рекламных сетях. Лично я, как рекламодатель, совершенно не хочу платить за рекламу для ботов, у них еще пока нет ИИ, и товары они не покупают.

На этом, пожалуй, я закончу свою статью, я постарался ответить на некоторые актуальные вопросы, интересующие как рекламодателей сети, так и администраторов сайтов. Еще раз подчеркну, что все вышесказанное – это моё личное мнение, и мои личные выводы. Если вы не согласны, я с удовольствием прочту вашу критику и выслушаю конструктивные советы.