Два лица Google-бота
Два лица Google-бота
24.07.2014
Два лица Google-бота
Что вы должны знать о Google-ботах самозванцах

В первом посте этой серии исследователи Incapsula рассказали о деятельности и моделях поведения Google-бота. Тем не менее, обзор активностей Google-бота не будет полным без упоминания о Google-ботах самозванцах. Они прикидываются роботом Google для получения привилегированного доступа к веб-сайтам и их данным.

Каждый день миллионы этих "вредоносных двойников" используются для DDoS-атак, взлома, спама, кражи контента и другой хакерской активности. В сегодняшнем посте вы узнаете от том, кто же такой поддельный Google-бот.

Немного статистики

  • 4% от всех Google-ботов являются самозванцами
  • Более 23% из них используются для DDoS-атак
  • На сегодняшний день Google-бот самозванец занимает 3 место среди наиболее распространенных типов DDoS-бота
  • 25% поддельных Google-ботов приходят из США, 14% из Турции и 15% из Китая.

Методология исследования

Для целей данного исследования, команда Incapsula за 30 дней проанализировала более 400 миллионов посещений из поисковых систем для 10 000 сайтов (более 2,19 биллионов поисковых страниц). Информация о поддельных Google-ботах была получена благодаря изучению более 50 миллионов посещений этих самозванцев, а также из отчета «Ландшафт DDoS угроз», опубликованного в этом году.

1 из 25 Google-ботов является вредоносным

Один из самых интересных фактов о поддельном Google-боте - это то, как частно они встречаются на самом деле. По данным Incapsula, более 4% ботов, работающих с HTTP (S) user-agent Google-бота не те, кем хотят казаться. Для тех, кто незнаком с термином, " user-agent " - это интернет-эквивалент удостоверения личности, используется для идентификации посетителей сайта - браузеров или ботов.

Как показано ниже, фактический "Тип" этих самозванцев может варьироваться, но все они должны считаться подозрительными по умолчанию, в связи с их попытками присвоить себе чужую идентичность.

Зачем использовать поддельных Google-ботов?

Чтобы ответить на этот вопрос, нужно рассмотреть преимущества, которые дают поддельные Google-мандаты. Например, заполучить "Google ID" - это тоже самое, если бы бот получил VIP-пропуск за кулисы каждого шоу в городе. Тем не менее, большинство веб-мастеров знают, что блокировка Google-бота приводит к удалению из выдачи поисковика. Следовательно, чтобы сохранить свои позиции по SEO, владельцы сайтов будут стараться изо всех сил обеспечить беспрепятственный доступ Google-боту.

Чрезвычайно популярный DDoS-инструмент

Исследовав свои журналы безопасности, инженеры Incapsula смогли увидеть, как используются поддельные Google-боты. Согласно данным по более 50 миллионам сессий фальшивых Google-ботов - 34,3% всех самозванцев являются вредоносными, при этом 23,5% из них, использовались для Layer 7 DDoS-атак (атак уровня приложения). Эти цифры несут собой большой смысл, так как DDoS – это ситуация, в которой ID Google-бота может очень пригодиться, особенно в случае с решениями по безопасности, которые все еще полагаются на ограничение скорости вместо профилирования и идентификации трафика сайта.

Администраторы сайтов, которые используют подобные решения по защите не могут отличить настоящего Google-бота от поддельного. В результате, когда атака заканчивается, они стоят перед дилеммой: либо заблокировать всех Google-бот агентов и жить с риском потери трафика, либо допускать всех Google-ботов к сайту и страдать от простоев. Какой бы вариант, из этих двух, не выбрал вебмастер, каждый является крайне губительным для сайта и делает атаку успешной для хакеров в любом случае.

Хорошей новостью является то, что поддельные Google-боты могут быть точно идентифицированы, посредством использования комбинации эвристических алгоритмов безопасности, включая IP и ASN верификацию (процесса, который позволяет определять ботов на основе их источника происхождения).

Тем не менее, для самостоятельной реализации подобных методов защиты требуется избыточная вычислительная мощность и возможности специального программного обеспечения, как правило, не доступные для владельцев небольших сайтов.

Несколько месяцев назад, Incapsula опубликовала отчет «Ландшафт DDoS угроз», из которого следует, что поддельные Google-боты занимают 3 место среди наиболее часто используемых ботов для DDoS-атак. Причиной такой популярности является выше описанная дилемма.

Распространились по всему миру

Посещения поддельными Google-ботами берут начало из ботнетов - кластеров взломанных подключенных устройств (например, персональных компьютеров, зараженных вирусом Trojan), эксплуатирующихся со злонамеренными целями.

Глядя на источники посещений Google-ботов самозванцев, специалисты Incapsula идентифицировали местоположения некоторых из ботнетов. Список состоит из обычно подозреваемых мест, таких как США, Китай, Турция и Индия. Они по-прежнему находятся в топ-7, как и несколько месяцев назад, когда Incapsula собирала данные для своего отчета.

Тем не менее, было удивлением обнаружить Бразилию на 4-м месте, в качестве источника 13,49% всех недавних посещений поддельными Google-ботами.

Интересно, скажется ли это на проведении чемпионата мира по футболу?


Среди тех, кто нам доверяет