В первом посте этой серии исследователи Incapsula рассказали о деятельности и моделях поведения Google-бота. Тем не менее, обзор активностей Google-бота не будет полным без упоминания о Google-ботах самозванцах. Они прикидываются роботом Google для получения привилегированного доступа к веб-сайтам и их данным.
Каждый день миллионы этих "вредоносных двойников" используются для DDoS-атак, взлома, спама, кражи контента и другой хакерской активности. В сегодняшнем посте вы узнаете от том, кто же такой поддельный Google-бот.
Немного статистики
Методология исследования
Для целей данного исследования, команда Incapsula за 30 дней проанализировала более 400 миллионов посещений из поисковых систем для 10 000 сайтов (более 2,19 биллионов поисковых страниц). Информация о поддельных Google-ботах была получена благодаря изучению более 50 миллионов посещений этих самозванцев, а также из отчета «Ландшафт DDoS угроз», опубликованного в этом году.
1 из 25 Google-ботов является вредоносным
Один из самых интересных фактов о поддельном Google-боте - это то, как частно они встречаются на самом деле. По данным Incapsula, более 4% ботов, работающих с HTTP (S) user-agent Google-бота не те, кем хотят казаться. Для тех, кто незнаком с термином, " user-agent " - это интернет-эквивалент удостоверения личности, используется для идентификации посетителей сайта - браузеров или ботов.
Как показано ниже, фактический "Тип" этих самозванцев может варьироваться, но все они должны считаться подозрительными по умолчанию, в связи с их попытками присвоить себе чужую идентичность.
Зачем использовать поддельных Google-ботов?
Чтобы ответить на этот вопрос, нужно рассмотреть преимущества, которые дают поддельные Google-мандаты. Например, заполучить "Google ID" - это тоже самое, если бы бот получил VIP-пропуск за кулисы каждого шоу в городе. Тем не менее, большинство веб-мастеров знают, что блокировка Google-бота приводит к удалению из выдачи поисковика. Следовательно, чтобы сохранить свои позиции по SEO, владельцы сайтов будут стараться изо всех сил обеспечить беспрепятственный доступ Google-боту.
Чрезвычайно популярный DDoS-инструмент
Исследовав свои журналы безопасности, инженеры Incapsula смогли увидеть, как используются поддельные Google-боты. Согласно данным по более 50 миллионам сессий фальшивых Google-ботов - 34,3% всех самозванцев являются вредоносными, при этом 23,5% из них, использовались для Layer 7 DDoS-атак (атак уровня приложения). Эти цифры несут собой большой смысл, так как DDoS – это ситуация, в которой ID Google-бота может очень пригодиться, особенно в случае с решениями по безопасности, которые все еще полагаются на ограничение скорости вместо профилирования и идентификации трафика сайта.
Администраторы сайтов, которые используют подобные решения по защите не могут отличить настоящего Google-бота от поддельного. В результате, когда атака заканчивается, они стоят перед дилеммой: либо заблокировать всех Google-бот агентов и жить с риском потери трафика, либо допускать всех Google-ботов к сайту и страдать от простоев. Какой бы вариант, из этих двух, не выбрал вебмастер, каждый является крайне губительным для сайта и делает атаку успешной для хакеров в любом случае.
Хорошей новостью является то, что поддельные Google-боты могут быть точно идентифицированы, посредством использования комбинации эвристических алгоритмов безопасности, включая IP и ASN верификацию (процесса, который позволяет определять ботов на основе их источника происхождения).
Тем не менее, для самостоятельной реализации подобных методов защиты требуется избыточная вычислительная мощность и возможности специального программного обеспечения, как правило, не доступные для владельцев небольших сайтов.
Несколько месяцев назад, Incapsula опубликовала отчет «Ландшафт DDoS угроз», из которого следует, что поддельные Google-боты занимают 3 место среди наиболее часто используемых ботов для DDoS-атак. Причиной такой популярности является выше описанная дилемма.
Распространились по всему миру
Посещения поддельными Google-ботами берут начало из ботнетов - кластеров взломанных подключенных устройств (например, персональных компьютеров, зараженных вирусом Trojan), эксплуатирующихся со злонамеренными целями.
Глядя на источники посещений Google-ботов самозванцев, специалисты Incapsula идентифицировали местоположения некоторых из ботнетов. Список состоит из обычно подозреваемых мест, таких как США, Китай, Турция и Индия. Они по-прежнему находятся в топ-7, как и несколько месяцев назад, когда Incapsula собирала данные для своего отчета.
Тем не менее, было удивлением обнаружить Бразилию на 4-м месте, в качестве источника 13,49% всех недавних посещений поддельными Google-ботами.
Интересно, скажется ли это на проведении чемпионата мира по футболу?