Incapsula выпустила очередной ежегодный отчет о бот-трафике. В прошлом году исследователи выявили, что большая часть трафика в Интернете генерируется ботами. Этот факт многое изменил: ИБ-сообщество стало уделять исследованиям ботов больше времени, разбираться в их особенностях. И хотя в уходящем году живые пользователи вернули себе первенство по интернет-трафику, обмен данными, генерируемый ботами, как «хорошими», так и «плохими», столь же велик.

Как известно, «хорошие» боты принадлежат законопослушным предприятиям и выполняют четко определенные задачи: они ответственны, например, за сбор аналитических данных и поиск ключевых слов с целью индексации веб-сайтов. «Плохие» боты используются киберпреступниками для противоправной активности: DDoS-атак, спам-рассылок, сканирования на предмет уязвимостей, пригодных для эксплойта. Эти два лагеря роботов генерировали большую часть трафика в прошлом году, но затем человечество решило взять реванш: в 2015-м люди сгенерировали 51,5% сетевого трафика.

Результат был достаточно неожиданным по сравнению со статистикой прошлого года. Кроме того, исследователи выявили, что долю трафика люди забрали именно у «хороших» ботов: доля генерируемого живыми пользователями трафика выросла с 2013 года с 38,5 до 51,5% в 2015 году, тогда как доля трафика «хороших» ботов снизилась с 31% в 2013 году до 19,5% в 2015 году. В то же время доля трафика, за который отвечают «плохие» боты, осталась примерно на таком же уровне и в 2015 году составила 29%. Таким образом, картина общемирового бот-трафика складывается не в пользу «хороших ребят».

«Хорошие» боты не увеличивают свой трафик и не могут угнаться за пользователями и «плохими» ботами: 442 из 484 «хороших» бот-клиентов демонстрируют негативную тенденцию или очень незначительный рост трафика (менее 0,01%). Из тех 42 «хороших» ботов, которые увеличили объем трафика, только один показал рост более чем на 1%.

Специалисты также сравнили результаты выборки веб-сайтов по годам, выяснив, что снижение «хорошего» бот-трафика вызвано тем, что менее посещаемые сайты демонстрируют рост объемов бот-трафика, тогда как более популярные показывают его снижение. Так, например, доля бот-трафика на самых популярных веб-сайтах, посещаемых более 100 тыс. пользователей ежедневно, снизилась с 54,4 до 39,7%. Активность «хороших» ботов на этих ресурсах снизилась и вовсе с 21,9 до 9,3%.

Если же говорить о «плохих» ботах, они по-прежнему невероятно активны. В то время как «хорошие» боты применяются организациями, «плохие» состоят на службе у маленьких группировок или отдельных пользователей, и поэтому их количество растет прямо пропорционально росту числа пользователей в Интернете. Об этом свидетельствуют разнообразные исследования: например, развивающиеся страны, в которых происходит быстрый рост количества пользователей, имеющих доступ к Интернету, являются рассадниками «плохой» бот-активности, в том числе из-за низкого уровня защиты устройств.

Кроме того, появление услуг проведения DDoS-атак на заказ обуславливает резкое увеличение активности «плохих» ботов. Этот тип ботов продемонстрировал самый заметный рост за год, подвергая атакам как небольшие, так и очень популярные сайты. В среднем на двух живых посетителей приходится один «плохой» бот, и более 90% всех ИБ-инцидентов в сети Incapsula являются результатом деятельности «плохих» ботов.

В этой связи веб-сайты принимают некоторые меры, внедряя специализированную защиту от автоматизированных взломов, спама и DDoS-атак.

Согласно Incapsula, спам-боты демонстрируют беспрецедентное снижение активности — с 2% в 2012 году до 0,1% в 2015-м. На это тоже есть причина: до 2012 года спам-боты использовались нечистыми на руку SEO-специалистами для того, чтобы поднять домен на более высокие позиции в поисковой выдаче при помощи автоматически внедряемых ссылок. Но как только в дело вмешалась Google, сайты, использующие такие способы продвижения, стали нести наказание за подобную практику. Таким образом, мотивация использовать спам-боты снизилась, как и доля их трафика. Это прекрасный пример того, как адекватно и своевременно принятые меры помогли решить одну из важных проблем онлайн-безопасности.

Данные исследования Incapsula основаны на выборке более чем из 19 млрд посещений (как людьми, так и ботами) 35 тыс. веб-сайтов, использующих защиту Incapsula. Данные были собраны в течение 90 дней по всем 249 странам и территориям с особым статусом.

Категории: DoS-атаки, Аналитика, Главное, Спам, Уязвимости, Хакеры