<<      21:17  Сунак доручив визначитись, які бойові літаки можна передати Україні   21:22  Німеччина передала Україні ще дві установки Gepard, боєприпаси й авто для прикордонників   21:25   Росіяни завдали ракетних ударів по Чернігівській області. Під завалами можуть бути люди   21:27  Кількість жертв внаслідок землетрусу в Туреччині вже сягнула більш як дев'ять тисяч   21:32  Розслідування по MH17:"Ні в кого немає сумнівів щодо причетності керівництва РФ" - генпрокурор України   21:34  Міністр оборони Німеччини анонсував "танковий саміт" країн, які передають Україні Leopard   21:36  Російська військова загроза країн Балтії зростає - доповідь зовнішньої розвідки Естонії   21:39  "У нас є 100 "Тайфунів": Джонсон закликав Британію надати винищувачі Україні   23:30  Парламент Швеції схвалив військову допомогу Україні на понад 400 млн доларів   23:53  Під час візиту до Брюсселю Зеленський зустрінеться з прем'єркою Р†талії Мелоні   >> UKR RUS

ОНИ ПОВСЮДУ: КАК ОСТАНОВИТЬ НАШЕСТВИЕ БОТОВ И ЗАЩИТИТЬ СВОЙ БИЗНЕС

7/-1/-2016

Боты, интернет, мошенничество, ботнеты, ботоводы - в умах большинства людей все это соединяется воедино, создавая общий негативный фон вокруг слова "бот". С развитием технологий боты прочно вошли в нашу жизнь, и в основном мы знаем их как "плохих парней", которые вредят бизнесу. К их помощи часто прибегают, чтобы решить вопрос низкого покупательского потока, вывести из строя ресурсы конкурентов или просто оказаться на первых строках в поисковой выдаче.

Слово "бот" не несет в себе никакой негативной коннотации. Бот - это всего лишь программа, автоматизирующая порядок действий. Сегодня боты становятся фактическим стандартом интерфейса для взаимодействия с программными сервисами, а история их стара, как сам интернет.

На заре становления глобальной сети все начиналось с элементарных скриптов (или "программных сценариев") с помощью которых ИТ-специалисты автоматизировали вначале резервное копирование, настройку сети, мониторинг, а затем и внешние действия: выгрузки данных для отправки отчетности или проверки функционирования интернета.

Скрипты были очень удобны с точки зрения уменьшения человеческого фактора. Постепенно, примерно с 2007 года, стали появляться программы, которые решали более сложные задачи уже в браузерах. Создававшиеся для этого скрипты уже можно было назвать первыми ботами, а их принадлежность к группе "хороших" или "плохих" стала зависеть от того набора действий, которые человек хотел с их помощью автоматизировать.

Unsplash

"Добрые" краулеры

Поисковые роботы (веб-краулеры) принимают непосредственное участие в сканировании и индексации веб-ресурсов. Эти программы являются составной частью поисковых систем Google и "Яндекс и предназначены для перебора интернет-страниц с целью занесения информации о них в базу данных поисковика.

Краулер собирает данные о том, какая информация размещена на сайте, какие сайты и с какой репутацией ссылаются на ресурс, как его цитируют. Это нужно поисковику для предоставления доступа к выдаче и ее улучшения. Ограничить индексацию сайта можно с помощью файла robots.txt, где владелец сайта может прописать, с какой периодичностью бот может отсматривать его ресурс и в какие разделы он заходить не должен.

Обычно владелец сайта не ограничивает доступ таких ботов к ресурсу, поскольку фактически они работают за него, принося пользу. Однако не все краулеры одинаково полезны.

Парсеры

Краулеры бывают и другого вида - те, которые занимаются анализом цен, товарного ассортимента, изображений товаров. К этой категории относится парсинг (web scraping). Парсинг используется для сбора любой открытой информации с сайтов и последующей ее продажи, например, для сбора базы товаров магазина и отслеживания цен.

Парсеры охотятся за контентом интернет-магазинов, например, фотографиями товаров, за съемку и обработку которых владелец ресурса заплатил деньги. Конечно, боты увеличивают нагрузку на сайт, создавая бесполезный трафик, который вынужден оплачивать владелец магазина. Понятно, что бизнесам вовсе не импонирует идея мониторинга цен конкурентами, поэтому они всячески ищут защиту от подобного вида краулинга.

Только вот защититься от парсинга практически невозможно. Вся информация, выложенная в сеть, доступна для ботов, а при правильной подготовке методики отличить бота от человека практически невозможно. Поэтому основным работающим способом ограничения доступа к контенту является авторизация пользователей на сайте.

"Черная дыра" поисковой оптимизации

Несмотря на очевидную пользу поисковых ботов, далеко не все компании готовы предоставлять им доступ к своим веб-ресурсам по ряду причин, прибегая к приемам "черной" поисковой оптимизации - клоакингу. Клоакинг (от англ. cloak - маскировать, скрывать) заключается в отображении на сайте разного контента для пользователей и поисковых роботов. Часто бывает, что создать страницу, которая будет и удобна для посетителей, и информативна для роботов, достаточно сложно. Поэтому некоторые компании прибегают к хитрости, оформляя пользовательскую страницу в произвольном формате, а страницу для ботов - в соответствии с четкими требованиями поисковиков.

Бывает, что компании с помощью клоакинга обманывают поисковых ботов для продвижения товаров, реклама которых официально запрещена. Размещая нейтральную рекламу, например, в Facebook, компания отслеживает все переходы по ссылке, и пользователя она "уводит" на сайт с запрещенной продукцией, а проверяющего бота - на поддельный ресурс.

Обнаруженный клоакинг обычно приводит к понижению позиции сайта в выдаче по определенным поисковым запросам.

Зловредные боты

В интернете уже много лет процветают роботы, целью которых является выведение сайтов из строя. Их деятельность называют "белым шумом" интернета. Как только компания поднимает сайт на публичном IP-адресе и заводит доменное имя, через несколько минут в журналах доступа появляются первые запросы к сайту. Это боты-сканеры.

Довольно часто они "ходят" с китайских IP-адресов, разыскивая типичные уязвимости, такие как админ-панель контент-менеджмент системы Wordpress с паролем по умолчанию. Их цель - внедрение бэкдоров (вредоносных программ, созданных для выполнения несанкционированных действий и удаленного управления операционной системой) для использования вычислительных ресурсов и данных компании-жертвы в собственных целях.

Отдельная категория роботов - программы, которые участвуют в организации DDoS-атак. Некогда это были примитивные боты, написанные поверх утилиты командной строки или встроенного в язык Delphi веб-движка. Сегодня наряду с ними уже используются вредоносные плагины в браузерах или вредоносные приложения на Android. Эти боты обладают полноценной функциональностью по имитации пользовательской активности.

Боты, используемые для организации DDoS-атак, могут использоваться и для организации систем нагрузочного тестирования, поскольку нет жесткого критерия, который бы четко отделял "хороших" ботов от "плохих". Стоит, конечно, признать, что боты, как правило, пишутся под определенную задачу - так, например, ботнет интернета вещей Mirai, который в 2016 году организовал крупнейшую на тот момент DDoS-атаку, был специально написан для проведения атак. Однако сейчас исследователи используют его выложенный в публичный доступ исходный код, например, для проведения стресс-тестов. Так что пистолет умеет стрелять в обе стороны - все зависит от того, кто держит его в руках и на кого направляет.

Unsplash

Как остановить нашествие ботов

Существует два основных варианта организации защиты от ботов. Их можно реализовать своими силами или с привлечением сторонних подрядчиков. Однако прежде чем решиться на тот или иной способ, стоит оценить преимущества и недостатки каждого и, главное, понять, в какую сторону движется развитие индустрии.

Вариант 1: отличать бота от человека

Этот метод сравнительно легко реализуем и является быстрым решением проблемы. Недостаток заключается в том, что с ростом степени автоматизации и проникновением технологий отличить бота от человека становится все сложнее. Характерным примером может служить развитие технологии CAPTCHA - сейчас это основной способ, который помогает отличить человека от робота. Когда-то большинство капч требовало от человека разгадать набор трансформированных символов. Но алгоритмы достигли больших успехов в распознавании даже рукописного текста, и боты почти догнали людей в этом.

Поэтому сейчас реализуются более устойчивые к взлому капчи, основанные на распознавании образов, например, дорожных объектов - светофоров, пешеходных переходов. Однако поскольку часто капчи пишутся американскими компаниями, у людей из других стран, которые не знают культуры и специфики США, могут возникать проблемы с прочтением требований, например, с распознаванием счетчиков парковки.

Вариант 2: анализировать поведение пользователя

Этот способ не так прост в реализации, как капча, но гораздо больше отвечает исходной задаче: современные алгоритмы анализа дают возможность понять поведение пользователя и цели, которые он преследует при посещении сайта - установить так называемый цифровой отпечаток.

Поиск вредоносной активности в таких системах происходит как на основе анализа запросов пользователей, так и цифрового отпечатка пользователя с помощью активных проверок. Такой подход позволяет блокировать вредоносные источники порой с первого же отправленного ими запроса.

Со временем человек оказывается все дальше от непосредственного взаимодействия с веб-ресурсом ввиду повышения уровня автоматизации.

Когда-то люди практически руками могли написать работающий запрос в командной строке. Сегодня большинство сервисов использует шифрование и имеет развесистый фронтенд, без которого функционировать не может. Запросы отправляются скриптом, работающем в браузере. На этом уровне человек серьезно отдаляется от того, что происходит на сервере.

Дальнейшая автоматизация процессов приведет к включению в браузер алгоритмов машинного обучения, которые могли бы выполнять тривиальные операции за пользователя, например, умели бы регистрировать за него аккаунт на веб-ресурсах, автоматически заполнять поля или давать подсказки, меняя профиль поведения человека.

С учетом этого на передний план выходит не уровень автоматизированности действий, а понимание целей этих действий. Главная задача для бизнеса сейчас - отслеживание того, насколько та или иная активность допустима на его ресурсе и какую цель она преследует.
Артем Гавриченков, технический директор Qrator Labs

adv  

15-03-2022 13:28
14-03-2022 23:10
11-03-2022 16:56
23-02-2022 16:44
23-02-2022 15:26
23-02-2022 12:12
26-12-2021 18:35
02-12-2021 19:13
23-08-2021 18:46
-- 3
-- 3
-- 3
23-02-2022 20:27
23-02-2022 20:12
17-02-2022 24:30
06-09-2014 11:10
16-03-2022 14:03
16-03-2022 11:54
Об агенстве
Услуги

ФОТО

photo


"Соевый джекпот как игра в длинную'. Конференция


ВИДЕО







Kursu valut


Об агенстве
Услуги
Все права соблюдены. При полной или частичной перепечатке материалов с сайта ссылка на ЦК.инфо обязательна.
Редакция может не разделять точку зрения авторов статей и ответственности за содержание републицируемых материалов не несет.
Свидетельство о государственной регистрации №235-98г. от 6 октября 2010 года
© ЦК 2010-2013
E-mail: