«Проблемы со списком сайтов Роскомнадзора. Операторы связи, будьте бдительны»

Раздел: Социальные сети

Привет, хабр.

Мы уже писали, как нетривиально оказалось получить доступ к списку запрещенных материалов Роскомнадзора, для организации автоматического мониторинга попадения наших сетей и сайтов наших клиентов на предмет блокировки. К сожалению, история с наступанием на многочисленные грабли имеет продолжение, поэтому мы хотели бы поделиться ей. Описанная информация будет в первую очередь полезна операторам связи, которые как мы отслеживают ситуацию попадения ресурсов в список Роскомнадзора.

Итак, запустив в ноябре автоматический мониторинг, мы стали ждать часа Х — появления клиентского ресурса в списке. С одной стороны, конечно, приятного в том, что необходимо в спешке связываться с клиентом и решать вопрос об удалении блокируемой информации, мало, тем более, что на реакцию, напомним, даются 1 сутки, о чем написано в памятке оператору связи, с другой стороны, все тесты, которые до этого проводились — были так или иначе синтетические, и разработчик внутри с нетерпеньем ждал, когда автоматика сработает на реальных данных, радостно оповещая всеми возможными способами техническую поддержку и аминистраторов. Ведь как приятно (разработчикам, а не админам) видеть в логах информацию о том, что сервер упал, но дублирующий — вытянул на себе нагрузку, что мастер-база отвалилась, но реплика ее заместила, и т.д. Словом, было просто интересно увидеть систему в действии.

И вот, 27 декабря нам на электронную почту приходит сообщение от Роскомнадзора, что страница нашего клиента — сайта www.tourister.ru попала в злосчастный список. Дело в том, что Туристер.ру — это такая социальная сеть для туристов, где люди размещают обзоры, отзывы и лайфхаки о различных поездках. И в заблокированной статье рассказывалось как правильно съездить в Амстердам и какую траву там стоит покупать. Стоит заметить, что причина блокировки вполне понятна и особых вопросов не вызывает, поэтому мы оперативно связались с администрацией ресурса и в итоге статья была удалена. Казалось бы все, хеппи энд, но нас насторожил один момент — наш мониторинг запрещенных ресурсов за все это время никак на эту ситуацию не отреагировал. Т.е. в штатном расписании в наш хелпдеск приходили отчеты об очередном свежезагруженном дампе, но информации о том, что заблокирован tourister.ru не было:

Разумеется такой порядок вещей нас сильно насторожил и мы стали проверять скачанные дампы, т.к. специально на случай подобной ситуации ведем историю загруженных баз.

Кстати, о дампах хотелось бы отдельно заметить одну интересную особенность. Как известно, сайт zapret-info.gov.ru предоставляет RPC-интерфейс для выгрузки базы реестра. В документации объявлено 3 метода:

getLastDumpDate — возвращает таймстемп последнего обновления выгрузки из реестра.
sendRequest — метод отправки запроса, в ответ на который возвращается код результата.
getResult — метод получения результата.

Сооственно юзкейс предполагается следующий:

Делаем запрос таймстемпа, и в случае если он изменился с последнего раза — выполняем дальнейшие действия. В принципе, логично — экономим трафик и бережем сервер(ы?) роскомнадзора от лишней нагрузки. Если же таймстемп неизменен — мониторим ресурсы по этому дампу.
Формируем и отправляем запрос. Получаем код.
По коду — получаем дамп и уже по нему проверяем наши ресурсы.

Его мы и реализовали, но довольно быстро мы заметили, что каждый отчет о мониторинге содержит свежескачанный дамп, при этом размер файла и количество содержащихся документов остаются неизменными. Быстрый прогон файлов через diff-tool показал, что файлы различаются только значением таймстемпа. По сути, дата последней выгрузки — это значение текущего времени, с отброшенными минутами и секундами. В результате вся идея об экономии траффика и ресурсов просто не работает.

Так вот, просмотрев все дампы за последние несколько суток мы пришли к выводу, что в них просто остуствует запись о блокировке страницы на tourister.ru:

При этом веб-интерфейс zapret-info исправно выдает информацию о блокировке:

Мы, конечно, написали письмо с вопросами на zapret-info@rsoc.ru, но пока ответа не получили.

В качестве вывода хотелось бы процитировать самих себя, из предыдущей статьи по теме:

Иногда задача, связанная с работой с государственными структурами, может заступориться в совершенно неожиданном месте.

Так что, уважаемые операторы связи, будьте бдительны.

UPD: В комментариях заместитель руководителя Роскомнадзора Ксензов Максим Юрьевич, Ksenzov, отвечает на вопросы связанные с работой zapret-info. Внимание хабрапользователей, давайте не будем минусовать Ksenzov просто за то, что он представитель организации, ведущий ненавистный тут всем реестр, ибо тогда мы лишимся возможности услышать ответы и комментарии с «другой стороны».

Дата публикации: 2013-01-04

Источник