Программисты сражаются с роботами

«Яндекс» признался, что виновата «Яндекс.Метрика». Частные данные интернет-пользователей, которые можно отыскать в Сети — как то СМС-переписка, список покупок с указанием адресов и фамилий и даже государственные документы, — оказывается, появлялись с помощью специального инструмента для оценки посещаемости сайтов. В официальном блоге компании появилась новая заметка от службы информационной безопасности.

Владимир Иванов, информационная безопасность «Яндекса»: «Что такое Метрика? Это система, предназначенная для анализа трафика на сайте. В соответствии с Пользовательским соглашением Метрики, „счетчик собирает анонимные данные о посещениях сайта и в автоматическом режиме передает их Яндексу для получения обобщённой статистической информации, доступной для дальнейшего использования с помощью Сервиса как Пользователю, так и Яндексу“.

Мы не могли представить себе, что в функциональность инструмента для анализа сайта нужно добавлять средства управления доступом. Для этого существуют общепринятые инструменты. Однако миф о том, что для защиты приватной информации достаточно сложного адреса страницы, оказался таким распространенным среди веб-мастеров, что мы решили добавить в Метрику возможность не передавать в поиск Яндекса адреса страниц, которые стали ей известны. Однако это не означает, что поисковая система никогда не узнает о той или иной странице. Существует огромное количество других путей, которыми страница может оказаться в поиске. Новая опция Метрики влияет только на непосредственную связь между Метрикой и поиском».

И снова «Яндекс» призывает веб-мастеров позаботиться самим о себе: чтобы страницы с конфиденциальными данными не всплывали то тут то там, нужно включить эту опцию на «Метрике». Эксперты тут же задают вопрос: почему бы о безопасности своих клиентов не позаботиться самому «Яндексу»? Например, сделать так, чтобы счетчик работал без параметра ut=noindex? А если веб-мастер хочет индексировать абсолютно все страницы своего сайта, то тогда он подключается отдельно. На этот вопрос поисковики, хлеб которых — получить как можно больше информации для индексации, не дают ответа.