Личная информация доступна многим

+7(495) 542 05 85

+7(495) 542 05 85

Личная информация доступна многим

Как защитить страницу от индексирования? Актуальная тема в связи с недавними событиями, когда «Яндекс» показал в открытом доступе сначала несколько тысяч SMS абонентов «Мегафона», а через несколько дней — тысячи страниц с заказами и личными данными покупателей интернет-магазинов.

 

Есть два способа сообщить поисковым роботам, что страницу нельзя индексировать и показывать в выдаче.

Первый — написать об этом в файле robots.txt. В этом файле можно прописать запрет на индексацию как всем поисковикам одинаково, так и каждому по отдельности с разными «настройками приватности». Роботы видят все страницы, но по общепринятым в интернете нормам не индексируют то, что их просят не индексировать. Правда, если попросить правильно. Если робот прочтет файл неправильно, он может что-то проиндексировать вопреки вашему желанию. Проверить корректное заполнение robots.txt можно в «Яндекс.Вебмастере».

Второй способ — запаролить страницу с персональными данными или другой непубличной информацией.

 

Как страницы попадают в выдачу

Поисковые роботы индексируют только те страницы, о которых они так или иначе узнали. После создания страницы или всего сайта можно отправить запрос на индексацию напрямую в поисковую систему, а можно разместить ссылку на страницу или сайт на другом (желательно достаточно популярном) сайте. Часто обновляемые и популярные сайты поисковые роботы посещают чуть ли не каждый день. Увидев ссылку на ваш сайт, они пройдут по ней и решат, стоит ли ее индексировать.

Перед индексацией робот обязательно прочитает файл robots.txt, чтобы узнать, можно ли ему взять в свою базу содержание страницы. Только если в robots.txt не прописан такой запрет, робот индексирует страницу, затем применяет фильтры (чтобы отсечь некачественный, по его мнению, контент). Страницы, прошедшие фильтр, ранжируются и становятся доступными для выдачи по поиску.

Итак, в выдачу попадают только те страницы, которые сам владелец сайта разрешил для индексации.


вернуться назад