13.09.2011 Личная информация доступна многим
Как защитить страницу от индексирования? Актуальная тема в связи с недавними событиями, когда «Яндекс» показал в открытом доступе сначала несколько тысяч SMS абонентов «Мегафона», а через несколько дней — тысячи страниц с заказами и личными данными покупателей интернет-магазинов.
Есть два способа сообщить поисковым роботам, что страницу нельзя индексировать и показывать в выдаче.
Первый — написать об этом в файле robots.txt. В этом файле можно прописать запрет на индексацию как всем поисковикам одинаково, так и каждому по отдельности с разными «настройками приватности». Роботы видят все страницы, но по общепринятым в интернете нормам не индексируют то, что их просят не индексировать. Правда, если попросить правильно. Если робот прочтет файл неправильно, он может что-то проиндексировать вопреки вашему желанию. Проверить корректное заполнение robots.txt можно в «Яндекс.Вебмастере».
Второй способ — запаролить страницу с персональными данными или другой непубличной информацией.
Как страницы попадают в выдачу
Поисковые роботы индексируют только те страницы, о которых они так или иначе узнали. После создания страницы или всего сайта можно отправить запрос на индексацию напрямую в поисковую систему, а можно разместить ссылку на страницу или сайт на другом (желательно достаточно популярном) сайте. Часто обновляемые и популярные сайты поисковые роботы посещают чуть ли не каждый день. Увидев ссылку на ваш сайт, они пройдут по ней и решат, стоит ли ее индексировать.
Перед индексацией робот обязательно прочитает файл robots.txt, чтобы узнать, можно ли ему взять в свою базу содержание страницы. Только если в robots.txt не прописан такой запрет, робот индексирует страницу, затем применяет фильтры (чтобы отсечь некачественный, по его мнению, контент). Страницы, прошедшие фильтр, ранжируются и становятся доступными для выдачи по поиску.
Итак, в выдачу попадают только те страницы, которые сам владелец сайта разрешил для индексации.
Предыдущая статья - Основы основ веб-дизайна Следующая статья - Повышение продаж в интернет-магазине БЕЗ рекламы
