Запреты на индексацию

Точность результатов, и их полнота важны для любого поискового робота. Особенно в последнее время роботы стали обращать внимание на индексацию ненужного (иногда дублирующегося) "мусора" на страницах сайтов. Для избежания индексации не нужных нам страниц, информационных блоков, поддоменов, или сайта целиком, существуют рекоммендации для запрета на индексацию поисковым роботом:

1. Запрет индексации сайта целиком. Прописывается в robots.txt для всех поисковых роботов командой Disallow: /*.

2. Частичный запрет индексации сайта. Также прописывается в robots.txt, тем же тегом Disallow: /category/page.html - закрывает конкретную страницу, или раздел. 

3. Удаление фрагмента на странице. Информационные блоки, которые нужно пропускать роботу при индексации помечаются специальным тегом <content="noindex,nofollow"/>. Какого рода информация скрывается на страницах можно посмотреть на примере проекта onlady.com.ua.

В рамках нашего Технического Задания, как правило ставится запрет на индексацию страниц, которые содержат данные символы: