Гипертекстовый язык HTML поддерживает ряд специальных тэгов и атрибутов, которые помогут в процессе SEO-оптимизации. Я собрал всё, что может пригодится для максимально качественной адаптации страницы.
Запрет индексации в robots.txt
С помощью редактирования файла robots.txt можно закрыть от индексации некоторые страницы. Это может быть полезно, в случае, если на странице предположительно находится контент, который плохо воспринимается поисковым роботом и отрицательно сказывается на SEO сайта. Для этого необходимо в файл добавить такие строки:User-agent: *Disallow: /page.html
Disallow: /SEOartikles/
Первая строка говорит роботу о запрете для всех поисковых систем, вторая о закрытии индекса файла (страници) page.html, а с помощью теретьей строки мы закрываем индекс папки SEOartikles (в которой может находиться группа страниц).
Запрет индексации в HTML коде страницы
Здесь механизм схож, но необходимо прописать мета тэг в самом HTML документе. Этот вариант более предпочтителен, т.к. менее трудоемок:
<meta name="robots" content="noindex, nofollow">
Здесь опционально можно изменять параметры атрибута content на такие:
index/noindex - разрешить/запретить индексацию страници в целом
follow/nofollow - разрешить/запретить индексацию ссылок на странице
all/none - полное разрешение/запрет индексации и всего файла и ссылок
В случае необходимости запрета индекса для определенной поисковой системы, параметр nsme меняется на соответствующий. Например так выгладит тотальный запрет для Яндекса:
<meta name="yandex" content="none">
Запрет индексации конкретной ссылки
С помощью атрибута rel к тюгу <a> можно запрещать поисковому роботу учитывать ее в индексе, а также переходить по ней для исследования. Выглядит это так:
<a href="govno.com/download" rel="nofollow">Браузер Амиго, лучший из лучших!</a>
Запрет индексации части страницы
С помощью тэга <noindex> можно запретить индексацию части страницы. Работает он довольно просто, есть открывающий и закрывающий тэг, пример:
<noindex>Амиго - всё, о чём Вы мечтали!</noindex>
Запрет с помощью файла htaccess
Самый сложный и опасный способ, т.к. в этот файл без надобности лучше не лезть, но, если сильно приспичит делается это так:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT}
RewriteRule ^govno.com/skachai_amigo_ne_bud_kak_vse.html$ - [F]
Остальные статьи из цикла SEO:
- Введение в SEO
- SEO-оптимизация изображений
- Ключевые слова в тексте
