2. В файл sitemap.xml нужно добавить только первую страницу рубрики, остальные поисковый робот найдет сам.

3. Ссылки на страницы пагинации не нужно закрывать от индексации с помощью rel=nofollow [54] .

404 ошибка отображается у пользователя, если он хочет просмотреть страницу, которой нет на сайте (например, она удалена или ее URL введен неправильно) [55] . Название возникло потому, что при такой ошибке веб-серверы отправляют код статуса HTTP 404 [56] .

Как правило, стандартная страница 404 выглядит непрезентабельно и не содержит никакой полезной информации. Пользователи, которые попадают на такую страницу, просто покидают сайт, что негативно влияет на трафик и конверсию, а также ухудшает поведенческие факторы ранжирования.

Чтобы исправить ситуацию, необходимо создать пользовательскую версию страницы 404, которая будет отвечать следующим требованиям:

1. Код ответа данной страницы должен быть «404» (Not Found). Проверить это можно с помощью специальных сервисов [57] или плагинов для браузера [58] .

2. На странице ошибки 404 нежелательно размещать рекламу, длинные тексты или графику (кроме логотипа). Страница должна быть лаконичной и простой [59] .

Как вариант, если есть возможность, можно сделать эту страницу «с изюминкой»: разместить здесь яркую иллюстрацию, анимацию или мини-игру.

3. Лучше не допускать, чтобы несуществующую страницу путали с обычной. Поэтому на странице с ошибкой 404 не должно быть основного меню сайта, верстки и цветовой гаммы типовой страницы. Чем скорее посетитель поймет, что страницы не существует, тем лучше.

4. Заголовок страницы («страница не найдена») должен однозначно указывать, что запрошенной страницы не существует.

5. Чтобы помочь человеку разобраться, на странице 404 ошибки нужно дать краткую информацию о том, что произошло (например, неправильно набран адрес; такой страницы никогда не было на этом сайте; такая страница была, но по этому адресу ее больше нет).

6. На странице обязательно должны быть варианты дальнейших действий:

a. Должны присутствовать ссылки на главную страницу, важнейшие разделы, а также на карту сайта и форму поиска (если они есть).

b. Нужно предоставить пользователям возможность сообщать о неработающих ссылках (по электронной почте или через форму обратной связи).

7. Очень важно проследить за тем, чтобы 404 ошибка выводилась для ошибочных URL-адресов во всех разделах сайта. В противном случае в индекс будут попадать пустые и мусорные разделы, что ухудшит общий уровень траста ресурса.

8. Нельзя производить переадресацию при попадании на несуществующий URL, чтобы можно было исправить опечатку в адресе.

9. Необходимо помнить о том, что если страница не удалена, а просто перенесена в другой раздел, то вместо 404 ошибки необходимо настроить 301 редирект.

Помимо прочего, можно отслеживать попадание пользователей на страницу 404 с помощью средств веб-статистики (например, с помощью отчета «Параметры визитов» в Яндекс. Метрике [60] ). Такой анализ позволяет не только находить неработающие ссылки, но и оценивать функциональность раздела на основе поведения пользователей и их действий.

Валидность. С 1994 года функционирует Консорциум Всемирной паутины [61] (англ. World Wide Web Consortium, W3C). W3C разрабатывает для Интернета единые принципы и стандарты (называемые «рекомендациями», англ. W3C Recommendations), которые затем внедряются производителями программ и оборудования.

Проще говоря, консорциум разрабатывает стандарты, в соответствии с которыми веб-мастера создают сайты, а браузеры показывают эти сайты пользователям. По задумке это должно означать, что если код сайта соответствует стандартам (иначе говоря, код валидный), то браузеры должны его интерпретировать одинаково и у всех пользователей сайт будет отображаться корректно. Отсюда два вывода:

1. Множество ошибок в HTML-коде (несоответствий рекомендациям W3C) может свидетельствовать о плохом качестве сайта.

2. Наоборот, отсутствие ошибок в коде сайта должно свидетельствовать о высоком качестве сайта, поднимать уровень траста и позиции площадки в поисковой выдаче.

На практике все несколько сложнее. Во-первых, сами браузеры не во всем соответствуют стандарту. В отдельных технических нюансах каждый браузер умышленно не следует стандарту, а в других – его опережает, что приводит к появлению функций и механизмов, которых нет не только в стандарте, но и в других браузерах.

Во-вторых, браузеры научились справляться с ошибками в коде. Теперь, даже если сайт в отдельных моментах не соответствует стандарту, он все равно может вполне корректно отображаться у всех пользователей. Более того, требования W3C зачастую избыточны и неактуальны, а «подгонка» кода под стандарт требует от создателей сайта совершенно неоправданных затрат.