Перед запуском возьмите главную, одну статью и заведомо несуществующий адрес. Этого достаточно, чтобы поймать несколько типовых ошибок шаблона и маршрутизации. Затем пройдите весь sitemap, чтобы исключить ошибки отдельных страниц.
Проверьте адрес и код ответа
Откройте HTTP и HTTPS. HTTP должен перенаправлять на выбранный HTTPS-адрес. Проверьте вариант с www, если он подключён, и URL со слешем и без него. Редирект должен вести на ту же страницу, сохраняя путь. Статья возвращает 200, несуществующая страница — 404.
curl -I http://example.com/articles/example/
curl -I https://example.com/articles/example/
curl -I https://example.com/missing-page/
В браузере откройте исходный HTML статьи. Найдите заголовок, основной текст и обычные ссылки на связанные материалы. Проверьте сертификат в браузере и повторите проверку с мобильного устройства.
Согласуйте canonical, robots.txt и sitemap
На статье укажите абсолютный канонический URL на боевом домене. В sitemap включите тот же адрес. Для тестовой копии сохраните отдельные ограничения индексации. На боевой статье проверьте и HTML, и HTTP-заголовок X-Robots-Tag: запрет может прийти от прокси даже при правильной разметке страницы.
| Где смотреть | Что должно быть на боевом сайте |
|---|---|
robots.txt |
Доступ к статьям, ссылка на sitemap |
sitemap.xml |
Канонические страницы, доступные с кодом 200 |
| Исходный HTML | Заголовок, описание, текст, ссылка canonical на текущее издание |
| HTTP-заголовки | У опубликованных статей нет директивы noindex |
| Ссылки на сайте | К каждой важной статье можно перейти по обычной ссылке |
Например, фильтр «Нейросети» может открывать ту же ленту с параметром запроса. Не добавляйте такой URL в sitemap как самостоятельную рубрику. Если рубрике нужна отдельная страница поиска, дайте ей постоянный адрес, свои заголовок и описание и ссылки на статьи.
Зафиксируйте запуск и следите за результатом
После подтверждения домена добавьте sitemap в Google Search Console и Яндекс Вебмастер. Выберите ключевую статью и проверьте, как робот видит её и какой URL считает основным. Сохраните дату публикации и проверьте показы и клики отдельно по страницам. Страница, доступная роботу и указанная в sitemap, может появиться в поиске не сразу. Успешная загрузка карты сама по себе не подтверждает индексацию.
Первоисточники: Google о Sitemap, Яндекс о Sitemap и Яндекс о канонических адресах.