Чек-лист · 5 мин чтения

Чек-лист SEO перед запуском сайта: robots.txt, sitemap и canonical

Проверяем, что новый домен отдаёт статьи правильным кодом, карта сайта содержит только нужные страницы, а тестовая версия остаётся закрыта.

Перед запуском возьмите главную, одну статью и заведомо несуществующий адрес. Этого достаточно, чтобы поймать несколько типовых ошибок шаблона и маршрутизации. Затем пройдите весь sitemap, чтобы исключить ошибки отдельных страниц.

Проверьте адрес и код ответа

Откройте HTTP и HTTPS. HTTP должен перенаправлять на выбранный HTTPS-адрес. Проверьте вариант с www, если он подключён, и URL со слешем и без него. Редирект должен вести на ту же страницу, сохраняя путь. Статья возвращает 200, несуществующая страница — 404.

curl -I http://example.com/articles/example/
curl -I https://example.com/articles/example/
curl -I https://example.com/missing-page/

В браузере откройте исходный HTML статьи. Найдите заголовок, основной текст и обычные ссылки на связанные материалы. Проверьте сертификат в браузере и повторите проверку с мобильного устройства.

Согласуйте canonical, robots.txt и sitemap

На статье укажите абсолютный канонический URL на боевом домене. В sitemap включите тот же адрес. Для тестовой копии сохраните отдельные ограничения индексации. На боевой статье проверьте и HTML, и HTTP-заголовок X-Robots-Tag: запрет может прийти от прокси даже при правильной разметке страницы.

Где смотреть Что должно быть на боевом сайте
robots.txt Доступ к статьям, ссылка на sitemap
sitemap.xml Канонические страницы, доступные с кодом 200
Исходный HTML Заголовок, описание, текст, ссылка canonical на текущее издание
HTTP-заголовки У опубликованных статей нет директивы noindex
Ссылки на сайте К каждой важной статье можно перейти по обычной ссылке

Например, фильтр «Нейросети» может открывать ту же ленту с параметром запроса. Не добавляйте такой URL в sitemap как самостоятельную рубрику. Если рубрике нужна отдельная страница поиска, дайте ей постоянный адрес, свои заголовок и описание и ссылки на статьи.

Зафиксируйте запуск и следите за результатом

После подтверждения домена добавьте sitemap в Google Search Console и Яндекс Вебмастер. Выберите ключевую статью и проверьте, как робот видит её и какой URL считает основным. Сохраните дату публикации и проверьте показы и клики отдельно по страницам. Страница, доступная роботу и указанная в sitemap, может появиться в поиске не сразу. Успешная загрузка карты сама по себе не подтверждает индексацию.

Первоисточники: Google о Sitemap, Яндекс о Sitemap и Яндекс о канонических адресах.

Следить за журналом
Следить за журналом

Поиск по журналу

Ищем по заголовкам, темам и описаниям материалов.