Верные решения
появляются в процессе

Файл robots.txt для WordPress

 

Сделать правильный файл robots.txt для WordPress очень важно. Благодаря ему поисковики будут знать - что можно и что нельзя индексировать. То есть в поисковой выдаче будет только то, что нужно, без дублей страниц и внутренностей WordPress.

 

Пример файла robots.txt

 

User-Agent: *
Disallow: /wp-
Disallow: /xmlrpc.php
Disallow: /?s=
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: *.js 
Allow: *.css
Allow: /wp-content/plugins/*.gif
Allow: /wp-content/plugins/*.png

Sitemap: https://site.ru/sitemap_index.xml

 

Раньше для Яндекса необходима было  директива Host, которая обозначала главное зеркало сайта. Теперь в ней нет надобности, для определения главного зеркала сайта используется 301 редирект.

Sitemap будет таким, если используется плагин Yoast SEO. 

Файл robots.txt не является гарантией, что закрытые в нем страницы не будут проиндексированы, поэтому дубли контента нужно дополнительно скрыть с помощью 301 редиректа в файле .htaccess:

 

# BEGIN WordPress

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteCond %{QUERY_STRING} ^replytocom= [NC]
RewriteRule (.*) $1? [R=301,L]
RewriteRule ^feed$ /$1 [R=301,L]
RewriteRule (.*)/feed$ /$1 [R=301,L]
RewriteRule (.+)/comment-page /$1 [R=301,L]
RewriteRule (.+)/trackback /$1 [R=301,L]
RewriteRule (.+)/comments /$1 [R=301,L]
RewriteRule (.+)/attachment /$1 [R=301,L]
RewriteCond %{QUERY_STRING} ^attachment_id= [NC]
RewriteRule (.*) $1? [R=301,L]
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress

 

Благодаря плагину  Yoast SEO файлы robots.txt и .htaccess  можно отредактировать из админки WordPress (пункт меню плагина "Инструменты"-> "Редактор файлов").

Для мультисайта WordPress есть плагин https://ru.wordpress.org/plugins/multisite-robotstxt-manager/ , который позволяет создать виртуальный файл robots.txt для каждого сайта из сети сайтов.


Обновлено: 22.03.2018

Вам помогла эта статья? Оцените!
(4 оценок, среднее: 5,00 из 5)
Загрузка...


Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *