Правильный robots.txt для WordPress


Для корректной индексации сайта, стоит пользоваться файлом robots.txt. Этот файл позволят скрывать от поисковых ботов отдельные папки или файлы вашего сайта. Это уберет из индекса лишнее, а так же увеличит скорость прохождения сайта ботом. В случае с сайтами на WordPress, корректный robots.txt выглядит так:

User-agent: *  
Disallow: /wp-admin/  
Disallow: /wp-includes/  
Disallow: /wp-trackback  
Disallow: /wp-feed  
Disallow: /wp-comments  
Disallow: /wp-content/plugins  
Disallow: /wp-content/themes  
Disallow: /wp-login.php  
Disallow: /wp-register.php  
Disallow: */trackback  
Disallow: */feed  
Disallow: /cgi-bin  
Disallow: *?s=  
Host: you-site.ru 

Не забудьте в последней строке указать ваш домен. Эти настройки сохраняем в файле с названием robots.txt и копируем его в корневую папку сайта. Так же рекомендуем прочитать статью про альтернативный вариант создания robots.txt для WordPress, здесь подробно описывается каждая строчка и приводятся несколько рабочих вариантов.


Требуется подобная доработка? Напишите нам.


Name

Email


Website


Messagge