Создаем robots.txt для cms wordpress
Приветствую вас, уважаемые читатели блога! Сегодня мы поговорим о том, что такое robots.txt и что нужно в него вписать. Но для начала давайте узнаем, что это такое.
Файл robots.txt – это файл, в котором написаны указания для поисковых систем. В основном указывается всегда для Яндекса, остальные менее привередливы.
Вот собственно код, который необходимо вписать в файл:
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.yourdomain.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: http://yourdomain.ru/sitemap.xml
User-Agent – здесь вы указываете, для какой поисковой системы вы запрещаете индексирование.
Disallow – это функция, которая запрещает что-либо индексирование.
В нашем случае мы запретили к индексированию все файлы и папки скрипта. Обязательно смените название сайта в Host: и Sitemap! Карту сайта вы добавляете на свой сайт для лучшего и быстрого индексирования поисковыми системами. Также я в этом коде я сделал склеивание домена, т.к иногда Яндекс считает сайт с www и без него за разные сайты. А если такое происходит, то происходит некачественная работа сайта.
Попробуйте создать данный файл у себя на хостинге. Посмотрите, изменится ли ситуация с индексированием вашего сайта. Желаю удачи! Незабываем подписываться на блог!
файл действительно облегчает поиск, думаю многим он понадобится
А индексирование яндексом комментариев он тоже запрещает?
И как их открыть к индексированию