Как создать файл robots.txt

Создание файла robots.txt – одно из самых первых действий при продвижении сайта в поисковых системах. От того, насколько правильно составлен роботс.тхт, зависит качество индексации вашего сайта поисковыми системами. Всего одна опечатка или поставленный в ненужном месте пробел могут негативно сказаться на продвижении сайта в поисковиках. Именно поэтому очень важно подойти к созданию robots.txt со всей серьезностью, а затем не полениться проанализировать и проверить файл на наличие ошибок.

Как создать файл robots.txt

Данная статья посвящена созданию файла robotx.txt, его анализу и проверке. Вы найдете примеры правильно составленных robots.txt для блогов wordpress и сможете скачать готовый вариант файла для вашего сайта. Кроме того, в конце статьи вам будут представлены плагины, автоматически создающие «файл правил индексации», и видеоурок по правильному составлению robots.txt.

1. Что такое robots.txt

Прежде всего, следует разобраться, а зачем вообще нужен файл robots.txt? Что, если без него можно обойтись, тогда зачем вообще заморачиваться по этому поводу?

Файл robots.txt, примеры которого будут приведены чуть ниже, показывает поисковым системам, какие области сайта можно индексировать, а какие нельзя. Он напрямую влияет на поисковое продвижение сайта .

Если выражаться точнее, то данный файл создается для того, чтобы запретить поисковикам индексировать какие-то документы сайта, т.к. по умолчанию роботы-индексаторы стараются просмотреть все области вашего веб-ресурса. Помимо этого здесь же указывается путь к карте сайта sitemap.xml, улучшающей индексацию web-сайта поисковиками, а также определяется главный домен сайта.

Чтобы понять, что такое главный домен сайта, давайте разберемся с одним понятием.

Зеркало – это сайт, который является абсолютно идентичной копией другого сайта. В таком случае url-адреса страниц сайтов совпадают, как совпадает и их контент. Например, у знаменитой социальной сети www.Facebook.com есть такие зеркала:

  • www.TheFacebook.com
  • TheFacebook.com
  • Facebook.com

У любого сайта, созданного в сети, есть хотя бы одно зеркало. Например, для блога «Blog-Craft.ru» (главный домен, без www) зеркалом является его абсолютно идентичная копия «www.Blog-Craft.ru» (зеркало, с www). Дело в том, что поисковые системы воспринимают эти два url-адреса (с www и без www), как адреса совершенно разных сайтов. И лишь проиндексировав каждый и сравнив их, поисковики понимают, что один из указанных адресов – это зеркало другого. В таком случае, поисковики «склеивают» эти два адреса и пускают в выдачу лишь один из них – главный домен сайта.

Таким образом, главный домен сайта можно назвать основным адресом сайта.

Если вы попытаетесь в браузере набрать зеркало этого блога «www.blog-craft.ru», то браузер автоматически перейдет на «blog-craft.ru», т.е. на главный домен. Так получается из-за того, что на зеркалах настроен серверный редирект, т.е. автоматическое перенаправление с зеркал на главный домен сайта.

Файл robot.txt показывает поисковым системам, какой из url-адресов считать главным доменом сайта.

2. Синтаксис файла robots.txt

2.1 Общие правила

Файлу robots.txt присущ свой синтаксис, т.е. существуют правила, по которым должен оформляться роботс.тхт. Если правила будут нарушены, то файл будет работать некорректно, что может очень плохо отразиться на индексации сайта поисковиками.

Корректный файл robots.txt – это файл, оформленный по правилам, приведенным ниже.

Во-первых, сам файл должен всегда находиться в корневом каталоге сайта на хостинге. Другими словами, роботс.тхт должен быть доступен по адресу Site.ru/robots.txt, где Site.ru – адрес сайта.

Во-вторых, все буквы в названии файла должны быть маленькими, т.е. строчными:

  • «robots.txt» — верно;
  • «ROBOTS.TXT» или «Robots.txt» – неверно.

В-третьих, сам файл должен иметь текстовый формат Unix, такой формат поддерживает стандартный блокнот Windows. Поэтому для создания файла вы можете использовать блокнот (создайте текстовый документ с расширением .txt и назовите его robots.txt).

2.2 Стандартные операторы

Как создать и озаглавить файл robots.txt, мы разобрались. Теперь перейдем к изучению его содержимого. В отличие от названия самого файла его содержимое можно набирать как маленькими (строчными), так и ЗАГЛАВНЫМИ (ПРОПИСНЫМИ) буквами.

Разберем формат строк файла роботс.тхт:

Оператор:[допустимы пробелы]параметры[допустимы пробелы]

Файл robots.txt включает в себя только два стандартных оператора.

Таблица 1. Основные операторы robots.txt

Вообще сам файл может быть пустым или вообще отсутствовать, в таком случае поисковые системы будут индексировать все без исключения.

Сразу после оператора «User-Agent» с новой строки должны идти операторы «Disallow», перечисляющие документы, запрещенные к индексу. Между «User-Agent» и «Disallow» не должно быть пустых строк! Пустая строка означает конец правил.
Например,

User-Agent: A
Disallow: /xxx
Disallow: /yyy
Disallow: /zzz

User-Agent: B
Disallow: /xxx
Disallow: /yyy
Disallow: /zzz

в этом случае пустая строка указывает, что правила для поисковой системы «A» закончены, и начинается новый блок правил для поисковой системы «B».

Оператор User-Agent

Для оператора User-Agent в качестве параметров нужно указывать название роботов-индексаторов поисковых систем. Имена основных роботов указаны в таблице ниже.

Таблица 2. Имена поисковых роботов в robots.txtЕсли нужно указать правила для всех поисковиков, тогда используем символ «*»:

User-Agent: *

Если же нам нужно указать какой-то поисковой системе правила отдельно, то используем ее параметр. Например, для яндекса:

User-Agent: Yandex

Сразу после оператора «User-Agent» с новой строчки прописываются операторы «Disallow».

Оператор Disallow

Как вы уже знаете, данный оператор используется для запрета индексации каких-то отдельных областей сайта.

Параметрами данного оператора являются адреса папок или документов, которые нужно запретить к индексу. Они всегда начинаются с символа «/», т.к. он является адресом корневого каталога. Поэтому если вы хотите запретить к индексу все разделы сайта, то используйте:

Disallow: /

В таблице ниже указаны параметры оператора «Disallow» (если запрещается к индексу папка, то также не индексируется все ее содержимое).

Таблица 3. Параметры запрета Disallow в robotsЕсли возникает ситуация, когда необходимо запретить к индексу какие-то документы с одинаковым именем, которые находятся в разных директориях, тогда используйте «*». Он означает любую последовательность символов.

Например, у нас есть страницы «Site.ru/page1», «Site.ru/page2» и т.д., и у них есть дубли «Site.ru/page1/comments», «Site.ru/page2/comments» и т.д. (т.е. одни и те же страницы доступны по двум разным адресам), то мы можем запретить дубли к индексации:

Disallow: */comments

Теперь все url-адреса, оканчивающиеся на «comments», будут запрещены к индексации.

Файлы robots.txt для блогов wordpress обычно содержат следующие строки, содержащие произвольную последовательность символов:

Disallow: */trackback/     #запрещены трекбеки для всех страниц
Disallow: */feed/                #запрещены фиды для всех страниц
Disallow: */comments/   #запрещены комментарии для всех страниц
Disallow: /?s=                      #запрещены страницы поиска по сайту

В указанном выше примере используется символ «#». Любая строка файла robots.txt, которая начинается с этого символа, считается комментарием (т.е. этот кусок файла не учитывается, а пропускается поисковыми системами). Комментарии оставляют для себя пользователи, чтобы не запутаться в написанном.

2.3 Нестандартные операторы

Стандартные операторы поддерживаются всеми поисковыми системами. Но есть еще дополнительные операторы, которые поддерживаются не всеми поисковыми системами, а лишь некоторыми из них. Например, Рамблер поддерживает исключительно стандартные операторы.
Таблица 4. Нестандартные операторы в роботсе

3. Правильный robots.txt для wordpress

Технические аспекты поискового продвижения очень важны. Они включают в себя не только грамотное использование тегов noindex nofollow, но и создание файла robots.txt. Надеюсь, теперь вы понимаете, что при составлении этого файла нужно быть очень внимательным.

Очевидно, что содержание robots.txt будет зависеть от того, на каком движке работает сайт или блог. Ниже будет приведен пример правильного файла robots.txt для движка WordPress, как для самой популярной системы управления контентом (CMS). Такое содержание файла рекомендуют сами разработчики Вордпресса.

Итак, вот пример правильного файла robots.txt для WordPress.

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: blog-craft.ru
 
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
 
Sitemap: http://blog-craft.ru/sitemap.xml

ВНИМАНИЕ!!! Если у вас на сайте используются стандартные ссылки, т.е. ссылки вида «site.ru/?p=124», тогда удалите и вышеуказанного примера следующие строки:

Disallow: /*?*
Disallow: /*?

Вы можете скопировать приведенный образец файла и вставить содержимое в файл блокнота (с расширением .txt), а затем переименовать его в robots.txt. Если вы затрудняетесь это сделать, то просто скачайте готовый файл по этой ссылке.

Не забудьте заменить «blog-craft.ru» на url-адрес вашего сайта в операторах «Host» и «Sitemap».

Заметьте, что для поискового робота Яндекса указаны абсолютно идентичные команды, как и для других поисковиков (*). Нельзя ли опустить блок команд для Яндекса, ведь, по идее, ничего не изменится, а файл robots.txt сократится? Можно, но лучше все же для Яндекса прописывать команды персонально. И заметьте, вначале файла лучше помещать инструкции для конкретных роботов, а в конце – для всех.

Это самый простой вариант файла, но для вашей темы его, возможно, понадобится дополнить новыми строчками. Поэтому попробуйте проанализировать данный файл и выявить, нужно ли его дополнять.

Проходящим обучение в школе Start Up также предложат пример файла robots.txt. Внимательно его проверьте, вполне возможно, что он устарел и нуждается в корректировке.

4. Плагины для создания robots.txt

Здесь я расскажу, какие плагины можно использовать для того, чтобы создать файл robots.txt для движков WordPress. Конечно, лучше обойтись без них, ведь каждый новый плагин – дополнительная нагрузка на сервер хостинга. Но если у вас не получается создать файл вручную, воспользуйтесь следующими плагинами.

 

1. PC robots.txt – один из самых элементарных плагинов, позволяющих создать файл роботс.тхт. Скачайте плагин на свой компьютер, а затем установите его в админ-панели на сайт.

Особых настроек у плагина нет, он создает файл robots.txt, который вы можете редактировать в админ-панели, когда активируете плагин.

Плагин PC robots.txt для создания файла правил индексацииНа скрине выше видно, что плагин содержит имена роботов всех поисковых систем, в конце находятся основные правила для всех поисковиков.

 

2. iRobots.txt Seo – еще один плагин с аналогичным принципом действия, скачать который можно на этой странице. Его особенность в том, что в настройках вы можете не только создавать и редактировать файл robots.txt, а еще и указывать плагину, какие функции он должен выполнять.

Плагин iRobots.txt SEO для создания файлаЭтот плагин более гибкий, нежели предыдущий, но он создает более серьезную нагрузку на сервер.

 

Подумайте дважды, прежде чем решите использовать плагины для создания файла robots.txt.

5. Анализ и проверка robots.txt

Составить файл robots.txt – это полдела. После этого нужно его проанализировать и выявить возможные ошибки. Делать это проще всего с помощью сервиса Яндекс.Вебмастер. Выбирайте нужный сайт и переходите в раздел «Настройка индексирования», а затем в «Анализ robots.txt».

Далее вам нужно будет нажать на кнопку «Загрузить robots.txt с сайта» и через пару секунд можно будет нажать на кнопку «Проверить».

Анализ файла robots.txt с помощью Яндекс.ВебмастерЕсли проблем с анализом файла не возникает, т.е. ошибки отсутствуют, тогда вы увидите внизу информацию о том, на каких строках располагаются блоки с правилами для яндекса. Вообще-то, Яндекс не анализирует весь файл robots.txt, а лишь те фрагменты, которые посвящены ему. Но т.к. у нас идентичны правила для всех поисковых систем, то достаточно и такой проверки.

Если Яндекс найдет ошибку, он сообщит об этом.

Теперь попробуйте ввести несколько страниц сайта, разрешенных и запрещенных к индексации. Для этого раскройте пункт «Список URL», находящийся чуть ниже, и введите туда несколько вариантов ссылок.

Проверка правильности robots.txtПосле этого нажимайте «Проверить» и следите за результатом. Яндекс укажет, какие ссылки разрешены для индекса, а какие нет. Если вас устраивает работа файла robots.txt, то можете заканчивать проверку.

 

Теперь вы знаете, как создать файл robots.txt для блогов на движке WordPress и провести его анализ. Если у вас возникли какие-то трудности, еще раз пересмотрите примеры использования операторов robots.txt, приведенные в таблицах и самой статье. Не забывайте, что составление файла роботс.тхт, как и составление семантического ядра, – это первые шаги, с которых начинается продвижение в поисковых системах.

Ваш комментарий

  1. хорошая статья, но надо бы заметить что гуглю по большому счету наплевать на робот, так что закрывать от индексации необходимо метатегами

  2. Ну мой роботс заметно отличается. Но яндекс.вебмастер ошибок не выдал. Так что я в растерянности. то ли так ставить как есть, то ли бежать исправлять?
    У меня есть
    Disallow: /tag
    Disallow: /cgi-bin

    Нет
    Disallow: /webstat/

    и в самом низу по-другому написано и еще вопрос с этим:
    Disallow: /*?*
    Disallow: /*?

    урлы у меня человекопонятные
    надо убрать это дело?

    и еще может какие отличия есть
    в которых я не разберусь

    в конце моего роботс
    еще указаны обе карты сайта для поисковиков и для людей

    А яндекс последнюю неделю меня сильно полюбил (сайт вернее) он наиндексировал раза в 2,5 больльше, чем есть на самом деле и подарил ТИЦ10… вот если сделать индекс 135 как на самом деле (или 136) то и ТИЦ уберут? И почему он так наидексирвать мог? в роботс я не лазила примерно с июля-августа и то только теги диссалов прописала и все. А гугл по плагинчику для гул,хром показывает прочерк. Он не индексирует до конца чтоли? есть какая то проверка где показывается насколько проиндексировано гуглом страниц не под фильтром. Так мой сайт эту проверку не выдержал. Реально о показало (инфу на сайте «Вебмастер Максим» находила), а так если этому плагинчику верить (янддекс/гугл в значке) то выходит у меня все мои 97-100% уникальные статьи под фильтром у гула? 8)

    • Наталья, у вас все нормально с robots.txt, поправлять и убирать ничего не нужно, раз урлы человекопонятные (вот если б были базовые ворпрессовские, тогда те две строчки следовало бы убрать).
      Я правильно понял, яндекс проиндексировал не 135 страниц, а около 300? В любом случае, количество страниц на тИЦ сайта не влияет никаким образом, поэтому тИЦ не уберут, если в индексе появится снова 135 страниц.
      По плагину гугл показывает прочерк — это не страшно, плагин глючит. Чтобы узнать, сколько страниц проиндексировал гугл, перейдите по этой ссылке (ссылка в прочерке плагина). Еще можно проанализировать сайт в cy-pr.com, там тоже показывается количество страниц в индексе.
      «есть какая то проверка где показывается насколько проиндексировано гуглом страниц не под фильтром. Так мой сайт эту проверку не выдержал.» — мне об этом ничего не известно. Сомневаюсь, что вообще есть способ, чтобы точно оценить количество страниц не под фильтром (и о каком именно фильтре идет речь? О «соплях»?).
      Если ваш сайт тот, что указан в подписи — то ваши страницы не под фильтром.

      • Большое спасибо, Станислав! Вы меня успокоили :) Все же непонтяно почему яндекс столько проиндексировал? вроде все лишнее закрыто от индексации. Причем это все на той -этой неделе случилось. Было на несколько страничек больше, а сейчас показывает 341. А сервис cy-pr. совсем другое показывает 173 яндекс и 5% гугл не под фильтром.

        • У меня тоже был всплеск — проиндексировано на 70% страниц больше, чем надо. Сейчас уже все вернулось на свои места. Такое бывает, не переживайте.

          • Спасибо. Подожду, посмотрю что будет :) ТИЦ 10 дали :) в мейл.ру внесли :) — итоги октября =)
            Станислав, а есть у Вас инфа как избавиться от битых ссылок и при этом ниче лишнего не удалить? а то я нашкодила у себя. Но так и не разобралась.

          • Да, есть. Можно поставить плагин Broken Link Checker и включить его. Он найдет все битые ссылки, потом, удалив их, можно будет удалить плагин.

          • Я немного накололась на этом плагине. Удалила по его наводке из постов картинки, теперь надо сидеть и восстанавливать. у меня подозрение, что из-за неверного названия картинок (русскими вместо латиницы) он их пометил как битый, а при попытке просмотреть ссылку чего это такое мне все время писало, что у меня нет доступа к просмотру. Это у админа то и нет. Ну я подумала, что ернунда сторонняя и поудаляла. *CRAZY*

          • Дело в том, что админ-панель и сам хостинг — разные вещи. Доступ к вашей вордпресс-админке может быть у любого человека (например, у вас есть автор, который добавляет статьи на сайт, ему будет открыта админ панель), но у него не будет прав к панели хостинга. Поэтому у вас и отсутствовал доступ — нужно было просто зайти через хостинг.
            А «битыми» ссылками картинки бывают в том случае, если вы удаляете их при добавлении в пост. Это можно проверить так: выберите любую статью с картинкой на вашем сайте, а затем нажмите на картинку. Если вы перейдете на новую страницу (будет показываться картинка на отдельной странице), значит ссылка есть. Если не перейдете — ссылки удалены, и плагин посчитает их «битыми».

  3. Круто!! наконец то я понял как это работает, спасибо большое!

    • Так и есть ссылки удалялись, чтоб не было по ним кликов лишних. Часть картинок на стороне лежит за паролем. Вот на днях в главной картинке (ОДНА НА СТАТЬЮ, А ОСТАЛЬНЫЕ НА ЯНДЕКСЕ) ЗАБЫЛА ССЫЛКУ УДАЛИТЬ И что вы хотите — мне на нее комментарий оставили. =-O Я в шоке была — как такое вообще возможно?! *CRAZY* В итоге осталась без комментария, ссылку нафик удалила. Так все равно получается русскими буковками называть картинку и заливать на сервер или надо ТОЛЬКО латинскими?
      Станислав, вот все таки какой вы молодец. А мне никто не мог такую простую вещь объяснить. Вы молодой такой и самый умный из всех кого знаю! *IN LOVE* =)

      • Я, честно говоря, не знаю всех тонкостей работы этого плагина, но думаю, что называть картинку можно как русскими буквами, так и латинскими.

        • Ок! Насчет названий картинок пока вопрос открытый. КАК правильно, критично или некритично — не понятно. Но по крайней мере пока перезаливать все по новой не стану :)

          • Наталья, называть картинки надо на латинице и, желательно, чтобы в названии было описание того, что на ней изображено, а лучше ключевое слово.

  4. Хорошо все про robots расписано, только для чего надо webstat? Я так понимаю, это, если создана такая папка?

    • Олег, папка webstat в Вордпрессе — это директория со статистикой сайта, здесь же находится файл .htaccess. Впрочем, у меня на Вордпрессе вообще этой папки нету (у вас, кстати, тоже), но по умолчанию она может быть.

  5. Олег, спасибо! *ROSE* Значит постепенно все поисправляю. :-*
    Главное, что роботс мой в порядке ;)

  6. Недавно вернул индексацию тегов для Google в robots.txt, количество переходов выросло почти в два раза. Так что не все дубли плохи.

  7. Марина:

    Здравствуйте! У меня один вопрос. Если в роботс есть
    Disallow: /sections/404
    это значит, что запрещен редирект при ошибке 404??

    • Здравствуйте! Поисковые системы не индексируют страницу с ошибкой 404. Поэтому нет смысла закрывать эту страницу в файле роботс.
      И редирект не может быть запрещен с помощью файла robots.txt, т.к. он влияет только на индексацию сайта.

  8. Добрый день,
    Станислав, спасибо за все Ваши доступные статьи!
    Подскажите, пожалуйста, если новый сайт на СМС Ворд Пресс, еще не проиндексирован, то файл robots.txt нужно сразу делать правильным или дать системе проиндексировать все, а потом править robots?
    С уважением, Анжелика.

    • Здравствуйте!
      Лучше сразу настроить файл robots.txt, чтобы потом не было мусора в панелях Яндекс.Вебмастер и Гугл.Вебмастер. На начальном этапе это не так критично, можно подождать, но если есть возможность создать файл, то лучше это сделать как можно скорее.

  9. Я так понимаю что если есть в корне еще какие либо папки, то и их обязательно нужно закрывать?

  10. Вообще то хоть немножко разобралась благодаря вам… Тяжело живется чайнкам… А то трафик упал конкретно, может от того, что у меня очень много звуковых файлов, у меня аудио уроки английского. Может папку аудио тоже закрыть?
    …И с картинками намучилась… С этим плагином. Но из коментов Натальи кое-какие выводы сделала…

    • Лишние страницы в индексе поисковых систем не должны стать причиной падения трафика. Намного хуже, когда ситуация обратная — случайно в файле robots закрывается то, что должно индексироваться.
      А у вас трафик, видимо, просел из-за сезона — лето, отпуска. Он просел почти на всех сайтах сейчас.
      Папку аудио закрывать необязательно. Но если это только аудиофайлы без текста, то можете и закрыть.

      • Ну если не обязательно, то и не буду. Боюсь я этих кракозябров…))) Мне кажется, что у меня из-за контента не любят поисковики. Он просто не на сто процентов уникален. Но по другому не получается. Вот и делаю переводы текстов буквальными, чтобы разбавить…
        А вообще, сайт у вас супер! Попасусь-ка я у вас… =) =)

        • Контент на сайте может быть неуникален, а поисковые системы будут относиться к нему хорошо. Но это справедливо для старых сайтов, а если ресурс был создан недавно, то лучше, конечно, публиковать на нем уникальные материалы.

  11. Очень хорошая статья, глубокая и полная.Файл Robots.txt очень важный файл для любого блога.

  12. Если на сайте присутствуют неопубликованные статьи, они могут проиндексироваться ПС? Такой robots.txt как у вас не скрывает такие статьи? Если нет, то тогда как скрыть такие статьи, или даже лучше определённую рубрику, поскольку таких статей может быть несколько и их можно поместить скажем в рубрику «черновик».

    • Неопубликованные — это черновики? А что за CMS? Если вордпресс, то не индексируют. Если какая-то другая — то, скорее всего, тоже не индексируют.

  13. Станислав а что означает Disallow: /category/*/*? У меня яндекс исключил 32 страницы из поиска пишут: что
    некоторые страницы Вашего сайта в своём HTML-коде содержат запрещающий мета-тег, который не позволяет роботу индексировать их. Но я проверил по Список URL там они все разрешены?! И главное что некоторые статьи содержаться одновременно в проиндексированных и в исключенных. А вот с гуглом все окей!

    • Это означает, что все страницы по ссылке «адрес_сайта/category/любой_адрес» будут запрещены к индексации. Это делается для того, чтобы не индексировался дублирующийся контент (на вордпрессе все ссылки такого типа копируют контент из анонсов ваших статей).

  14. Здравствуйте! Скажите пожалуйста, а как сделать, чтобы поисковик гугл не видел ссылки на файлообменники.

  15. Спасибо! Очень помогли!

  16. Lina:

    Если сами не уверенны в правильности составления Robots.txt можно воспользоваться онлайн-сервисами типа http://mediasova.com/create-robots-txt/ (автоматическая генерация файла)

  17. кстати так и не нашел программу для компа…
    хотя постойте, она и не нужна :-D
    по теме — робот.тхт обновляется очень редко..это если по путю

  18. Скажите пожалуйста в robots.txt можно запретить от индексации входящие ссылки плохих доноров? Спасибо!

  19. Здравствуйте! Создал robotx, потом захотел проверить удобство работы сайта на мобильных устройсвах с помощью гугла, а мне выдает

    Запрашиваемый URL выполняет переадресацию на страницу http://www.1rubalka.info/lovlya-mirnoy-ryibyi/lovlya-linya?fdx_switcher=true, просмотр которой запрещен в файле robots.txt.

    По данному адресу находится запись, а ведь ее я не исключал из индексации.
    Удалил файл и проверка прошла.

    • Точно не скажу, но выглядит, как будто что-то напутано именно в самом файле robots.txt, например, использована команда, не описанная в моей статье.

  20. Все правильно написано, обязательно надо создавать файл робот.txt для сайта