Как создать файл robots.txt

Здравствуйте читатели Seo bloga Fomika! Сегодня поговорим об очень важном файле для вашего блога (сайта) — robots.txt

Как создать файл robots.txt? Этот файл исключает дублирование контента на сайте

Что же такого важного делает этот файл и зачем он нам нужен? Необходимо отметить что этот файл создаётся только на платформе  WordPress.

Как создать файл robots.txt? Зачем он нам нужен?

Сразу отвечу на этот вопрос : этот файл исключает дублирование вашего контента (содержимое блога). Дело в том что когда вы опубликовываете новую статью, он появляется и на главной странице и в рубриках и в архивах. Это не очень хороший момент в отношении оценки вашего сайта поисковыми системами.

Когда поисковик зайдёт на ваш сайт (блог) и обнаружит у вас дублирование статей он скорее всего наложит на ваш сайт очень плохой фильтр — фильтр АГС (анти-говно-сайт), из под которого очень тяжело выйти. Это Яндексовский фильтр. У Гугла другие фильтры.

Так вот этот наш замечательный файл robots.txt «склеивает» эти самые статьи, чтобы поисковик видел наш контент уникальным. Этот файл запрещает индексацию тех разделов блога, на которые создаются дубли страниц, из-за определённой особенности нашего с вами любимого движка  WordPress. Ну а уникальность статей — это жирный плюс вашему сайту.

Создание файла robots.txt

Мой блог предназначен исключительно для новичков блогинга, поэтому я не буду рассказывать вам о правилах написания дирректив, в которых новичок всё равно ничего не поймёт. Скажу лишь основное : в этом файле будет одна единственная дирректива — Disallow, — переводится, как запретить индексацию. Вот этой самой диррективой мы и будем запрещать поисковикам индексацию отдельных разделов вашего блога. И сделаем специальный файл, который будет запрещать индексацию конкретно Яндексу.

Вот как выглядят эти файлы:

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*                                                                                                                                                                                                                                               Disallow: /page/

А вот этот файл будет запрещать индексировать различные разделы вашего блога конкретно Яндексу:

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*                                                                                                                                                                                                                                                 Disallow: /page/

Host: адрес вашего сайта (dengi-iz-ineta.ru)

Sitemap: http://ВАШСАЙТ/sitemap.xml.gz
Sitemap: http://ВАШСАЙТ/sitemap.xml

 Вместо /Ваш Сайт/ вам необходимо вписать адрес вашего сайта. Если у вас ещё нет этого важного файла, вы можете скопировать его с моей страницы. Создайте текстовый документ и вставьте туда то что скопировали. Важно чтобы этот файл был создан правильно — Без ошибок. Проверьте всё хорошенько. Сохраните файл под именем robots.txt

Update: Друзья, к сожалению информация в этой статье устарела и содержимое этого файла robots.txt вредно для продвижения. Вот в этой статье я рассказываю о новой, корректной, правильной версии этого важного файла для наших с вами блогов.

А сейчас я расскажу куда нужно поместить этот файл. Его необходимо загрузить на ваш хостинг (для этого нужно подключиться по Ftp), в корень вашего блога, в папку/public_html/. Кому всё-таки не понятно куда и как загрузить этот файл — спрашивайте в комментариях. Отвечу всем.

Друзья, а у кого другой файл robots.txt? Давайте обсудим это в комментариях…

Понравилась статья? Тогда подпишитесь на обновления сайта,чтобы не пропустить свежие статьи…

С уважением, Алекс Fomik…


Понравилась статья - поделись с друзьями!



Просмотр

Подпишитесь на обновления блога по почте :

Количество читателей блога


К записи "Как создать файл robots.txt" 55 комментариев Самый активный комментатор в конце месяца получает денежный приз.

  1. Анастасия:

    Стыд и позор «опытному блогеру» мне :)))) Файла такого до сих пор не сделала… =)

    [Ответить]

    Алексей Фомицкий Reply:

    Да ладно тебе убиваться))) Сделай обязательно этот файл.Я по Стартапу писал статью как ты догадываешься)

    [Ответить]

    Анастасия Reply:

    хм, я вот недавно заглядывала на гугл.вебмастер — там вроде был этот файл. Он автоматически случайно не создается?

    [Ответить]

    Алексей Фомицкий Reply:

    Да нет,его самому нужно делать…

    [Ответить]

    Анастасия Reply:

    хм.. что ж тогда интересно гугл у меня нашел. оО Надо будет проверить это дело 🙂

    [Ответить]

    Андрей Reply:

    Как сделаете, расскажите что у Вас получилось…
    И есть лди разница в работе…

    [Ответить]

    Анастасия Reply:

    Договорились. Завтра может попробую…. Хотя результаты, наверно, будут не сразу. Но я расскажу 🙂

    [Ответить]

  2. Андрей:

    Так вот для чего нужен этот файл robots.txt!?
    А я и не знал….
    Спасибо за информацию, оказалась очень полезной…

    [Ответить]

  3. Сергей Куприянов:

    Алексей, к моему огромному сожалению,
    вы не разобрались в тонкостях написания
    директив для файла robots.txt…
    И даже не читали инструкции Яндекса по составлению директив —
    это видно по тексту статьи… *CRAZY*
    Шаблон файла robots.txt хоть и от школы,
    но совершенно некорректен… и вреден…
    ==========
    Например, поясните мне две директивы:
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Эти директивы закрывают от индексации ваши страницы
    для входа в админку (где логин и пароль)…
    В чём смысл этих директив?
    Или, например, зачем закрывать от индексации
    папки с плагинами? Это абсурд!
    =========
    Если есть интерес по составлению своего актуального
    файла robots.txt, то милости прошу ко мне на блог,
    в свежих записях найдёте соответствующую статью
    (ссылку не даю…)

    [Ответить]

    Андрей Reply:

    Пройдёмся и на Ваш блог, почитаем…
    Ведь много знаний не бывает…

    [Ответить]

    Алексей Фомицкий Reply:

    Не знаю Сергей,так его давали в школе стартап…

    [Ответить]

    Андрей Reply:

    Так вы оставите школу без абитуриентов.
    расскажите на своём сайте все чему они учат.

    [Ответить]

    Анастасия Reply:

    Сергей, Вы знаете, закрывать эти страницы и папки рекомендуют многие опытные блоггеры-сеошники. Пока у меня не было причин усомниться в их знаниях (о Вас, к сожалению, вот здесь вот впервые услышала-увидела). Они объясняют это тем, кстати, что страницы эти никакой пользы и дополнительной информации о сайте не несут, а посему, их можно закрывать от индексации.
    Вы только раскритиковали шаблон и предложили свой в качестве пилюли. Но даже не потрудились аргументировать свое обвинение во «вредности» данного шаблона файла роботс (что я бы, например, с интересом послушала, ведь, возможно, я тоже ошибаюсь — на пару с теми сеошниками, на которых я опираюсь).

    [Ответить]

  4. Анастасия:

    Порылась я, порылась и обнаружила, что в корневой папке нету таки у меня файла роботс.тикст. Однако же умный гугл то ли сам его себе сделал, то ли что…. Но в инструментах вебмастера я спокойно его обнаружила, и даже почитала, что там у робота с этим файлом все окей… Оо я в недоумении. Буду сейчас создавать свой и загружать его в корень, посмотрим, что изменится =)

    [Ответить]

    Алексей Фомицкий Reply:

    Не зная Настя,но в стартап показывали всю эту кухню-как создавать и куда его ложить…А про гугл не знаю,как это он сам сделал его))

    [Ответить]

    Анастасия Reply:

    Сам-сам.. правда всего из пяти строк. Не знаю как =) Загрузила свой файл, теперь буду ждать результатов и изменений 🙂

    [Ответить]

  5. Анастасия:

    А еще вот в школе Тринити (куда я заглядываю периодически за полезной инфой), говорят, что «Поисковой системе Google данный файл не нужен. Ей достаточно найти на сайте sitemap.xml» …. Всё чудесатее и чудесатее, как говорила Алиса..

    [Ответить]

    Андрей Reply:

    Наверное, они взаимозаменяемы…
    А может Гуглу достаточно своего sitemap?
    😉

    [Ответить]

    Анастасия Reply:

    Скорей всего, именно так все и обстоит. За сегодня уже раза три наткнулась на то, что этот файл нужен больше всего яндексу… Гугл видимо доволен картой сайта =)

    [Ответить]

    Алексей Фомицкий Reply:

    ,,Каждый врач лечит по своему,,)))

    [Ответить]

    Анастасия Reply:

    Да. наверно. 🙂 Хотя я сегодня еще где-то уже слышала это — что для Яндекса нужнее такой файл. Ну там видно будет. =) Буду отмечать теперь все изменения, какие будут после загрузки файла =)

    [Ответить]

  6. Андрей:

    недавно «наткнулся» на аналог robots.txt — Sitemap это тоже самое или что-то другое?

    [Ответить]

    Алексей Фомицкий Reply:

    Андрей, вообще-то Sitemap-это карта сайта, а робот-это файл, который запрещает индексацию дублей страниц, чтобы блог не угодил под фильтр Агс…

    [Ответить]

  7. Андрей:

    Поставил себе сайтмап. Очень полезная вещь, даже в плане использования. Можно зайти и перейти на любую интересующую статью\раздел сайта.

    [Ответить]

    Алексей Фомицкий Reply:

    Так это плагин такой или что? Какая его функция?

    [Ответить]

    Андрей Reply:

    Да это был такой плагин (но его, вероятно, можно и без плагина сделать)…

    [Ответить]

  8. WPixel.ru:

    а есть еще файл human.txt, будет статья на эту тему?

    [Ответить]

    Алексей Фомицкий Reply:

    Не слышал ещё о таком файле.Что он делает?

    [Ответить]

    WPixel Reply:

    Файл humans.txt – это аналог robots.txt, но, как можно догадаться по названию, он создается для людей. В файле humans.txt размещается информация о разработчиках сайта, это может пригодится для того, чтобы доказать свое авторство, демонстрируя работу в портфолио (в том случае, если клиент не хочет ставить копирайт в подвале). В основном он работает в поисковой выдаче Гугла -как у Яндекса с фавиконами

    [Ответить]

    Андрей Reply:

    Совершенно ничего не понял, для чего нужен этот файл.
    Для каких портфолио?

    [Ответить]

    WPixel Reply:

    Для поисковой выдачи в гугле.

    [Ответить]

    Андрей Reply:

    То есть для поисковой выдаче конкретному человеку или кому угодно?

    [Ответить]

  9. WPixel:

    вообще то для всех.

    [Ответить]

  10. Григорий:

    Так я так и не понял — как правильно robots.txt или robot.txt ?

    [Ответить]

    Алекс Fomik Reply:

    Да, действительно. Правильно — robots.txt )))
    Григорий, вы не представляете как я был удивлён, когда посмотрел правильное название этого файла у себя на хостинге. Блогу уже больше полугода, этой статье чуть меньше, а про эту ошибку в статье (не на хосте) мне никто не указывал. Спасибо за вашу внимательность. Всё исправлю и в чужих комментах тоже…

    [Ответить]

  11. Наташа:

    а я что-то не нахожу у себя такой папки (

    [Ответить]

    Алекс Fomik Reply:

    Наташа, это не папка, это отдельный файл, который нужно самому создать и закачать на хостинг…

    [Ответить]

    Наташа Reply:

    в папку/public_html/ — вот этой папки я у себя не вижу, куда надо поместить файл. Может как-то по другому называется?

    [Ответить]

    Алекс Fomik Reply:

    Тогда вам нужно узнать у вашего хостинга, какая вместо этой у вас папка… Напишите в поддержку.

    [Ответить]

    Любовь Reply:

    Техническая поддержка не консультирует по вопросам разработки сайтов — Вот ответ техподдержки

    [Ответить]

    Алекс Fomik Reply:

    Люба, а какой у вас хостинг? У меня на спринхосте есть круглосуточный онлайн-чат, очень удобно. Странно, что они не могут ответить на такой простой вопрос. Тогда вам нужно самой зайти в админ-панель на вашем хостинге и посмотреть что за папки у вас там есть…

    [Ответить]

    Любовь Reply:

    Wp-admin
    Wp-content
    Wp-includes
    такие вот папочки

    [Ответить]

    WPixel Reply:

    Это папки WordPres, вам надо корневую папку смотреть — ту где эти папки лежат

    [Ответить]

    WPixel Reply:

    А по фтп посмотреть папку? Если нет /public_html/ то она может просто WWW называться.

    [Ответить]

  12. Любовь:

    А я даже без внимания, что запятая. Спасибо, что поправили. А это мое настоящее имя

    [Ответить]

    Алекс Fomik Reply:

    Да, я уже посмотрел у вас на сайте ваше настоящее имя) Шифруетесь иногда?)))

    [Ответить]

  13. Александр:

    Всем добрый день
    У меня такая проблема подскажите как и куда ложить если я не могу найти корень на своем сайте?

    [Ответить]

    Алекс Fomik Reply:

    Саш, на укозе я не знаю где находится корневой каталог… Поспрашивайте у владельцев таких же сайтов.

    [Ответить]

    WPixel Reply:

    а разве на укозе сделали доступ к файловой системе? там даже фтп нет. а robots.txt там автомвтом создается помоему, покрайней мере так раньше было

    [Ответить]

    Алекс Fomik Reply:

    Привет Ден! Сколько лет, сколько зим! Давно не захаживал) А вот про укоз совсем не знаю…
    В мини-конкурсе моём не хочешь поучаствовать?

    [Ответить]

    WPixel Reply:

    Смотрю у тебя затишье на блоге как и у меня 🙂 , лето видать наступило. про конкурс смотрел, поучаствовать можно.

    [Ответить]

  14. Vlad:

    Привет!Это стандарт robots ?А остальное потом можно добавлять по ходу!

    [Ответить]

    Алекс Fomik Reply:

    Да. Не можно, а нужно…

    [Ответить]

  15. Алексей:

    Не совсем понял. У вас два текста (один универсальный, другой для yandex’a), а файл robots.txt как я понял должен быть один. Какой текст взять для файла?

    [Ответить]

    Алекс Fomik Reply:

    Леш, в этом файле находится инфа для поисковиков и отдельно для Яши… Он ведь у нас — особенный)))

    [Ответить]

Оставить свой комментарий