Как создать файл robots.txt
Здравствуйте читатели Seo bloga Fomika! Сегодня поговорим об очень важном файле для вашего блога (сайта) — robots.txt
Что же такого важного делает этот файл и зачем он нам нужен? Необходимо отметить что этот файл создаётся только на платформе WordPress.
Как создать файл robots.txt? Зачем он нам нужен?
Сразу отвечу на этот вопрос : этот файл исключает дублирование вашего контента (содержимое блога). Дело в том что когда вы опубликовываете новую статью, он появляется и на главной странице и в рубриках и в архивах. Это не очень хороший момент в отношении оценки вашего сайта поисковыми системами.
Когда поисковик зайдёт на ваш сайт (блог) и обнаружит у вас дублирование статей он скорее всего наложит на ваш сайт очень плохой фильтр — фильтр АГС (анти-говно-сайт), из под которого очень тяжело выйти. Это Яндексовский фильтр. У Гугла другие фильтры.
Так вот этот наш замечательный файл robots.txt «склеивает» эти самые статьи, чтобы поисковик видел наш контент уникальным. Этот файл запрещает индексацию тех разделов блога, на которые создаются дубли страниц, из-за определённой особенности нашего с вами любимого движка WordPress. Ну а уникальность статей — это жирный плюс вашему сайту.
Создание файла robots.txt
Мой блог предназначен исключительно для новичков блогинга, поэтому я не буду рассказывать вам о правилах написания дирректив, в которых новичок всё равно ничего не поймёт. Скажу лишь основное : в этом файле будет одна единственная дирректива — Disallow, — переводится, как запретить индексацию. Вот этой самой диррективой мы и будем запрещать поисковикам индексацию отдельных разделов вашего блога. И сделаем специальный файл, который будет запрещать индексацию конкретно Яндексу.
Вот как выглядят эти файлы:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?* Disallow: /page/
А вот этот файл будет запрещать индексировать различные разделы вашего блога конкретно Яндексу:
User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?* Disallow: /page/
Host: адрес вашего сайта (dengi-iz-ineta.ru)
Sitemap: http://ВАШСАЙТ/sitemap.xml.gz
Sitemap: http://ВАШСАЙТ/sitemap.xml
Вместо /Ваш Сайт/ вам необходимо вписать адрес вашего сайта. Если у вас ещё нет этого важного файла, вы можете скопировать его с моей страницы. Создайте текстовый документ и вставьте туда то что скопировали. Важно чтобы этот файл был создан правильно — Без ошибок. Проверьте всё хорошенько. Сохраните файл под именем robots.txt
Update: Друзья, к сожалению информация в этой статье устарела и содержимое этого файла robots.txt вредно для продвижения. Вот в этой статье я рассказываю о новой, корректной, правильной версии этого важного файла для наших с вами блогов.
А сейчас я расскажу куда нужно поместить этот файл. Его необходимо загрузить на ваш хостинг (для этого нужно подключиться по Ftp), в корень вашего блога, в папку/public_html/. Кому всё-таки не понятно куда и как загрузить этот файл — спрашивайте в комментариях. Отвечу всем.
Друзья, а у кого другой файл robots.txt? Давайте обсудим это в комментариях…
Понравилась статья? Тогда подпишитесь на обновления сайта,чтобы не пропустить свежие статьи…
С уважением, Алекс Fomik…
Стыд и позор «опытному блогеру» мне :)))) Файла такого до сих пор не сделала… =)
[Ответить]
Алексей Фомицкий Reply:
Май 7th, 2012 at 10:03 пп
Да ладно тебе убиваться))) Сделай обязательно этот файл.Я по Стартапу писал статью как ты догадываешься)
[Ответить]
Анастасия Reply:
Май 15th, 2012 at 6:13 пп
хм, я вот недавно заглядывала на гугл.вебмастер — там вроде был этот файл. Он автоматически случайно не создается?
[Ответить]
Алексей Фомицкий Reply:
Май 15th, 2012 at 8:05 пп
Да нет,его самому нужно делать…
[Ответить]
Анастасия Reply:
Май 15th, 2012 at 8:31 пп
хм.. что ж тогда интересно гугл у меня нашел. оО Надо будет проверить это дело 🙂
[Ответить]
Андрей Reply:
Май 15th, 2012 at 9:47 пп
Как сделаете, расскажите что у Вас получилось…
И есть лди разница в работе…
[Ответить]
Анастасия Reply:
Май 15th, 2012 at 10:14 пп
Договорились. Завтра может попробую…. Хотя результаты, наверно, будут не сразу. Но я расскажу 🙂
[Ответить]
Так вот для чего нужен этот файл robots.txt!?
А я и не знал….
Спасибо за информацию, оказалась очень полезной…
[Ответить]
Алексей, к моему огромному сожалению,
вы не разобрались в тонкостях написания
директив для файла robots.txt…
И даже не читали инструкции Яндекса по составлению директив —
это видно по тексту статьи… *CRAZY*
Шаблон файла robots.txt хоть и от школы,
но совершенно некорректен… и вреден…
==========
Например, поясните мне две директивы:
Disallow: /wp-login.php
Disallow: /wp-register.php
Эти директивы закрывают от индексации ваши страницы
для входа в админку (где логин и пароль)…
В чём смысл этих директив?
Или, например, зачем закрывать от индексации
папки с плагинами? Это абсурд!
=========
Если есть интерес по составлению своего актуального
файла robots.txt, то милости прошу ко мне на блог,
в свежих записях найдёте соответствующую статью
(ссылку не даю…)
[Ответить]
Андрей Reply:
Май 16th, 2012 at 9:34 пп
Пройдёмся и на Ваш блог, почитаем…
Ведь много знаний не бывает…
[Ответить]
Алексей Фомицкий Reply:
Май 16th, 2012 at 9:43 пп
Не знаю Сергей,так его давали в школе стартап…
[Ответить]
Андрей Reply:
Сентябрь 26th, 2012 at 10:45 пп
Так вы оставите школу без абитуриентов.
расскажите на своём сайте все чему они учат.
[Ответить]
Анастасия Reply:
Май 24th, 2012 at 3:34 пп
Сергей, Вы знаете, закрывать эти страницы и папки рекомендуют многие опытные блоггеры-сеошники. Пока у меня не было причин усомниться в их знаниях (о Вас, к сожалению, вот здесь вот впервые услышала-увидела). Они объясняют это тем, кстати, что страницы эти никакой пользы и дополнительной информации о сайте не несут, а посему, их можно закрывать от индексации.
Вы только раскритиковали шаблон и предложили свой в качестве пилюли. Но даже не потрудились аргументировать свое обвинение во «вредности» данного шаблона файла роботс (что я бы, например, с интересом послушала, ведь, возможно, я тоже ошибаюсь — на пару с теми сеошниками, на которых я опираюсь).
[Ответить]
Порылась я, порылась и обнаружила, что в корневой папке нету таки у меня файла роботс.тикст. Однако же умный гугл то ли сам его себе сделал, то ли что…. Но в инструментах вебмастера я спокойно его обнаружила, и даже почитала, что там у робота с этим файлом все окей… Оо я в недоумении. Буду сейчас создавать свой и загружать его в корень, посмотрим, что изменится =)
[Ответить]
Алексей Фомицкий Reply:
Май 24th, 2012 at 9:20 пп
Не зная Настя,но в стартап показывали всю эту кухню-как создавать и куда его ложить…А про гугл не знаю,как это он сам сделал его))
[Ответить]
Анастасия Reply:
Май 24th, 2012 at 9:48 пп
Сам-сам.. правда всего из пяти строк. Не знаю как =) Загрузила свой файл, теперь буду ждать результатов и изменений 🙂
[Ответить]
А еще вот в школе Тринити (куда я заглядываю периодически за полезной инфой), говорят, что «Поисковой системе Google данный файл не нужен. Ей достаточно найти на сайте sitemap.xml» …. Всё чудесатее и чудесатее, как говорила Алиса..
[Ответить]
Андрей Reply:
Май 24th, 2012 at 2:59 пп
Наверное, они взаимозаменяемы…
А может Гуглу достаточно своего sitemap?
😉
[Ответить]
Анастасия Reply:
Май 24th, 2012 at 3:28 пп
Скорей всего, именно так все и обстоит. За сегодня уже раза три наткнулась на то, что этот файл нужен больше всего яндексу… Гугл видимо доволен картой сайта =)
[Ответить]
Алексей Фомицкий Reply:
Май 24th, 2012 at 9:22 пп
,,Каждый врач лечит по своему,,)))
[Ответить]
Анастасия Reply:
Май 24th, 2012 at 9:49 пп
Да. наверно. 🙂 Хотя я сегодня еще где-то уже слышала это — что для Яндекса нужнее такой файл. Ну там видно будет. =) Буду отмечать теперь все изменения, какие будут после загрузки файла =)
[Ответить]
недавно «наткнулся» на аналог robots.txt — Sitemap это тоже самое или что-то другое?
[Ответить]
Алексей Фомицкий Reply:
Июнь 29th, 2012 at 9:22 пп
Андрей, вообще-то Sitemap-это карта сайта, а робот-это файл, который запрещает индексацию дублей страниц, чтобы блог не угодил под фильтр Агс…
[Ответить]
Поставил себе сайтмап. Очень полезная вещь, даже в плане использования. Можно зайти и перейти на любую интересующую статью\раздел сайта.
[Ответить]
Алексей Фомицкий Reply:
Июнь 30th, 2012 at 10:04 пп
Так это плагин такой или что? Какая его функция?
[Ответить]
Андрей Reply:
Июль 2nd, 2012 at 7:51 пп
Да это был такой плагин (но его, вероятно, можно и без плагина сделать)…
[Ответить]
а есть еще файл human.txt, будет статья на эту тему?
[Ответить]
Алексей Фомицкий Reply:
Июль 2nd, 2012 at 6:24 пп
Не слышал ещё о таком файле.Что он делает?
[Ответить]
WPixel Reply:
Июль 3rd, 2012 at 10:21 дп
Файл humans.txt – это аналог robots.txt, но, как можно догадаться по названию, он создается для людей. В файле humans.txt размещается информация о разработчиках сайта, это может пригодится для того, чтобы доказать свое авторство, демонстрируя работу в портфолио (в том случае, если клиент не хочет ставить копирайт в подвале). В основном он работает в поисковой выдаче Гугла -как у Яндекса с фавиконами
[Ответить]
Андрей Reply:
Сентябрь 21st, 2012 at 7:11 пп
Совершенно ничего не понял, для чего нужен этот файл.
Для каких портфолио?
[Ответить]
WPixel Reply:
Сентябрь 21st, 2012 at 10:14 пп
Для поисковой выдачи в гугле.
[Ответить]
Андрей Reply:
Сентябрь 26th, 2012 at 10:42 пп
То есть для поисковой выдаче конкретному человеку или кому угодно?
[Ответить]
вообще то для всех.
[Ответить]
Так я так и не понял — как правильно robots.txt или robot.txt ?
[Ответить]
Алекс Fomik Reply:
Октябрь 19th, 2012 at 12:15 дп
Да, действительно. Правильно — robots.txt )))
Григорий, вы не представляете как я был удивлён, когда посмотрел правильное название этого файла у себя на хостинге. Блогу уже больше полугода, этой статье чуть меньше, а про эту ошибку в статье (не на хосте) мне никто не указывал. Спасибо за вашу внимательность. Всё исправлю и в чужих комментах тоже…
[Ответить]
а я что-то не нахожу у себя такой папки (
[Ответить]
Алекс Fomik Reply:
Февраль 2nd, 2013 at 9:28 пп
Наташа, это не папка, это отдельный файл, который нужно самому создать и закачать на хостинг…
[Ответить]
Наташа Reply:
Февраль 3rd, 2013 at 2:43 пп
в папку/public_html/ — вот этой папки я у себя не вижу, куда надо поместить файл. Может как-то по другому называется?
[Ответить]
Алекс Fomik Reply:
Февраль 3rd, 2013 at 5:30 пп
Тогда вам нужно узнать у вашего хостинга, какая вместо этой у вас папка… Напишите в поддержку.
[Ответить]
Любовь Reply:
Февраль 3rd, 2013 at 10:55 пп
Техническая поддержка не консультирует по вопросам разработки сайтов — Вот ответ техподдержки
[Ответить]
Алекс Fomik Reply:
Февраль 3rd, 2013 at 10:59 пп
Люба, а какой у вас хостинг? У меня на спринхосте есть круглосуточный онлайн-чат, очень удобно. Странно, что они не могут ответить на такой простой вопрос. Тогда вам нужно самой зайти в админ-панель на вашем хостинге и посмотреть что за папки у вас там есть…
[Ответить]
Любовь Reply:
Февраль 4th, 2013 at 12:27 пп
Wp-admin
Wp-content
Wp-includes
такие вот папочки
[Ответить]
WPixel Reply:
Февраль 4th, 2013 at 10:42 пп
Это папки WordPres, вам надо корневую папку смотреть — ту где эти папки лежат
[Ответить]
WPixel Reply:
Февраль 3rd, 2013 at 5:33 пп
А по фтп посмотреть папку? Если нет /public_html/ то она может просто WWW называться.
[Ответить]
А я даже без внимания, что запятая. Спасибо, что поправили. А это мое настоящее имя
[Ответить]
Алекс Fomik Reply:
Февраль 3rd, 2013 at 8:15 пп
Да, я уже посмотрел у вас на сайте ваше настоящее имя) Шифруетесь иногда?)))
[Ответить]
Всем добрый день
У меня такая проблема подскажите как и куда ложить если я не могу найти корень на своем сайте?
[Ответить]
Алекс Fomik Reply:
Июнь 5th, 2013 at 8:38 пп
Саш, на укозе я не знаю где находится корневой каталог… Поспрашивайте у владельцев таких же сайтов.
[Ответить]
WPixel Reply:
Июнь 5th, 2013 at 8:52 пп
а разве на укозе сделали доступ к файловой системе? там даже фтп нет. а robots.txt там автомвтом создается помоему, покрайней мере так раньше было
[Ответить]
Алекс Fomik Reply:
Июнь 5th, 2013 at 10:21 пп
Привет Ден! Сколько лет, сколько зим! Давно не захаживал) А вот про укоз совсем не знаю…
В мини-конкурсе моём не хочешь поучаствовать?
[Ответить]
WPixel Reply:
Июнь 6th, 2013 at 12:22 дп
Смотрю у тебя затишье на блоге как и у меня 🙂 , лето видать наступило. про конкурс смотрел, поучаствовать можно.
[Ответить]
Привет!Это стандарт robots ?А остальное потом можно добавлять по ходу!
[Ответить]
Алекс Fomik Reply:
Октябрь 19th, 2013 at 1:42 дп
Да. Не можно, а нужно…
[Ответить]
Не совсем понял. У вас два текста (один универсальный, другой для yandex’a), а файл robots.txt как я понял должен быть один. Какой текст взять для файла?
[Ответить]
Алекс Fomik Reply:
Апрель 12th, 2014 at 3:32 пп
Леш, в этом файле находится инфа для поисковиков и отдельно для Яши… Он ведь у нас — особенный)))
[Ответить]