PMR.SU - Идеи feedback Как сделать файл robots.txt и его синтаксис. - Форум ПМР, форум Приднестровья. Онлайн новости ПМР. Тирасполь, Бендеры, Рыбница, Дубоссары, Каменка.



Вернуться   Форум ПМР, форум Приднестровья. Онлайн новости ПМР. Тирасполь, Бендеры, Рыбница, Дубоссары, Каменка. > Интернет, сайтостроение, SEO, ПС > Поисковые системы и SEO > SEO


SEO Вопросы по раскрутке сайтов: покупка ссылок, обмен статьями, регистрация в каталогах и подобное

Ответ
LinkBack Опции темы

Как сделать файл robots.txt и его синтаксис.
Старый 17.12.2008, 15:25
  #1 (Постоянная ссылка на сообщение)
Форум ПМР
 
Аватар для Admin™
 
Admin™ вне форума
Регистрация: 06.07.2008
Адрес: Тирасполь
Возраст: 33
Сообщений: 3,081
Сказал(а) спасибо: 349
Поблагодарили 389 раз(а) в 265 сообщениях
Репутация: 298
Admin™ скоро придёт к известностиAdmin™ скоро придёт к известностиAdmin™ скоро придёт к известности
Информация Как сделать файл robots.txt и его синтаксис.

Начну с того что все поисковые системы при заходе на сайт в первую очередь ищут файл robots.txt. Поэтому нужно обязательно его создавать.

Итак что же это за файл такой и зачем он вообще нужен?
Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т.д.

Создание robots.txt
Чтобы создать файл robotx.txt, нужен простой текстовый файл. Если вы не собираетесь создавать запреты к индексации, нужно сделать файл robots.txt следующего содержания:

Код:
User-agent: *
Disallow:
Этот файл разрешит всем ПС индексировать весь сайт

Первая строка говорит о том что этот файл предназначет для роботов любой ПС;
Вторая строка, что все файлы и папки можно индексировать.

Где размещать файл robots.txt

Робот просто запрашивает на вашем сайте URL «/robots.txt», сайт в данном случае – это определенный хост на определенном порту.

На сайте может быть только один файл «/robots.txt». Например, не следует помещать файл robots.txt в пользовательские поддиректории – все равно роботы не будут их там искать.
Не забывайте, что URL-ы чувствительны к регистру, и название файла «/robots.txt» должно быть написано полностью в нижнем регистре.

Неправильное расположение robots.txt
_http://www.pmr.su/admin/robots.txt Файл находится не в корне сайта
_http://www.pmr.su/~timbl/robots.txt Файл находится не в корне сайта
_ftp://ftp.pmr.su/robots.txt Роботы не индексируют ftp
_http://www.pmr.su/Robots.txt Название файла не в нижнем регистре

Как видите, файл robots.txt нужно класть исключительно в корень сайта.

Разбираем дальше:

Для того чтобы запретить ботам индексировать какую-либо папку нужно указать
Disallow: и тут название папки

Например:
Код:
User-agent: *
Disallow: /admin/
Каждую новую папку нужно писать с новой строки.
Например:
Код:
User-agent: *
Disallow: /admin/
Disallow: /tmp/
Disallow: /files/
Запретить индексацию сайта только для одного робота

Код:
User-agent: BadBot
Disallow: /
Разрешить индексацию сайта одному роботу и запретить всем остальным

Код:
User-agent: Yandex
Disallow:

User-agent: *
Disallow: /
Запретить к индексации все файлы кроме одного

Это довольно непросто, т.к. не существует инструкции “Allow”. Вместо этого можно переместить все файлы кроме того, который вы хотите разрешить к индексации в поддиректорию и запретить ее индексацию:

Код:
User-agent: *
Disallow: /documents/
Либо вы можете запретить все запрещенные к индексации файлы:

Код:
User-agent: *
Disallow: /cool.html
Disallow: /bad.html
Disallow: /private.html

Если есть вопросы спрашивайте! Может вам надо показать какой-нибудь конкретный пример.
__________________
подпись

Когда тебе больно и плохо, именно тогда ты видишь кому ты нужен и кто любит тебя.
  Ответить с цитированием

Ответ: Как сделать файл robots.txt и его синтаксис.
Старый 22.12.2008, 12:49
  #2 (Постоянная ссылка на сообщение)
Долгожитель
 
Petata вне форума
Регистрация: 10.11.2008
Адрес: Московская область
Сообщений: 106
Сказал(а) спасибо: 0
Поблагодарили 1 раз в 1 сообщении
Репутация: 6
Petata пока ещё рано говорить
По умолчанию Ответ: Как сделать файл robots.txt и его синтаксис.

Объясните. пожалуйста, непонятливой: так куда же robot.txt вставлять? Я читала, что для этих же целей надо в каждую страничку вставлять мета - теги. Это не одно и то же?
  Ответить с цитированием

Ответ: Как сделать файл robots.txt и его синтаксис.
Старый 04.01.2009, 15:13
  #3 (Постоянная ссылка на сообщение)
Модератор©
 
Аватар для Maximal
 
Maximal вне форума
Регистрация: 04.01.2009
Адрес: Бендеры
Возраст: 40
Сообщений: 2,342
Сказал(а) спасибо: 265
Поблагодарили 166 раз(а) в 138 сообщениях
Репутация: 300
Maximal скоро придёт к известностиMaximal скоро придёт к известностиMaximal скоро придёт к известностиMaximal скоро придёт к известности
По умолчанию Ответ: Как сделать файл robots.txt и его синтаксис.

Цитата:
Сообщение от Petata Посмотреть сообщение
Объясните. пожалуйста, непонятливой: так куда же robot.txt вставлять? Я читала, что для этих же целей надо в каждую страничку вставлять мета - теги. Это не одно и то же?
нужно вставлять в корень сайта (папка, куда заливаете сайт)
сейчас, в принципе, практически все пользуются "robots.txt", мета тэги ушли в прошлое
это одно и то же
почитайте советы Яндекса - Использование robots.txt
__________________
вебмастера тут есть?
[Ссылки могут видеть только зарегистрированные пользователи. ] - новости, фотогалерея, объявления
  Ответить с цитированием

Ответ: Как сделать файл robots.txt и его синтаксис.
Старый 04.01.2009, 15:52
  #4 (Постоянная ссылка на сообщение)
Форум ПМР
 
Аватар для Admin™
 
Admin™ вне форума
Регистрация: 06.07.2008
Адрес: Тирасполь
Возраст: 33
Сообщений: 3,081
Сказал(а) спасибо: 349
Поблагодарили 389 раз(а) в 265 сообщениях
Репутация: 298
Admin™ скоро придёт к известностиAdmin™ скоро придёт к известностиAdmin™ скоро придёт к известности
По умолчанию Ответ: Как сделать файл robots.txt и его синтаксис.

Petata, что-то упустил я Ваше сообщение.
как Maximal уже написал надо в корень, а мета теги для роботов можете забыть, они уже их игнорируют.

Цитата:
почитайте советы Яндекса - Использование robots.txt
ХМ интересно отстал я уже немного, ведь раньше не было Allow, теперь смотрю уже появилось
__________________
подпись

Когда тебе больно и плохо, именно тогда ты видишь кому ты нужен и кто любит тебя.
  Ответить с цитированием

Ответ: Как сделать файл robots.txt и его синтаксис.
Старый 19.02.2009, 01:01
  #5 (Постоянная ссылка на сообщение)
Заглянувший
 
Аватар для vechnyi
 
vechnyi вне форума
Регистрация: 01.11.2008
Сообщений: 3
Сказал(а) спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Репутация: 0
vechnyi пока ещё рано говорить
По умолчанию Ответ: Как сделать файл robots.txt и его синтаксис.

чтоб сайт быстрее проиндексился создавайте карту сайта в формате .xml и прописывайте её в robots.txt !
  Ответить с цитированием

Ответ: Как сделать файл robots.txt и его синтаксис.
Старый 19.02.2009, 01:14
  #6 (Постоянная ссылка на сообщение)
Форум ПМР
 
Аватар для Admin™
 
Admin™ вне форума
Регистрация: 06.07.2008
Адрес: Тирасполь
Возраст: 33
Сообщений: 3,081
Сказал(а) спасибо: 349
Поблагодарили 389 раз(а) в 265 сообщениях
Репутация: 298
Admin™ скоро придёт к известностиAdmin™ скоро придёт к известностиAdmin™ скоро придёт к известности
По умолчанию Ответ: Как сделать файл robots.txt и его синтаксис.

Куда в роботс карту засовывать? в Allow что ли?
Вообще ссылки на главной странице на карту вполне достаточно, а в гугле еще проще в панельке указал где карта и все)))
__________________
подпись

Когда тебе больно и плохо, именно тогда ты видишь кому ты нужен и кто любит тебя.
  Ответить с цитированием

Ответ: Как сделать файл robots.txt и его синтаксис.
Старый 19.02.2009, 11:18
  #7 (Постоянная ссылка на сообщение)
Модератор©
 
Аватар для Maximal
 
Maximal вне форума
Регистрация: 04.01.2009
Адрес: Бендеры
Возраст: 40
Сообщений: 2,342
Сказал(а) спасибо: 265
Поблагодарили 166 раз(а) в 138 сообщениях
Репутация: 300
Maximal скоро придёт к известностиMaximal скоро придёт к известностиMaximal скоро придёт к известностиMaximal скоро придёт к известности
По умолчанию Ответ: Как сделать файл robots.txt и его синтаксис.

Цитата:
Сообщение от Admin™ Посмотреть сообщение
Куда в роботс карту засовывать? в Allow что ли?
я же дал ссылку смотри Директива Sitemap.

Цитата:
Сообщение от Admin™ Посмотреть сообщение
Вообще ссылки на главной странице на карту вполне достаточно, а в гугле еще проще в панельке указал где карта и все)))
неа
если сайт большой, то лучше написать в роботс
__________________
вебмастера тут есть?
[Ссылки могут видеть только зарегистрированные пользователи. ] - новости, фотогалерея, объявления
  Ответить с цитированием

Ответ: Как сделать файл robots.txt и его синтаксис.
Старый 19.02.2009, 12:20
  #8 (Постоянная ссылка на сообщение)
Форум ПМР
 
Аватар для Admin™
 
Admin™ вне форума
Регистрация: 06.07.2008
Адрес: Тирасполь
Возраст: 33
Сообщений: 3,081
Сказал(а) спасибо: 349
Поблагодарили 389 раз(а) в 265 сообщениях
Репутация: 298
Admin™ скоро придёт к известностиAdmin™ скоро придёт к известностиAdmin™ скоро придёт к известности
По умолчанию Ответ: Как сделать файл robots.txt и его синтаксис.

Цитата:
Сообщение от Maximal Посмотреть сообщение
я же дал ссылку смотри Директива Sitemap.
ага увидел
Блин я совсем давно читал, все так изменилось надо снова с ноля все перечитать)))
__________________
подпись

Когда тебе больно и плохо, именно тогда ты видишь кому ты нужен и кто любит тебя.
  Ответить с цитированием

Ответ: Как сделать файл robots.txt и его синтаксис.
Старый 19.02.2009, 13:04
  #9 (Постоянная ссылка на сообщение)
Модератор©
 
Аватар для Maximal
 
Maximal вне форума
Регистрация: 04.01.2009
Адрес: Бендеры
Возраст: 40
Сообщений: 2,342
Сказал(а) спасибо: 265
Поблагодарили 166 раз(а) в 138 сообщениях
Репутация: 300
Maximal скоро придёт к известностиMaximal скоро придёт к известностиMaximal скоро придёт к известностиMaximal скоро придёт к известности
По умолчанию Ответ: Как сделать файл robots.txt и его синтаксис.

Цитата:
Сообщение от Admin™ Посмотреть сообщение
надо снова с ноля все перечитать)))
ну так заучивать же не надо...
прочитал, сделал, забыл
__________________
вебмастера тут есть?
[Ссылки могут видеть только зарегистрированные пользователи. ] - новости, фотогалерея, объявления
  Ответить с цитированием
Ответ

Метки
robots.txt

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.
Trackbacks are Вкл.
Pingbacks are Вкл.
Refbacks are Вкл.




Часовой пояс GMT +3, время: 18:45.

Яндекс.Метрика Рейтинг@Mail.ru Rambler's Top100
Время генерации страницы 0.13182 секунды с 12 запросами