Запрет на индексирование в robots txt. Какие страницы закрывать от индексации и как

07.05.2019

Большинство роботов хорошо спроектированы и не создают каких-либо проблем для владельцев сайтов. Но если бот написан дилетантом или «что-то пошло не так», то он может создавать существенную нагрузку на сайт, который он обходит. Кстати, пауки вовсе на заходят на сервер подобно вирусам — они просто запрашивают нужные им страницы удаленно (по сути это аналоги браузеров, но без функции просмотра страниц).

Robots.txt — директива user-agent и боты поисковых систем

Роботс.тхт имеет совсем не сложный синтаксис, который очень подробно описан, например, в хелпе яндекса и хелпе Гугла . Обычно в нем указывается, для какого поискового бота предназначены описанные ниже директивы: имя бота ("User-agent "), разрешающие ("Allow ") и запрещающие ("Disallow "), а также еще активно используется "Sitemap" для указания поисковикам, где именно находится файл карты.

Стандарт создавался довольно давно и что-то было добавлено уже позже. Есть директивы и правила оформления, которые будут понятны только роботами определенных поисковых систем. В рунете интерес представляют в основном только Яндекс и Гугл, а значит именно с их хелпами по составлению robots.txt следует ознакомиться особо детально (ссылки я привел в предыдущем абзаце).

Например, раньше для поисковой системы Яндекс было полезным указать, вашего вебпроекта является главным в специальной директиве "Host", которую понимает только этот поисковик (ну, еще и Майл.ру, ибо у них поиск от Яндекса). Правда, в начале 2018 Яндекс все же отменил Host и теперь ее функции как и у других поисковиков выполняет 301-редирект.

Если даже у вашего ресурса нет зеркал, то полезно будет указать, какой из вариантов написания является главным - .

Теперь поговорим немного о синтаксисе этого файла. Директивы в robots.txt имеют следующий вид:

<поле>:<пробел><значение><пробел> <поле>:<пробел><значение><пробел>

Правильный код должен содержать хотя бы одну директиву «Disallow» после каждой записи «User-agent». Пустой файл предполагает разрешение на индексирование всего сайта.

User-agent

Директива «User-agent» должна содержать название поискового бота. При помощи нее можно настроить правила поведения для каждого конкретного поисковика (например, создать запрет индексации отдельной папки только для Яндекса). Пример написания «User-agent», адресованной всем ботам зашедшим на ваш ресурс, выглядит так:

User-agent: *

Если вы хотите в «User-agent» задать определенные условия только для какого-то одного бота, например, Яндекса, то нужно написать так:

User-agent: Yandex

Название роботов поисковых систем и их роль в файле robots.txt

Бот каждой поисковой системы имеет своё название (например, для рамблера это StackRambler). Здесь я приведу список самых известных из них:

Google http://www.google.com Googlebot Яндекс http://www.ya.ru Yandex Бинг http://www.bing.com/ bingbot

У крупных поисковых систем иногда, кроме основных ботов , имеются также отдельные экземпляры для индексации блогов, новостей, изображений и т.д. Много информации по разновидностям ботов вы можете почерпнуть (для Яндекса) и (для Google).

Как быть в этом случае? Если нужно написать правило запрета индексации, которое должны выполнить все типы роботов Гугла, то используйте название Googlebot и все остальные пауки этого поисковика тоже послушаются. Однако, можно запрет давать только, например, на индексацию картинок, указав в качестве User-agent бота Googlebot-Image. Сейчас это не очень понятно, но на примерах, я думаю, будет проще.

Примеры использования директив Disallow и Allow в роботс.тхт

Приведу несколько простых примеров использования директив с объяснением его действий.

Приведенный ниже код разрешает всем ботам (на это указывает звездочка в User-agent) проводить индексацию всего содержимого без каких-либо исключений. Это задается пустой директивой Disallow . User-agent: * Disallow:
Следующий код, напротив, полностью запрещает всем поисковикам добавлять в индекс страницы этого ресурса. Устанавливает это Disallow с «/» в поле значения. User-agent: * Disallow: /
В этом случае будет запрещаться всем ботам просматривать содержимое каталога /image/ (http://mysite.ru/image/ — абсолютный путь к этому каталогу) User-agent: * Disallow: /image/
Чтобы заблокировать один файл, достаточно будет прописать его абсолютный путь до него (читайте ): User-agent: * Disallow: /katalog1//katalog2/private_file.html
Забегая чуть вперед скажу, что проще использовать символ звездочки (*), чтобы не писать полный путь:
Disallow: /*private_file.html
В приведенном ниже примере будут запрещены директория «image», а также все файлы и директории, начинающиеся с символов «image», т. е. файлы: «image.htm», «images.htm», каталоги: «image», «images1», «image34» и т. д.): User-agent: * Disallow: /image Дело в том, что по умолчанию в конце записи подразумевается звездочка, которая заменяет любые символы, в том числе и их отсутствие. Читайте об этом ниже.
С помощью директивы Allow мы разрешаем доступ. Хорошо дополняет Disallow. Например, таким вот условием поисковому роботу Яндекса мы запрещаем выкачивать (индексировать) все, кроме вебстраниц, адрес которых начинается с /cgi-bin: User-agent: Yandex Allow: /cgi-bin Disallow: /
Ну, или такой вот очевидный пример использования связки Allow и Disallow:
User-agent: * Disallow: /catalog Allow: /catalog/auto
При описании путей для директив Allow-Disallow можно использовать символы "*" и "$" , задавая, таким образом, определенные логические выражения.
1. Символ "*"(звездочка) означает любую (в том числе пустую) последовательность символов. Следующий пример запрещает всем поисковикам индексацию файлов с расширение «.php»: User-agent: * Disallow: *.php$
2. Зачем нужен на конце знак $ (доллара) ? Дело в том, что по логике составления файла robots.txt, в конце каждой директивы как бы дописывается умолчательная звездочка (ее нет, но она как бы есть). Например мы пишем: Disallow: /images
  Подразумевая, что это то же самое, что:
  Disallow: /images*
  Т.е. это правило запрещает индексацию всех файлов (вебстраниц, картинок и других типов файлов) адрес которых начинается с /images, а дальше следует все что угодно (см. пример выше). Так вот, символ $ просто отменяет эту умолчательную (непроставляемую) звездочку на конце. Например:
  Disallow: /images$
  Запрещает только индексацию файла /images, но не /images.html или /images/primer.html. Ну, а в первом примере мы запретили индексацию только файлов оканчивающихся на.php (имеющих такое расширение), чтобы ничего лишнего не зацепить:
  Disallow: *.php$

Во многих движках пользователи (человеко-понятные Урлы), в то время как Урлы, генерируемые системой, имеют знак вопроса "?" в адресе. Этим можно воспользоваться и написать такое правило в robots.txt: User-agent: * Disallow: /*?

Звездочка после вопросительного знака напрашивается, но она, как мы с вами выяснили чуть выше, уже подразумевается на конце. Таким образом мы запретим индексацию страниц поиска и прочих служебных страниц создаваемых движком, до которых может дотянуться поисковый робот. Лишним не будет, ибо знак вопроса чаще всего CMS используют как идентификатор сеанса, что может приводить к попаданию в индекс дублей страниц.

Директивы Sitemap и Host (для Яндекса) в Robots.txt

Во избежании возникновения неприятных проблем с зеркалами сайта, раньше рекомендовалось добавлять в robots.txt директиву Host, которая указывал боту Yandex на главное зеркало.

Директива Host — указывает главное зеркало сайта для Яндекса

Например, раньше, если вы еще не перешли на защищенный протокол , указывать в Host нужно было не полный Урл, а доменное имя (без http://, т.е..ru). Если же уже перешли на https, то указывать нужно будет полный Урл (типа https://myhost.ru).

Замечательный инструмент для борьбы с дублями контента — поисковик просто не будет индексировать страницу, если в Canonical прописан другой урл. Например, для такой страницы моего блога (страницы с пагинацией) Canonical указывает на https://сайт и никаких проблем с дублированием тайтлов возникнуть не должно.

Но это я отвлекся...
Если ваш проект создан на основе какого-либо движка, то дублирование контента будет иметь место с высокой вероятностью, а значит нужно с ним бороться, в том числе и с помощью запрета в robots.txt, а особенно в мета-теге, ибо в первом случае Google запрет может и проигнорировать, а вот на метатег наплевать он уже не сможет (так воспитан).
Например, в WordPress страницы с очень похожим содержимым могут попасть в индекс поисковиков, если разрешена индексация и содержимого рубрик, и содержимого архива тегов, и содержимого временных архивов. Но если с помощью описанного выше мета-тега Robots создать запрет для архива тегов и временного архива (можно теги оставить, а запретить индексацию содержимого рубрик), то дублирования контента не возникнет. Как это сделать описано по ссылке приведенной чуть выше (на плагин ОлИнСеоПак)
Подводя итог скажу, что файл Роботс предназначен для задания глобальных правил запрета доступа в целые директории сайта, либо в файлы и папки, в названии которых присутствуют заданные символы (по маске). Примеры задания таких запретов вы можете посмотреть чуть выше.
Теперь давайте рассмотрим конкретные примеры роботса, предназначенного для разных движков — Joomla, WordPress и SMF. Естественно, что все три варианта, созданные для разных CMS, будут существенно (если не сказать кардинально) отличаться друг от друга. Правда, у всех у них будет один общий момент, и момент этот связан с поисковой системой Яндекс.
Т.к. в рунете Яндекс имеет достаточно большой вес, то нужно учитывать все нюансы его работы, и тут нам поможет директива Host . Она в явной форме укажет этому поисковику главное зеркало вашего сайта.
Для нее советуют использовать отдельный блог User-agent, предназначенный только для Яндекса (User-agent: Yandex). Это связано с тем, что остальные поисковые системы могут не понимать Host и, соответственно, ее включение в запись User-agent, предназначенную для всех поисковиков (User-agent: *), может привести к негативным последствиям и неправильной индексации.
Как обстоит дело на самом деле — сказать трудно, ибо алгоритмы работы поиска — это вещь в себе, поэтому лучше сделать так, как советуют. Но в этом случае придется продублировать в директиве User-agent: Yandex все те правила, что мы задали User-agent: * . Если вы оставите User-agent: Yandex с пустым Disallow: , то таким образом вы разрешите Яндексу заходить куда угодно и тащить все подряд в индекс.
Robots для WordPress
Не буду приводить пример файла, который рекомендуют разработчики. Вы и сами можете его посмотреть. Многие блогеры вообще не ограничивают ботов Яндекса и Гугла в их прогулках по содержимому движка WordPress. Чаще всего в блогах можно встретить роботс, автоматически заполненный плагином .
Но, по-моему, все-таки следует помочь поиску в нелегком деле отсеивания зерен от плевел. Во-первых, на индексацию этого мусора уйдет много времени у ботов Яндекса и Гугла, и может совсем не остаться времени для добавления в индекс вебстраниц с вашими новыми статьями. Во-вторых, боты, лазящие по мусорным файлам движка, будут создавать дополнительную нагрузку на сервер вашего хоста, что не есть хорошо.
Мой вариант этого файла вы можете сами посмотреть. Он старый, давно не менялся, но я стараюсь следовать принципу «не чини то, что не ломалось», а вам уже решать: использовать его, сделать свой или еще у кого-то подсмотреть. У меня там еще запрет индексации страниц с пагинацией был прописан до недавнего времени (Disallow: */page/), но недавно я его убрал, понадеясь на Canonical, о котором писал выше.
А вообще, единственно правильного файла для WordPress, наверное, не существует. Можно, кончено же, реализовать в нем любые предпосылки, но кто сказал, что они будут правильными. Вариантов идеальных robots.txt в сети много.
Приведу две крайности :
можно найти мегафайлище с подробными пояснениями (символом # отделяются комментарии, которые в реальном файле лучше будет удалить): User-agent: * # общие правила для роботов, кроме Яндекса и Google, # т.к. для них правила ниже Disallow: /cgi-bin # папка на хостинге Disallow: /? # все параметры запроса на главной Disallow: /wp- # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins Disallow: /wp/ # если есть подкаталог /wp/, где установлена CMS (если нет, # правило можно удалить) Disallow: *?s= # поиск Disallow: *&s= # поиск Disallow: /search/ # поиск Disallow: /author/ # архив автора Disallow: /users/ # архив авторов Disallow: */trackback # трекбеки, уведомления в комментариях о появлении открытой # ссылки на статью Disallow: */feed # все фиды Disallow: */rss # rss фид Disallow: */embed # все встраивания Disallow: */wlwmanifest.xml # xml-файл манифеста Windows Live Writer (если не используете, # правило можно удалить) Disallow: /xmlrpc.php # файл WordPress API Disallow: *utm= # ссылки с utm-метками Disallow: *openstat= # ссылки с метками openstat Allow: */uploads # открываем папку с файлами uploads User-agent: GoogleBot # правила для Google (комментарии не дублирую) Disallow: /cgi-bin Disallow: /? Disallow: /wp- Disallow: /wp/ Disallow: *?s= Disallow: *&s= Disallow: /search/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Disallow: */feed Disallow: */rss Disallow: */embed Disallow: */wlwmanifest.xml Disallow: /xmlrpc.php Disallow: *utm= Disallow: *openstat= Allow: */uploads Allow: /*/*.js # открываем js-скрипты внутри /wp- (/*/ - для приоритета) Allow: /*/*.css # открываем css-файлы внутри /wp- (/*/ - для приоритета) Allow: /wp-*.png # картинки в плагинах, cache папке и т.д. Allow: /wp-*.jpg # картинки в плагинах, cache папке и т.д. Allow: /wp-*.jpeg # картинки в плагинах, cache папке и т.д. Allow: /wp-*.gif # картинки в плагинах, cache папке и т.д. Allow: /wp-admin/admin-ajax.php # используется плагинами, чтобы не блокировать JS и CSS User-agent: Yandex # правила для Яндекса (комментарии не дублирую) Disallow: /cgi-bin Disallow: /? Disallow: /wp- Disallow: /wp/ Disallow: *?s= Disallow: *&s= Disallow: /search/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Disallow: */feed Disallow: */rss Disallow: */embed Disallow: */wlwmanifest.xml Disallow: /xmlrpc.php Allow: */uploads Allow: /*/*.js Allow: /*/*.css Allow: /wp-*.png Allow: /wp-*.jpg Allow: /wp-*.jpeg Allow: /wp-*.gif Allow: /wp-admin/admin-ajax.php Clean-Param: utm_source&utm_medium&utm_campaign # Яндекс рекомендует не закрывать # от индексирования, а удалять параметры меток, # Google такие правила не поддерживает Clean-Param: openstat # аналогично # Укажите один или несколько файлов Sitemap (дублировать для каждого User-agent # не нужно). Google XML Sitemap создает 2 карты сайта, как в примере ниже. Sitemap: http://site.ru/sitemap.xml Sitemap: http://site.ru/sitemap.xml.gz # Укажите главное зеркало сайта, как в примере ниже (с WWW / без WWW, если HTTPS # то пишем протокол, если нужно указать порт, указываем). Команду Host понимает # Яндекс и Mail.RU, Google не учитывает. Host: www.site.ru
А вот можно взять на вооружение пример минимализма: User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Host: https://site.ru Sitemap: https://site.ru/sitemap.xml

Истина, наверное, лежит где-то посредине. Еще не забудьте прописать мета-тег Robots для «лишних» страниц, например, с помощью чудесного плагина — . Он же поможет и Canonical настроить.
Правильный robots.txt для Joomla
User-agent: * Disallow: /administrator/ Disallow: /bin/ Disallow: /cache/ Disallow: /cli/ Disallow: /components/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /layouts/ Disallow: /libraries/ Disallow: /logs/ Disallow: /modules/ Disallow: /plugins/ Disallow: /tmp/
В принципе, здесь практически все учтено и работает он хорошо. Единственное, в него следует добавить отдельное правило User-agent: Yandex для вставки директивы Host, определяющей главное зеркало для Яндекса, а так же указать путь к файлу Sitemap.
Поэтому в окончательном виде правильный robots для Joomla, по-моему мнению, должен выглядеть так:
User-agent: Yandex Disallow: /administrator/ Disallow: /cache/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /modules/ Disallow: /plugins/ Disallow: /tmp/ Disallow: /layouts/ Disallow: /cli/ Disallow: /bin/ Disallow: /logs/ Disallow: /components/ Disallow: /component/ Disallow: /component/tags* Disallow: /*mailto/ Disallow: /*.pdf Disallow: /*% Disallow: /index.php Host: vash_sait.ru (или www.vash_sait.ru) User-agent: * Allow: /*.css?*$ Allow: /*.js?*$ Allow: /*.jpg?*$ Allow: /*.png?*$ Disallow: /administrator/ Disallow: /cache/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /modules/ Disallow: /plugins/ Disallow: /tmp/ Disallow: /layouts/ Disallow: /cli/ Disallow: /bin/ Disallow: /logs/ Disallow: /components/ Disallow: /component/ Disallow: /*mailto/ Disallow: /*.pdf Disallow: /*% Disallow: /index.php Sitemap: http://путь к вашей карте XML формата
Да, еще обратите внимание, что во втором варианте есть директивы Allow, разрешающие индексацию стилей, скриптов и картинок . Написано это специально для Гугла, ибо его Googlebot иногда ругается, что в роботсе запрещена индексация этих файлов, например, из папки с используемой темой оформления. Даже грозится за это понижать в ранжировании.
Поэтому заранее все это дело разрешаем индексировать с помощью Allow. То же самое, кстати, и в примере файла для Вордпресс было.

Удачи вам! До скорых встреч на страницах блога сайт
посмотреть еще ролики можно перейдя на
");">
Вам может быть интересно
Домены с www и без него - история появления, использование 301 редиректа для их склеивания
Зеркала, дубли страниц и Url адреса - аудит вашего сайта или что может быть причиной краха при его SEO продвижении

Любая страница на сайте может быть открыта или закрыта для индексации поисковыми системами. Если страница открыта, поисковая система добавляет ее в свой индекс, если закрыта, то робот не заходит на нее и не учитывает в поисковой выдаче.

При создании сайта важно на программном уровне закрыть от индексации все страницы, которые по каким-либо причинам не должны видеть пользователи и поисковики.

К таким страницам можно отнести административную часть сайта (админку), страницы с различной служебной информацией (например, с личными данными зарегистрированных пользователей), страницы с многоуровневыми формами (например, сложные формы регистрации), формы обратной связи и т.д.

Пример:
Профиль пользователя на форуме о поисковых системах Searchengines.

Обязательным также является закрытие от индексации страниц, содержимое которых уже используется на других страницах.Такие страницы называются дублирующими. Полные или частичные дубли сильно пессимизируют сайт, поскольку увеличивают количество неуникального контента на сайте.

Как видим, контент на обеих страницах частично совпадает. Поэтому страницы категорий на WordPress-сайтах закрывают от индексации, либо выводят на них только название записей.

То же самое касается и страниц тэгов– такие страницы часто присутствуют в структуре блогов на WordPress. Облако тэгов облегчает навигацию по сайту и позволяет пользователям быстро находить интересующую информацию. Однако они являются частичными дублями других страниц, а значит – подлежат закрытию от индексации.

Еще один пример – магазин на CMS OpenCart.

Страница категории товаров http://www.masternet-instrument.ru/Lampy-energosberegajuschie-c-906_910_947.html .

Страница товаров, на которые распространяется скидка http://www.masternet-instrument.ru/specials.php .

Данные страницы имеют схожее содержание, так как на них размещено много одинаковых товаров.

Особенно критично к дублированию контента на различных страницах сайта относится Google. За большое количество дублей в Google можно заработать определенные санкции вплоть до временного исключения сайта из поисковой выдачи.

Еще один случай, когда содержимое страниц не стоит «показывать» поисковику – страницы с неуникальным контентом. Типичный пример — инструкции к медицинским препаратам в интернет-аптеке. Контент на странице с описанием препарата http://www.piluli.ru/product271593/product_info.html неуникален и опубликован на сотнях других сайтов.

Сделать его уникальным практически невозможно, поскольку переписывание столь специфических текстов – дело неблагодарное и запрещенное. Наилучшим решением в этом случае будет закрытие страницы от индексации, либо написание письма в поисковые системы с просьбой лояльно отнестись к неуникальности контента, который сделать уникальным невозможно по тем или иным причинам.

Как закрывать страницы от индексации

Классическим инструментом для закрытия страниц от индексации является файл robots.txt. Он находится в корневом каталоге вашего сайта и создается специально для того, чтобы показать поисковым роботам, какие страницы им посещать нельзя. Это обычный текстовый файл, который вы в любой момент можете отредактировать. Если файла robots.txt у вас нет или если он пуст, поисковики по умолчанию будут индексировать все страницы, которые найдут.

Структура файла robots.txt довольно проста. Он может состоять из одного или нескольких блоков (инструкций). Каждая инструкция, в свою очередь, состоит из двух строк. Первая строка называется User-agent и определяет, какой поисковик должен следовать этой инструкции. Если вы хотите запретить индексацию для всех поисковиков, первая строка должна выглядеть так:

Если вы хотите запретить индексацию страницы только для одной ПС, например, для Яндекса, первая строка выглядит так:

Вторая строчка инструкции называется Disallow (запретить). Для запрета всех страниц сайта напишите в этой строке следующее:

Чтобы разрешить индексацию всех страниц вторая строка должна иметь вид:

В строке Disallow вы можете указывать конкретные папки и файлы, которые нужно закрыть от индексации.

Например, для запрета индексации папки images и всего ее содержимого пишем:

Чтобы «спрятать» от поисковиков конкретные файлы, перечисляем их:

User-agent: *
Disallow: /myfile1.htm
Disallow: /myfile2.htm
Disallow: /myfile3.htm

Это – основные принципы структуры файла robots.txt. Они помогут вам закрыть от индексации отдельные страницы и папки на вашем сайте.

Еще один, менее распространенный способ запрета индексации – мета-тэг Robots. Если вы хотите закрыть от индексации страницу или запретить поисковикам индексировать ссылки, размещенные на ней, в ее HTML-коде необходимо прописать этот тэг. Его надо размещать в области HEAD, перед тэгом .</p> <p>Мета-тег Robots состоит из двух параметров. INDEX – параметр, отвечающий за индексацию самой страницы, а FOLLOW – параметр, разрешающий или запрещающий индексацию ссылок, расположенных на этой странице.</p> <p>Для запрета индексации вместо INDEX и FOLLOW следует писать NOINDEX и NOFOLLOW соответственно.</p> <p>Таким образом, если вы хотите закрыть страницу от индексации и запретить поисковикам учитывать ссылки на ней, вам надо добавить в код такую строку:</p> <blockquote><p><meta name=“robots” content=“noindex,nofollow”></p> </blockquote> <p>Если вы не хотите скрывать страницу от индексации, но вам необходимо «спрятать» ссылки на ней, мета-тег Robots будет выглядеть так:</p> <blockquote><p><metaname=“robots” content=“index,nofollow”></p> </blockquote> <p>Если же вам наоборот, надо скрыть страницу от ПС, но при этом учитывать ссылки, данный тэг будет иметь такой вид:</p> <blockquote><p><meta name=“robots” content=“noindex,follow”></p> </blockquote> <p>Большинство современных CMS дают возможность закрывать некоторые страницы от индексации прямо из админ.панели сайта. Это позволяет избежать необходимости разбираться в коде и настраивать данные параметры вручную. Однако перечисленные выше способы были и остаются универсальными и самыми надежными инструментами для запрета индексации.</p> <p>robots.txt для wordpress один из главных моментов настройки индексации. Ранее мы говорили об ускорении и улучшении процесса индексации статей. Причем рассматривали этот вопрос так, как будто поисковый робот ничего не знает и не умеет, а мы ему должны подсказать. Для этого мы использовали карту сайта файл .</p><p>Возможно вы еще не догадывается, что делает поисковый робот когда попадает на ваш сайт? По умолчанию индексировать ему разрешено всё. И робот-паук, получив сигнал о том, что есть сайт, который надо посетить, тут же ставит его в очередь на индексацию. Поэтому индексация происходит не мгновенно по нашему требованию, а через какое-то время. Как только очередь доходит до вашего сайта этот робот-паук тут как тут. Он не стучится и не спрашивает разрешения, так как ему по умолчанию всё разрешено. А сразу вламывается на сайт, как полноправный хозяин и начинает шарить по всем закоулкам, по всем папкам и файлам, выискивая тексты и всевозможные ссылки.</p> <i> </i><p>Естественно делает он это в пределах какого-то ограниченного промежутка времени. Именно поэтому, если вы создали сайт на несколько тысяч страниц и выложили его целиком, то робот просто не успеет обойти все страницы за один заход. И в индекс попадут только те, которые он успел просмотреть. А ходит робот по всему сайту и тратит на это свое время. И не факт что в первую очередь он будет просматривать именно ваши странички, которые вы так ждете в результатах поиска.</p><p>Сделав полную копию всего, что ему удалось найти, он покидает ваш сайт, до следующего раза. Как вы понимаете, после такого обшаривания в базу индекса поисковика попадает всё, что надо и всё, что не надо. То что надо вы знаете - это ваши статьи, страницы, картинки, ролики и т.д. А вот чего индексировать не надо?</p><p>Для WordPress это оказывается очень важный вопрос. Ответ на него затрагивает и ускорение индексации содержимого вашего сайта, и его безопасность. Дело в том, что всю служебную информацию индексировать не надо. А файлы WordPress вообще желательно спрятать от чужих глаз. Это уменьшит вероятность взлома вашего сайта.</p><p>WordPress создаёт очень много копий ваших статей с разными адресами, но одним и тем же содержанием. Выглядит это так:</p><p>//название_сайта/название_статьи,</p><p>//название_сайта/название_рубрики/название_статьи,</p><p>//название_сайта/название_рубрики/название_подрубрики/название_статьи,</p><p>//название_сайта/название_тега/название_статьи,</p><p>//название_сайта/дата_создания_архива/название_статьи</p><p>С тегами и архивами вообще караул. К скольким тегам привязана статья, столько копий и создаётся. При редактировании статьи, сколько архивов в разные даты будет создано, столько и новых адресов с практически похожим содержанием появится.</p><p>Если все эти копии проиндексировать и предоставить в поиске то вес главной статьи размажется на все копии, что очень плохо. И не факт, что будет показана в результате поиска именно статья с главным адресом. Следовательно надо запретить индексирование всех копий.</p><p>WordPress оформляет картинки как отдельные статьи без текста. В таком виде без текста и описания они как статьи выглядят абсолютно некорректно. Следовательно нужно принять меры чтобы эти адреса не попали в индекс поисковиков.</p><p>Почему же не надо всё это индексировать?</p><h2><span>Пять причин для запрета индексации! </span></h2><p>1. Полное индексирование создаёт лишнюю нагрузку на ваш сервер.</p><p>2. Отнимает драгоценное время самого робота.</p><p>3. Пожалуй это самое главное, некорректная информация может быть неправильно интерпретирована поисковыми системами. Это приведет к неправильному ранжированию статей и страниц, а в последствии и к некорректной выдаче в результатах поиска.</p><p>4. Папки с шаблонами и плагинами содержат огромное количество ссылок на сайты создателей и рекламодателей. Это очень плохо для молодого сайта, когда на ваш сайт ссылок из вне еще нет или очень мало.</p><p>5. Индексируя все копии ваших статей в архивах и комментариях, у поисковика складывается плохое мнение о вашем сайте. Много дублей. Поисковая машина будет плохо ваш сайт показывать в результатах поиска. А картинки, оформленные в виде отдельной статьи с названием и без текста, приводят робота просто в ужас. Если изображений очень много, то сайт может загреметь под фильтр АГС Яндекса. Мой сайт там был. Проверено!</p><p>Теперь после всего сказанного возникает резонный вопрос: "А можно ли как то запретить индексировать то что не надо?". Оказывается можно. Хотя бы не в приказном порядке, а в рекомендательном. Ситуация не полного запрета индексации некоторых объектов возникает из-за файла sitemap.xml, который обрабатывается после robots.txt. Получается так: robots.txt запрещает, а sitemap.xml разрешает. И всё же решить эту задачу мы можем. Как это сделать правильно сейчас и рассмотрим. <span><img src='https://i0.wp.com/testiruemvse.ru/wp-content/uploads/2014/12/Robotstxt2-300x225.png' height="225" width="300" loading=lazy></p><p>Файл robots.txt для wordpress по умолчанию динамический и реально в wordpress не существует. А генерируется только в тот момент, когда его кто-то запрашивает, будь это робот или просто посетитель. То есть если через FTP соединение вы зайдете на сайт, то в корневой папке файла robots.txt для wordpressвы там просто не найдете. А если в браузере укажите его конкретный адрес http://название_вашего_сайта/robots.txt, то на экране получите его содержимое, как будто файл существует. Содержимое этого сгенерированного файла robots.txt для wordpress будет такое:</p><p>В правилах составления файла robots.txt по умолчанию разрешено индексировать всё. Директива User-agent: * указывает на то, что все последующие команды относятся ко всем поисковым агентам (*). Но далее ничего не ограничивается. И как вы понимаете этого не достаточно. Мы с вами уже обсудили папок и записей, имеющих ограниченный доступ, достаточно много.</p><p>Чтобы можно было внести изменения в файл robots.txt и они там сохранились, его нужно создать в статичном постоянном виде.</p><h2><span>Как создать robots.txt для wordpress </span></h2><p>В любом текстовом редакторе (только ни в коем случае не используйте MS Word и ему подобные с элементами автоматического форматирования текста) создайте текстовый файл с примерным содержимым приведенным ниже и отправьте его в корневую папку вашего сайта. Изменения можно делать в зависимости от необходимости.</p><p>Только надо учитывать особенности составления файла:</p><p>В начале строк цифр, как здесь в статье, быть не должно. Цифры здесь указаны для удобства рассмотрения содержимого файла. В конце каждой строки не должно быть ни каких лишних знаков включая пробелы или табуляторы. Между блоками должна быть пустая строка без каких либо знаков включая пробелы. <span><b>Всего один пробел может принести вам огромный вред - БУДЬТЕ ВНИМАТЕЛЬНЫ </b> </span>.</p><h2><span>Как проверить robots.txt для wordpress </span></h2><p>Проверить robots.txt на наличие лишних пробелов можно следующим образом. В текстовом редакторе выделить весь текст, нажав кнопки Ctrl+A. Если пробелов в конце строк и в пустых строках нет, вы это заметите. А если есть выделенная пустота, то вам надо убрать пробелы и всё будет ОК.</p><p>Есть ещё один способ проверить файл robots.txt для сайта wordpress, это загрузить его содержимое в вебмастер яндекса или указать адрес его расположения. Если есть какие-либо ошибки вы тут же узнаете.</p><h2><span>Правильный robots.txt для wordpress </span></h2><p>Теперь давайте перейдем непосредственно к содержимому файла robots.txt для сайта wordpress. Какие директивы в нем должны присутствовать обязательно. Примерное содержание файла robots.txt для wordpress, учитывая его особенности приведено ниже:</p><ol><li>User-agent: *</li><li>Disallow: /wp-login.php</li><li>Disallow: /wp-admin</li><li>Disallow: /wp-includes</li><li>Disallow: /wp-content/plugins</li><li>Disallow: /wp-content/themes</li><li>Disallow: */*comments</li><li>Disallow: */*category</li><li>Disallow: */*tag</li><li>Disallow: */trackback</li><li>Disallow: */*feed</li><li>Disallow: /*?*</li><li>Disallow: /?s=</li><li>Allow: /wp-content/uploads/</li><li>Allow: /*?replytocom</li><li><li>User-agent: Yandex</li><li>Disallow: /wp-login.php</li><li>Disallow: /wp-admin</li><li>Disallow: /wp-includes</li><li>Disallow: /wp-content/plugins</li><li>Disallow: /wp-content/themes</li><li>Disallow: */comments</li><li>Disallow: */*category</li><li>Disallow: */*tag</li><li>Disallow: */trackback</li><li>Disallow: */*feed</li><li>Disallow: /*?*</li><li>Disallow: /*?s=</li><li>Allow: /wp-admin/admin-ajax.php</li><li>Allow: /wp-content/uploads/</li><li>Allow: /*?replytocom</li><li>Crawl-delay: 2,0</li><li><li>Host: site.ru</li><li><li>Sitemap: http://site.ru/sitemap.xml</li> </ol><h2><span>Директивы файла robots.txt для wordpress </span></h2><p>Теперь давайте рассмотрим поподробнее:</p><p>1 – 16 строки блок настроек для всех роботов</p><p>User-agent: - Это обязательная директива, определяющая поискового агента. Звездочка говорит, что директива для роботов всех поисковых систем. Если блок предназначен для конкретного робота, то необходимо указать его имя, например Yandex, как в 18 строке.</p><p>По умолчанию для индексирования разрешено всё. Это равнозначно директиве Allow: /.</p><p>Поэтому для запрета индексирования конкретных папок или файлов используется специальная директива Disallow: .</p><p>В нашем примере с помощью названий папок и масок названий файлов, сделан запрет на все служебные папки вордпресса, такие как admin, themes, plugins, comments, category, tag... Если указать директиву в таком виде Disallow: /, то будет дан запрет индексирования всего сайта.</p><p>Allow: - как я уже говорил директива разрешающая индексирование папок или файлов. Её нужно использовать когда в глубине запрещённых папок есть файлы которые всё же надо проиндексировать.</p><p>В моём примере строка 3 Disallow: /wp-admin - запрещает индексирование папки /wp-admin, а 14 строка Allow: /wp-admin/admin-ajax.php - разрешает индексирование файла /admin-ajax.php расположенного в запрещенной к индексированию папке /wp-admin/.</p><p>17 - Пустая строка (просто нажатие кнопки Enter без пробелов)</p><p>18 - 33 блок настроек конкретно для агента Яндекса (User-agent: Yandex). Как вы заметили этот блок полностью повторяет все команды предыдущего блока. И возникает вопрос: "А на фига такая заморочка?". Так вот это всё сделано всего лишь из-за нескольких директив которые рассмотрим дальше.</p><p>34 - Crawl-delay - Необязательная директива только для Яндекса. Используется когда сервер сильно нагружен и не успевает отрабатывать запросы робота. Она позволяет задать поисковому роботу минимальную задержку (в секундах и десятых долях секунды) между окончанием загрузки одной страницы и началом загрузки следующей. Максимальное допустимое значение 2,0 секунды. Добавляется непосредственно после директив Disallow и Allow.</p><p>35 - Пустая строка</p><p>36 - Host: site.ru - доменное имя вашего сайта (ОБЯЗАТЕЛЬНАЯ директива для блока Яндекса). Если наш сайт использует протокол HTTPS, то адрес надо указывать полностью как показано ниже:</p><p>Host: https://site.ru</p><p>37 - Пустая строка (просто нажатие кнопки Enter без пробелов) обязательно должна присутствовать.</p><p>38 - Sitemap: http://site.ru/sitemap.xml - адрес расположения файла (файлов) карты сайта sitemap.xml (ОБЯЗАТЕЛЬНАЯ директива), располагается в конце файла после пустой строки и относится ко всем блокам.</p><h2><span>Маски к директивам файла robots.txt для wordpress </span></h2><p>Теперь немного как создавать маски:</p><p>Disallow: /wp-register.php - Запрещает индексировать файл wp-register.php, расположенный в корневой папке.</p><p>Disallow: /wp-admin - запрещает индексировать содержимое папки wp-admin, расположенной в корневой папке.</p><p>Disallow: /trackback - запрещает индексировать уведомления</p><p>Disallow: /wp-content/plugins - запрещает индексировать содержимое папки plugins, расположенной в подпапке (папке второго уровня) wp-content.</p><p>Disallow: /feed - запрещает индексировать канал feed т.е. закрывает RSS канал сайта.</p><p>* - означает любая последовательность символов, поэтому может заменять как один символ, так и часть названия или полностью название файла или папки. Отсутствие конкретного названия в конце равносильно написанию *.</p><p>Disallow: */*comments - запрещает индексировать содержимое папок и файлов в названии которых присутствует comments и расположенных в любых папках. (в данном случае запрещает индексировать комментарии)</p><p>Disallow: *?s= - запрещает индексировать страницы поиска</p><p>Приведенные выше строки вполне можно использовать в качестве рабочего файла robots.txt для wordpress. Только в 36, 38 строках необходимо вписать адрес вашего сайта и ОБЯЗАТЕЛЬНО УБРАТЬ номера строк. И у вас получится рабочий файл robots.txt для wordpress<b>, </b>адаптированный под любую поисковую систему. Единственная особенность - размер рабочего файла robots.txt для сайта wordpress не должен превышать 32 кБ дискового пространства.</p><p>Если вдруг где-либо в интернете вы встретите предложение применить директивы расширенного формата Sitemap, предназначенного для индексирования картинок, видео и RSS/Atom-фидов, то не соглашайтесь. Яндекс не поддерживает обработку расширенных форматов Sitemap для картинок, видео и RSS/Atom-фидов. Ваши файлы Sitemap окажутся некорректными для яндекса и могут возникнуть проблемы с индексацией ваших страниц. А так как 60-80% трафика у нас как правило идет от яндекса, то потери количества посетителей могут быть очень существенными. Будьте внимательны в этом вопросе.</p><p>Если вас абсолютно не интересует Яндекс, то строки 18-35 вам не понадобятся вообще. На этом пожалуй всё. Надеюсь что статья оказалась полезной. Если есть вопросы пишите в комментариях.</p> <p>Технические аспекты созданного сайта играют не менее важную роль для продвижения сайта в поисковых системах, чем его наполнение. Одним из наиболее важных технических аспектов является индексирование сайта, т. е. определение областей сайта (файлов и директорий), которые могут или не могут быть проиндексированы роботами поисковых систем. Для этих целей используется robots.txt – это специальный файл, который содержит команды для роботов поисковиков. Правильный файл robots.txt для Яндекса и Google поможет избежать многих неприятных последствий, связанных с индексацией сайта.</p><h3><b> 2. Понятие файла robots.txt и требования, предъявляемые к нему </b></h3><p>Файл /robots.txt предназначен для указания всем поисковым роботам (spiders) индексировать информационные сервера так, как определено в этом файле, т.е. только те директории и файлы сервера, которые не описаны в /robots.txt. Этот файл должен содержать 0 или более записей, которые связаны с тем или иным роботом (что определяется значением поля agent_id) и указывают для каждого робота или для всех сразу, что именно им не надо индексировать.</p><p>Синтаксис файла позволяет задавать запретные области индексирования, как для всех, так и для определенных, роботов.</p><p>К файлу robots.txt предъявляются специальные требования, не выполнение которых может привести к неправильному считыванию роботом поисковой системы или вообще к недееспособности данного файла.</p><p>Основные требования:</p><ul><li>все буквы в названии файла должны быть прописными, т. е. должны иметь нижний регистр:</li><li>robots.txt – правильно,</li><li>Robots.txt или ROBOTS.TXT – неправильно;</li><li>файл robots.txt должен создаваться в текстовом формате Unix. При копировании данного файла на сайт ftp-клиент должен быть настроен на текстовый режим обмена файлами;</li><li>файл robots.txt должен быть размещен в корневом каталоге сайта.</li> </ul><h3><b> 3. Содержимое файла robots.txt </b></h3><p>Файл robots.txt включает в себя две записи: «User-agent» и «Disallow». Названия данных записей не чувствительны к регистру букв.</p><p>Некоторые поисковые системы поддерживают еще и дополнительные записи. Так, например, поисковая система «Yandex» использует запись «Host» для определения основного зеркала сайта (основное зеркало сайта – это сайт, находящийся в индексе поисковых систем).</p><p>Каждая запись имеет свое предназначение и может встречаться несколько раз, в зависимости от количества закрываемых от индексации страниц или (и) директорий и количества роботов, к которым Вы обращаетесь.</p><p>Предполагается следующий формат строк файла robots.txt:</p><p><b>имя_записи </b>[необязательные</p><p>пробелы]<b>: </b>[необязательные</p><p>пробелы]<b>значение </b>[необязательные пробелы]</p><p>Чтобы файл robots.txt считался верным, необходимо, чтобы, как минимум, одна директива «Disallow» присутствовала после каждой записи «User-agent».</p><p>Полностью пустой файл robots.txt эквивалентен его отсутствию, что предполагает разрешение на индексирование всего сайта.</p><h4><b>Запись «User-agent» </b></h4><p>Запись «User-agent» должна содержать название поискового робота. В данной записи можно указать каждому конкретному роботу, какие страницы сайта индексировать, а какие нет.</p><p>Пример записи «User-agent», где обращение происходит ко всем поисковым системам без исключений и используется символ «*»:</p><p>Пример записи «User-agent», где обращение происходит только к роботу поисковой системы Rambler:</p><p>User-agent: StackRambler</p><p>Робот каждой поисковой системы имеет свое название. Существует два основных способа узнать его (название):</p><p>на сайтах многих поисковых систем присутствует специализированный§ раздел «помощь веб-мастеру», в котором часто указывается название поискового робота;</p><p>при просмотре логов веб-сервера, а именно при просмотре обращений к§ файлу robots.txt, можно увидеть множество имен, в которых присутствуют названия поисковых систем или их часть. Поэтому Вам остается лишь выбрать нужное имя и вписать его в файл robots.txt.</p><h4><b>Запись «Disallow» </b></h4><p>Запись «Disallow» должна содержать предписания, которые указывают поисковому роботу из записи «User-agent», какие файлы или (и) каталоги индексировать запрещено.</p><p>Рассмотрим различные примеры записи «Disallow».</p><p>Пример записи в robots.txt (разрешить все для индексации):</p><p><b>Disallow: </b></p><p>Пример (сайт полностью запрещен к . Для этого используется символ «/»):Disallow: /</p><p>Пример (для индексирования запрещен файл «page.htm», находящийся в корневом каталоге и файл «page2.htm», располагающийся в директории «dir»):</p><p><b>Disallow: /page.htm </b></p><p><b>Disallow: /dir/page2.htm </b></p><p>Пример (для индексирования запрещены директории «cgi-bin» и «forum» и, следовательно, все содержимое данной директории):</p><p><b>Disallow: /cgi-bin/ </b></p><p><b>Disallow: /forum/ </b></p><p>Возможно закрытие от индексирования ряда документов и (или) директорий, начинающихся с одних и тех же символов, используя только одну запись «Disallow». Для этого необходимо прописать начальные одинаковые символы без закрывающей наклонной черты.</p><p>Пример (для индексирования запрещены директория «dir», а так же все файлы и директории, начинающиеся буквами «dir», т. е. файлы: «dir.htm», «direct.htm», директории: «dir», «directory1», «directory2» и т. д.):</p><h4><b>Запись «Allow» </b></h4><p>Опция «Allow» используется для обозначения исключений из неиндексируемых директорий и страниц, которые заданы записью «Disallow».</p><p>Например, есть запись следующего вида:</p><p>Disallow: /forum/</p><p>Но при этом нужно, чтобы в директории /forum/ индексировалась страница page1. Тогда в файле robots.txt потребуются следующие строки:</p><p>Disallow: /forum/</p><p>Allow: /forum/page1</p><h4><b>Запись «Sitemap» </b></h4><p>Эта запись указывает на расположение карты сайта в формате xml, которая используется поисковыми роботами. Эта запись указывает путь к данному файлу.</p><p>Sitemap: http://site.ru/sitemap.xml</p><h4><b>Запись «Host» </b></h4><p>Запись «host» используется поисковой системой «Yandex». Она необходима для определения основного зеркала сайта, т. е. если сайт имеет зеркала (зеркало – это частичная или полная копия сайта. Наличие дубликатов ресурса бывает необходимо владельцам высокопосещаемых сайтов для повышения надежности и доступности их сервиса), то с помощью директивы «Host» можно выбрать то имя, под которым Вы хотите быть проиндексированы. В противном случае «Yandex» выберет главное зеркало самостоятельно, а остальные имена будут запрещены к индексации.</p><p>В целях совместимости с поисковыми роботами, которые при обработке файла robots.txt не воспринимают директиву Host, необходимо добавлять запись «Host» непосредственно после записей Disallow.</p><p>Пример: www.site.ru – основное зеркало:</p><p><b>Host: www.site.ru </b></p><h4><b>Запись «Crawl-delay» </b></h4><p>Эту запись воспринимает Яндекс. Она является командой для робота делать промежутки заданного времени (в секундах) между индексацией страниц. Иногда это бывает нужно для защиты сайта от перегрузок.</p><p>Так, запись следующего вида обозначает, что роботу Яндекса нужно переходить с одной страницы на другую не раньше чем через 3 секунды:</p><h4><b>Комментарии </b></h4><p>Любая строка в robots.txt, начинающаяся с символа «#», считается комментарием. Разрешено использовать комментарии в конце строк с директивами, но некоторые роботы могут неправильно распознать данную строку.</p><p>Пример (комментарий находится на одной строке вместе с директивой):</p><p><b>Disallow: /cgi-bin/ #комментарий </b></p><p>Желательно размещать комментарий на отдельной строке. Пробел в начале строки разрешается, но не рекомендуется.</p><h3><b> 4. Примеры файлов robots.txt </b></h3><p>Пример (комментарий находится на отдельной строке): <br><b>Disallow: /cgi-bin/#комментарий </b></p><p>Пример файла robots.txt, разрешающего всем роботам индексирование всего сайта:</p><p>Host: www.site.ru</p><p>Пример файла robots.txt, запрещающего всем роботам индексирование сайта:</p><p>Host: www.site.ru</p><p>Пример файла robots.txt, запрещающего всем роботам индексирование директории «abc», а так же всех директорий и файлов, начинающихся с символов «abc».</p><p>Host: www.site.ru</p><p>Пример файла robots.txt, запрещающего индексирование страницы «page.htm», находящейся в корневом каталоге сайта, поисковым роботом «googlebot»:</p><p>User-agent: googlebot</p><p>Disallow: /page.htm</p><p>Host: www.site.ru</p><p>Пример файла robots.txt, запрещающего индексирование:</p><p>– роботу «googlebot» – страницы «page1.htm», находящейся в директории «directory»;</p><p>– роботу «Yandex» – все директории и страницы, начинающиеся символами «dir» (/dir/, /direct/, dir.htm, direction.htm, и т. д.) и находящиеся в корневом каталоге сайта.</p><p>User-agent: googlebot</p><p>Disallow: /directory/page1.htm</p><p>User-agent: Yandex</p><h3>5. Ошибки, связанные с файлом robots.txt</h3><p>Одна из самых распространенных ошибок – перевернутый синтаксис.</p><p><b>Неправильно: </b></p><p>Disallow: Yandex</p><p><b>Правильно: </b></p><p>User-agent: Yandex</p><p><b>Неправильно: </b></p><p>Disallow: /dir/ /cgi-bin/ /forum/</p><p><b>Правильно: </b></p><p>Disallow: /cgi-bin/</p><p>Disallow: /forum/</p><p>Если при обработке ошибки 404 (документ не найден), веб-сервер выдает специальную страницу, и при этом файл robots.txt отсутствует, то возможна ситуация, когда поисковому роботу при запросе файла robots.txt выдается та самая специальная страница, никак не являющаяся файлом управления индексирования.</p><p>Ошибка, связанная с неправильным использованием регистра в файле robots.txt. Например, если необходимо закрыть директорию «cgi-bin», то в записе «Disallow» нельзя писать название директории в верхнем регистре «cgi-bin».</p><p><b>Неправильно: </b></p><p>Disallow: /CGI-BIN/</p><p><b>Правильно: </b></p><p>Disallow: /cgi-bin/</p><p>Ошибка, связанная с отсутствием открывающей наклонной черты при закрытии директории от индексирования.</p><p><b>Неправильно: </b></p><p>Disallow: page.HTML</p><p><b>Правильно: </b></p><p>Disallow: /page.HTML</p><p>Чтобы избежать наиболее распространенных ошибок, файл robots.txt можно проверить средствами Яндекс.Вебмастера или Инструментами для вебмастеров Google. Проверка осуществляется после загрузки файла.</p><h3>6. Заключение</h3><p>Таким образом, наличие файла robots.txt, а так же его составление, может повлиять на продвижение сайта в поисковых системах. Не зная синтаксиса файла robots.txt, можно запретить к индексированию возможные продвигаемые страницы, а так же весь сайт. И, наоборот, грамотное составление данного файла может очень помочь в продвижении ресурса, например, можно закрыть от индексирования документы, которые мешают продвижению нужных страниц.</p> <p>Все поисковые роботы при заходе на сайт в первую очередь ищут <b>файл robots.txt </b>. Это текстовый файл, находящийся в корневой директории сайта (там же где и главный файл index.), в нем записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации папки или страницы сайта, указать роботу на главное зеркало сайта, рекомендовать поисковому роботу соблюдать определенный временной интервал индексации сайта и многое другое. <b><br> </b></p> <p>Чтобы создать файл robotx.txt, нужен простой текстовый файл. Если вы не собираетесь создавать запреты к индексации, можно сделать пустой файл robots.txt. Важно, чтобы его название и расширение было написано строчными буквами. Как вы уже могли понять, robots.txt содержит инструкции для поисковика - что индексировать, а что нет. Файл состоит из одной или нескольких инструкций, каждая из которых пишется с новой строки. В свою очередь, каждая инструкция должна состоять из двух частей. Первая определяет, кому это относится, то есть какой поисковик должен следовать данной инструкции, вторая - что именно нельзя индексировать. Первая часть называется, User-agent. Если вы хотите обратиться ко всем поисковикам, то можете писать User-agent: *. Вторая часть Disallow, (запретить). Если вы хотите запретить индексацию всех страниц сайта, то нужно написать Disallow: /, если же разрешаете обрабатывать сайт полностью, то после Disallow должна следовать пустота Disallow: . Вы можете указать, какие папки (Disallow: /имя папки/) или же файлы (Disallow: имя файла. расширение) не следует индексировать.</p> <h3>Примеры использования файла robots.txt</h3> <p><b>Символ # </b> используется для обозначения начала комментария (текст, игнорируемый роботом). Например:</p> <p>User-agent: * #Запрет индексации папки cgi<br> Disallow: /cgi/</p> <p><b>Пример 1 </b>. Разрешаем индексировать все страницы сайта всем поисковикам (примечание: эквивалентом данной инструкции будет пустой файл robots.txt):</p> <p>User-agent: *<br> Disallow:</p> <p><b>Пример 2 </b>. Запрещаем индексировать все страницы сайта всем поисковикам:</p> <p>User-agent: *<br> Disallow: /</p> <p><b>Пример 3 </b>. Разрешаем индексировать всем кроме Яндекса:</p> <p>User-agent: Yandex<br> Disallow: /</p> <p><b>Пример 4 </b>. Запрещаем индексировать всем поисковикам кроме Яндекса (примечание: обратите внимание на обязательную пустую строку между двумя инструкциями, без нее файл не будет воспринят правильно)</p> <p>User-agent: Yandex<br> Disallow:</p> <p>User-agent: *<br> Disallow: /</p> <p><b>Пример 5 </b>. Яндексу запрещаем индексировать папки cgi и images, а Апорту файлы myfile1.htm и myfile2.htm в директории dir</p> <p>User-agent: Yandex<br> Disallow: /cgi/<br> Disallow: /images/</p> <p>User-agent: Aport<br> Disallow: /dir/myfile1.htm<br> Disallow: /dir/myfile2.htm</p> <p><b>Пример 6 </b>. Весьма актуальная проблема. Запрещаем индексировать <b>динамические ссылки </b>, пример (?sl=…) всем поисковикам:</p> <p>User-agent: *<br> Disallow: /*?sl* #Запрет индексации динамических ссылок</p> <p><b>Пример 7 </b>. Указание значения для Disallow без открывающего слеша приведет к тому, что робот пропустит не только папки с таким именем, но и файлы. В следующем примере, роботы не будут индексировать папку с именем myfile, а также все файлы, имеющие данное имя например myfile.php.</p> <p>User-agent: *<br> Disallow: myfile</p> <p><b>Пример 8. Итоговый пример файла robots.txt </b></p> <p>User-agent: * #Запрет индексации папок cgi и images для всех поисковиков<br> Disallow: /cgi/<br> Disallow: /images/</p> <p>User-agent: Google #Запрет индексации файлов myfile1.htm и myfile2.htm для Google<br> Disallow: /myfile1.htm<br> Disallow: /myfile2.htm</p> <p>User-agent: * #Запрет индексации файлов spisok.php и vsakaya-fignya.php для всех поисковиков<br> Disallow: /spisok.php<br> Disallow: /vsakaya-fignya.php</p> <p>User-agent: *<br> Disallow: /*?sl* #Запрет индексации динамических ссылок с переменной <b>sl </b></p> <p>При правильном использовании robots.txt у вас не должно возникнуть проблем с поисковиками, но могут возникнуть сложности со слишком любопытными посетителями. Дело в том, что они спокойно могут просмотреть содержимое файла, введя в адресную строку http://имя сайта/robots.txt. Увидев, какие файлы и папки вы скрываете, они решат обратить свой взор именно на эти части сайта, заинтересовавшись, что же вы там хотели спрятать. Поэтому если вы указываете какую-то папку в robots.txt, то непременно обязаны поместить в нее index.php или (.htm, .phtml, .shtml, .xml, .php, .asp, .pl - кому что больше по душе). Тогда при вводе в адресную строку http://имя_сайта/имя_заветной_папки пользователь получит не список имеющихся в ней файлов, что совсем неприемлемо для безопасности сайта, а ту информацию, которую вы напишите в индекс-файле. К тому же размещение файла index в каждой папке должно быть для вас обязательным пунктом, даже если у вас отсутствует robots.txt.</p> <script type="text/javascript">  </script><br> <br> <script>document.write("<img style='display:none;' src='//counter.yadro.ru/hit;artfast_after?t44.1;r"+ escape(document.referrer)+((typeof(screen)=="undefined")?"": ";s"+screen.width+"*"+screen.height+"*"+(screen.colorDepth? screen.colorDepth:screen.pixelDepth))+";u"+escape(document.URL)+";h"+escape(document.title.substring(0,150))+ ";"+Math.random()+ "border='0' width='1' height='1' loading=lazy>");</script> </div> <div id="banner-single"> </div> </article> <div class="similar"> <div class="similar_h2">Статьи по теме</div> <div class="simposts"> <div class="wp_rp_wrap wp_rp_plain" id="wp_rp_first"><div class="wp_rp_content"><ul class="related_post wp_rp"> <li data-position="0" data-poid="in-1888" data-post-type="none"><a href="/vkontakte/kakoi-iphone-luchshe-derzhit-zaryadku-batareya-iphone-x-na-skolko-hvataet-i-skolko.html" class="wp_rp_title">Батарея iPhone X: на сколько хватает и сколько заряжается?</a></li> <li data-position="0" data-poid="in-1888" data-post-type="none"><a href="/usb-flash-drive/qualcomm-quick-charge-3-0-podderzhivaemye-ustroistva-qualcomm-quick-charge-chto.html" class="wp_rp_title">0 поддерживаемые устройства</a></li> <li data-position="0" data-poid="in-1888" data-post-type="none"><a href="/classmates/chto-takoe-versiya-yadra-3-10-65-pereproshivka-yadra-android-ustroistva-chto.html" class="wp_rp_title">Что такое версия ядра 3.10 65. Перепрошивка ядра андроид-устройства. Что представляет собой ядро мобильного устройства</a></li> <li data-position="0" data-poid="in-1888" data-post-type="none"><a href="/hdd/biblioteka-standartnyh-podsistem-obsuzhdaem-plyusy-i-minusy-novshestva.html" class="wp_rp_title">Обсуждаем плюсы и минусы новшества</a></li> <li data-position="0" data-poid="in-1888" data-post-type="none"><a href="/windows-7/kolontituly-kolontituly-v-excel-kak-udalit-verhnii-kolontitul-v.html" class="wp_rp_title">Колонтитулы в Excel Как удалить верхний колонтитул в экселе</a></li> </ul></div></div> </div> </div> <div class="another"> <div class="another_h2">Еще статьи из этой рубрики</div> <div class="anoposts"> <div class="apost"> <a href="/odnoklassniki/gde-nahodyatsya-draivera-na-kompyutere-gde-naiti-i-kak-ustanovit.html" title="Где найти и как установить драйвера на ноутубк, компьютер"> <img width="150" height="98" src="/uploads/c54b29c691595c37d9ba963d6313979b.jpg" class="attachment-rel-thumbnail size-rel-thumbnail wp-post-image" alt="Где найти и как установить драйвера на ноутубк, компьютер" / loading=lazy> </a> <a href="/odnoklassniki/gde-nahodyatsya-draivera-na-kompyutere-gde-naiti-i-kak-ustanovit.html" title="Где найти и как установить драйвера на ноутубк, компьютер">Где найти и как установить драйвера на ноутубк, компьютер</a> </div> <div class="apost"> <a href="/windows-7/samsung-galaxy-s8-sd835---tehnicheskie-harakteristiki-harakteristiki-galaxy-s8-i.html" title="Характеристики Galaxy S8 и Galaxy S8 Plus"> <img width="150" height="98" src="/uploads/c3aeff3047e4d06f71b1326e2bacbe33.jpg" class="attachment-rel-thumbnail size-rel-thumbnail wp-post-image" alt="Характеристики Galaxy S8 и Galaxy S8 Plus" / loading=lazy> </a> <a href="/windows-7/samsung-galaxy-s8-sd835---tehnicheskie-harakteristiki-harakteristiki-galaxy-s8-i.html" title="Характеристики Galaxy S8 и Galaxy S8 Plus">Характеристики Galaxy S8 и Galaxy S8 Plus</a> </div> <div class="apost"> <a href="/hdd/kak-obrezat-simkartu-dlya-samsunga-kak-obrezat-sim-kartu-pod-micro-sim.html" title="Как обрезать SIM-карту под Micro SIM?"> <img width="150" height="98" src="/uploads/acd9433374e19d3cefba3a2d1112b23d.jpg" class="attachment-rel-thumbnail size-rel-thumbnail wp-post-image" alt="Как обрезать SIM-карту под Micro SIM?" / loading=lazy> </a> <a href="/hdd/kak-obrezat-simkartu-dlya-samsunga-kak-obrezat-sim-kartu-pod-micro-sim.html" title="Как обрезать SIM-карту под Micro SIM?">Как обрезать SIM-карту под Micro SIM?</a> </div> <div class="apost"> <a href="/windows-7/kak-podklyuchit-tarif-bezlim-messendzhery-tarif-kievstar.html" title="Тариф «Киевстар Разговоры» с региональными предложениями для звонков внутри сети Киевстар онлайн регион 2"> <img width="150" height="98" src="/uploads/0c0caa313a2421541bb997551d985f76.jpg" class="attachment-rel-thumbnail size-rel-thumbnail wp-post-image" alt="Тариф «Киевстар Разговоры» с региональными предложениями для звонков внутри сети Киевстар онлайн регион 2" / loading=lazy> </a> <a href="/windows-7/kak-podklyuchit-tarif-bezlim-messendzhery-tarif-kievstar.html" title="Тариф «Киевстар Разговоры» с региональными предложениями для звонков внутри сети Киевстар онлайн регион 2">Тариф «Киевстар Разговоры» с региональными предложениями для звонков внутри сети Киевстар онлайн регион 2</a> </div> <div class="apost"> <a href="/computer/samsung-galaxy-core-2-god-vypuska.html" title="Samsung galaxy core 2 год выпуска"> <img width="150" height="98" src="/uploads/ccb94530142c6b1d1dec3a7a0a7cfa00.jpg" class="attachment-rel-thumbnail size-rel-thumbnail wp-post-image" alt="Samsung galaxy core 2 год выпуска" / loading=lazy> </a> <a href="/computer/samsung-galaxy-core-2-god-vypuska.html" title="Samsung galaxy core 2 год выпуска">Samsung galaxy core 2 год выпуска</a> </div> <div class="apost"> <a href="/vkontakte/usloviya-bonusnyh-programm-usloviya-uchastiya-v-bonusnoi-programme.html" title="Условия участия в бонусной программе"> <img width="150" height="98" src="/uploads/3e7e4aaf733f106412baadf2c53156c0.jpg" class="attachment-rel-thumbnail size-rel-thumbnail wp-post-image" alt="Условия участия в бонусной программе" / loading=lazy> </a> <a href="/vkontakte/usloviya-bonusnyh-programm-usloviya-uchastiya-v-bonusnoi-programme.html" title="Условия участия в бонусной программе">Условия участия в бонусной программе</a> </div> </div> </div> <div class="navigation"> <div class="alignleft"></div> <div class="alignright"></div> </div> <div class="navigation"> <div class="alignleft"></div> <div class="alignright"></div> </div> </div> <aside id="sidebar"> <div class="searchbar"> <form action="/" id="cse-search-box" target="_blank"> <input type="text" placeholder="Поиск по сайту" class="search_field" name="s" /> <input type="submit" class="search_submit" name="sa" value="Найти" /> </form> </div> <div class="contema"> </div> <div id="text-37" class="widget widget_text"> <div class="sidebar_h2">Популярные материалы</div> <div class="textwidget"> <div style='margin-bottom:5px;'> <a href="/audio/blokirovshchik-reklamy-dlya-brauzera-gugl-hrom-adblock-dlya-vseh-brauzerov-moi.html" target="_blank" title="AdBlock для всех Браузеров">AdBlock для всех Браузеров</a> </div> <div style='margin-bottom:5px;'> <a href="/computer/skachat-programmu-dopdf-russkom-yazyke-besplatnyi-pdf-konverter-chto-takoe.html" target="_blank" title="Бесплатный PDF конвертер">Бесплатный PDF конвертер</a> </div> <div style='margin-bottom:5px;'> <a href="/browsers/lenovo-a6000-rabochaya-loshadka-so-zvukom-dolby-digital-obzor-lenovo-a6000-byudzhetnyi.html" target="_blank" title="Обзор Lenovo A6000 — бюджетный работяга Прошивка 061 для леново а 6000">Обзор Lenovo A6000 — бюджетный работяга Прошивка 061 для леново а 6000</a> </div> <div style='margin-bottom:5px;'> <a href="/browsers/meizu-m5s-kak-otklyuchit-bystruyu-zaryadku-kak-vklyuchit-bystruyu-zaryadku-ili.html" target="_blank" title="Как включить быструю зарядку или отключить на Android (инструкция)">Как включить быструю зарядку или отключить на Android (инструкция)</a> </div> <div style='margin-bottom:5px;'> <a href="/browsers/kakuyu-vindu-luchshe-ustanovit-na-noutbuk-kakuyu-vindu-luchshe.html" target="_blank" title="Какую винду лучше ставить на компьютер?">Какую винду лучше ставить на компьютер?</a> </div> <div style='margin-bottom:5px;'> <a href="/vkontakte/seld-pod-shuboi-po-gostu-seld-pod-shuboi-1-seld-pod-shuboi-firmennaya.html" target="_blank" title="Сельдь под шубой по госту">Сельдь под шубой по госту</a> </div> <div style='margin-bottom:5px;'> <a href="/hdd/disk-imeet-stil-razdelov-gpt-kak-ustanovit-windows-na-gpt-disk-poshagovaya.html" target="_blank" title="Как установить windows на GPT диск?">Как установить windows на GPT диск?</a> </div> <div style='margin-bottom:5px;'> <a href="/usb-flash-drive/sozdanie-stranicy-v-joomla-na-primere-materiala-sozdanie-stranicy-v-joomla-na.html" target="_blank" title="Создание страницы в Joomla на примере материала Как создать материал">Создание страницы в Joomla на примере материала Как создать материал</a> </div> <div style='margin-bottom:5px;'> <a href="/audio/kak-podklyuchit-avtomobilnyi-usilitel-svoimi-rukami-vse-o-vklyuchenii.html" target="_blank" title="Все о включении динамиков Подключение двух динамиков в одной колонки">Все о включении динамиков Подключение двух динамиков в одной колонки</a> </div> <div style='margin-bottom:5px;'> <a href="/vkontakte/kakoi-iphone-luchshe-derzhit-zaryadku-batareya-iphone-x-na-skolko-hvataet-i-skolko.html" target="_blank" title="Батарея iPhone X: на сколько хватает и сколько заряжается?">Батарея iPhone X: на сколько хватает и сколько заряжается?</a> </div> </div> </div> <div id="text-38" class="widget widget_text"> <div class="sidebar_h2">Лучшие статьи</div> <div class="textwidget"> <div class="text_picture"> <div class="picture"> <div class="picture_img"> <a target="_blank" href="/usb-flash-drive/qualcomm-quick-charge-3-0-podderzhivaemye-ustroistva-qualcomm-quick-charge-chto.html" title="0 поддерживаемые устройства"><img src="/uploads/8890dc6005e0c12d87e55d455a3b98e2.jpg" alt="0 поддерживаемые устройства" / loading=lazy></a> </div> </div> <div class="picture"> <div class="picture_img"> <a target="_blank" href="/classmates/chto-takoe-versiya-yadra-3-10-65-pereproshivka-yadra-android-ustroistva-chto.html" title="Что такое версия ядра 3.10 65. Перепрошивка ядра андроид-устройства. Что представляет собой ядро мобильного устройства"><img src="/uploads/5e759b66275ded585136308b80026e70.jpg" alt="Что такое версия ядра 3.10 65. Перепрошивка ядра андроид-устройства. Что представляет собой ядро мобильного устройства" / loading=lazy></a> </div> </div> <div class="picture"> <div class="picture_img"> <a target="_blank" href="/hdd/biblioteka-standartnyh-podsistem-obsuzhdaem-plyusy-i-minusy-novshestva.html" title="Обсуждаем плюсы и минусы новшества"><img src="/uploads/de5086d86296bbef52f70f55a466cdb4.jpg" alt="Обсуждаем плюсы и минусы новшества" / loading=lazy></a> </div> </div> <div class="picture"> <div class="picture_img"> <a target="_blank" href="/windows-7/kolontituly-kolontituly-v-excel-kak-udalit-verhnii-kolontitul-v.html" title="Колонтитулы в Excel Как удалить верхний колонтитул в экселе"><img src="/uploads/a4fe872ffc80a7d1c38fa0c4c298729d.jpg" alt="Колонтитулы в Excel Как удалить верхний колонтитул в экселе" / loading=lazy></a> </div> </div> <div class="picture"> <div class="picture_img"> <a target="_blank" href="/odnoklassniki/gde-nahodyatsya-draivera-na-kompyutere-gde-naiti-i-kak-ustanovit.html" title="Где найти и как установить драйвера на ноутубк, компьютер"><img src="/uploads/636097eb4271edbfc652e736e31c347e.jpg" alt="Где найти и как установить драйвера на ноутубк, компьютер" / loading=lazy></a> </div> </div> <div class="picture"> <div class="picture_img"> <a target="_blank" href="/windows-7/samsung-galaxy-s8-sd835---tehnicheskie-harakteristiki-harakteristiki-galaxy-s8-i.html" title="Характеристики Galaxy S8 и Galaxy S8 Plus"><img src="/uploads/39503bccc021464eb48e86f6c56fe2a2.jpg" alt="Характеристики Galaxy S8 и Galaxy S8 Plus" / loading=lazy></a> </div> </div> <div class="picture"> <div class="picture_img"> <a target="_blank" href="/hdd/kak-obrezat-simkartu-dlya-samsunga-kak-obrezat-sim-kartu-pod-micro-sim.html" title="Как обрезать SIM-карту под Micro SIM?"><img src="/uploads/c29b7b78a531945b905f7399a1b38c1e.jpg" alt="Как обрезать SIM-карту под Micro SIM?" / loading=lazy></a> </div> </div> <div class="picture"> <div class="picture_img"> <a target="_blank" href="/windows-7/kak-podklyuchit-tarif-bezlim-messendzhery-tarif-kievstar.html" title="Тариф «Киевстар Разговоры» с региональными предложениями для звонков внутри сети Киевстар онлайн регион 2"><img src="/uploads/36e3960d79b2b600090afcca1a9b323b.jpg" alt="Тариф «Киевстар Разговоры» с региональными предложениями для звонков внутри сети Киевстар онлайн регион 2" / loading=lazy></a> </div> </div> </div> </div> </div> <div id="execphp-16" class="widget widget_execphp1"> <div class="sidebar_h2">Категории</div> <div class="execphpwidget"> <ul class="cat_icons"> <li class="cat-item cat-item-12"><a href="/category/programs/"><img src="https://beasthackerz.ru/wp-content/themes/seoslim/images/cat/cat_google-16x16.png" class="category_icon" alt="Программы" loading=lazy>Программы</a> </li> <li class="cat-item cat-item-12"><a href="/category/browsers/"><img src="https://beasthackerz.ru/wp-content/themes/seoslim/images/cat/cat_google-16x16.png" class="category_icon" alt="Браузеры" loading=lazy>Браузеры</a> </li> <li class="cat-item cat-item-12"><a href="/category/windows-7/"><img src="https://beasthackerz.ru/wp-content/themes/seoslim/images/cat/cat_google-16x16.png" class="category_icon" alt="Windows 7" loading=lazy>Windows 7</a> </li> <li class="cat-item cat-item-12"><a href="/category/computer/"><img src="https://beasthackerz.ru/wp-content/themes/seoslim/images/cat/cat_google-16x16.png" class="category_icon" alt="Компьютер" loading=lazy>Компьютер</a> </li> <li class="cat-item cat-item-12"><a href="/category/vkontakte/"><img src="https://beasthackerz.ru/wp-content/themes/seoslim/images/cat/cat_google-16x16.png" class="category_icon" alt="ВКонтакте" loading=lazy>ВКонтакте</a> </li> <li class="cat-item cat-item-12"><a href="/category/audio/"><img src="https://beasthackerz.ru/wp-content/themes/seoslim/images/cat/cat_google-16x16.png" class="category_icon" alt="Аудио" loading=lazy>Аудио</a> </li> <li class="cat-item cat-item-12"><a href="/category/odnoklassniki/"><img src="https://beasthackerz.ru/wp-content/themes/seoslim/images/cat/cat_google-16x16.png" class="category_icon" alt="Одноклассники" loading=lazy>Одноклассники</a> </li> <li class="cat-item cat-item-12"><a href="/category/skype/"><img src="https://beasthackerz.ru/wp-content/themes/seoslim/images/cat/cat_google-16x16.png" class="category_icon" alt="Skype" loading=lazy>Skype</a> </li> </ul> </div> </div> <div id="execphp-6" class="widget widget_execphp"> <br> <div class="execphpwidget"> <div class="fixed"> </div> </div> </div> </aside> <div class="aligncenter linkfoot" style="clear:both; text-align: center; margin: 5px 0px;"></div> </div> <a href="#" id="scrollup"><img src="https://beasthackerz.ru/wp-content/themes/seoslim/images/go_up.png" alt="наверх" / loading=lazy></a> <script type="text/javascript"> jQuery( document ).ready(function() { jQuery('#scrollup img').click( function(){ $('html, body').animate({ scrollTop : 0} ,800); return false; } ); jQuery(window).scroll(function(){ if ( jQuery(document).scrollTop() > 200 ) { jQuery('#scrollup').fadeIn('slow'); } else { jQuery('#scrollup').fadeOut('slow'); } } ); } ); </script> </div> <div class="footerarea"> <footer> <nav> <div class="menu-menyu2-container"><ul id="menu-menyu2" class="menu"> <li id="menu-item-" class="menu-item menu-item-type-custom menu-item-object-custom current-menu-item current_page_item menu-item-"><a href="/category/programs/">Программы</a></li> <li id="menu-item-" class="menu-item menu-item-type-custom menu-item-object-custom current-menu-item current_page_item menu-item-"><a href="/category/browsers/">Браузеры</a></li> <li id="menu-item-" class="menu-item menu-item-type-custom menu-item-object-custom current-menu-item current_page_item menu-item-"><a href="/category/windows-7/">Windows 7</a></li> <li id="menu-item-" class="menu-item menu-item-type-custom menu-item-object-custom current-menu-item current_page_item menu-item-"><a href="/category/computer/">Компьютер</a></li> <li id="menu-item-" class="menu-item menu-item-type-custom menu-item-object-custom current-menu-item current_page_item menu-item-"><a href="/category/vkontakte/">ВКонтакте</a></li> <li id="menu-item-" class="menu-item menu-item-type-custom menu-item-object-custom current-menu-item current_page_item menu-item-"><a href="/category/audio/">Аудио</a></li> <li id="menu-item-" class="menu-item menu-item-type-custom menu-item-object-custom current-menu-item current_page_item menu-item-"><a href="/category/odnoklassniki/">Одноклассники</a></li> <li id="menu-item-" class="menu-item menu-item-type-custom menu-item-object-custom current-menu-item current_page_item menu-item-"><a href="/category/skype/">Skype</a></li> </ul></div> </nav> <div class="licounter"> </div> </footer> </div> <div class="footercopy"> <div class="fcopycent"> <p>© 2024 beasthackerz.ru - Браузеры. Аудио. Жесткий диск. Программы. Локальная сеть. Windows</p> </div> </div> <script type= "text/javascript">function GoTo(link){ window.open(link.replace("_","http://"));} </script> <script type="text/javascript" src="//vk.com/js/api/openapi.js?96"></script> <script> jQuery(function(){ jQuery.ajax({ url: 'http://api.vk.com/method/groups.getById?gid=68085557&fields=members_count', dataType: "jsonp", success:function(e){ jQuery('#vkontakte_count').html(e.response[0].members_count) } } ); } ); </script> <script type="text/javascript"> $(".closed").toggleClass("show"); $(".title").click(function(){ $(this).parent().toggleClass("show").children("div.contents").slideToggle("medium"); if ($(this).parent().hasClass("show")) $(this).children(".title_h3").css("background","#bbbbbb"); else $(this).children(".title_h3").css("background","#dddddd"); } ); </script> <script type='text/javascript' src='https://beasthackerz.ru/wp-content/plugins/boom-social/assets/js/jquery.cookie.js'></script> <script type='text/javascript' src='/wp-includes/js/comment-reply.min.js'></script> <script type='text/javascript' src='https://beasthackerz.ru/wp-content/plugins/wp-postratings/js/postratings-js.js'></script> <script type='text/javascript' src='https://beasthackerz.ru/wp-content/plugins/wp-syntax/js/wp-syntax.js'></script> <script type='text/javascript'> var q2w3_sidebar_options = new Array(); q2w3_sidebar_options[0] = { "sidebar" : "sidebar-1", "margin_top" : 25, "margin_bottom" : 370, "stop_id" : "", "screen_max_width" : 0, "screen_max_height" : 0, "width_inherit" : false, "refresh_interval" : 1500, "window_load_hook" : false, "disable_mo_api" : false, "widgets" : ['execphp-6'] } ; </script> <script type='text/javascript' src='https://beasthackerz.ru/wp-content/plugins/q2w3-fixed-widget/js/q2w3-fixed-widget.min.js'></script> <script type='text/javascript' src='/wp-includes/js/wp-embed.min.js'></script> </body> </html>