Как оптимизировать robots.txt для WordPress

Как оптимизировать robots.txt для WordPress

Вы хотите оптимизировать файл robots.txt для WordPress? Не знаете, почему и как файл robots.txt важен для вашего сайта?В этой статье мы покажем, как оптимизировать ваш robots.txt WordPress и поможем понять важность файла robots.txt.

 

Действительно ли нужен файл Robots.txt?

Отсутствие файла robots.txt не остановит поисковые системы от сканирования и индексирования вашего сайта. Однако настоятельно рекомендуется создать его. Если вы хотите отправить XML-карту своего сайта в поисковые системы, тогда поисковые системы будут искать вашу карту сайта XML, если вы не указали ее в Инструментах Google для веб-мастеров.

Настоятельно рекомендуется, если у вас нет файла robots.txt на вашем сайте, сразу же создаете его.

Где находится файл Robots.txt? Как создать файл Robots.txt?

Файл Robots.txt обычно находится в корневой папке вашего сайта. Вам нужно будет подключиться к вашему сайту с помощью FTP-клиента или с помощью файлового менеджера cPanel для его просмотра.

Это обычный текстовый файл, и вы можете открыть его с помощью обычного текстового редактора, такого как Блокнот.

Если у вас нет файла robots.txt в корневом каталоге вашего сайта, вы всегда можете его создать. Все, что вам нужно сделать, это создать новый текстовый файл на вашем компьютере и сохранить его как robots.txt. Затем просто загрузите его в корневую папку вашего сайта.

Как использовать файл Robots.txt?

Формат файла robots.txt на самом деле довольно прост. Первая строка обычно называет user agent. User agent на самом деле является именем поискового робота, с которым вы пытаетесь связаться. Например, Googlebot или Yndexbot. Вы можете использовать звездочку * для указания всех ботов.

Следующая строка следует с инструкциями «Разрешить»(Allow) или «Запретить»(Disallow) для поисковых систем, чтобы они знали, какие разделы или страницы вы хотите индексировать, а какие запретить индексировать.

В этом примере файла robots.txt для WordPress мы поручили всем ботам индексировать наш каталог загрузки изображений.

В следующих двух строках мы запретили им индексировать наш каталог плагинов WordPress и файл readme.html.

Оптимизация файла Robots.txt для SEO

В руководстве для веб-мастеров Google советует веб-мастерам не использовать файл robots.txt для скрытия контента низкого качества. Если вы думали об использовании файла robots.txt, чтобы Google не индексировал вашу категорию, дату и другие архивные страницы, это может быть не разумным выбором.

Помните, что цель robots.txt — проинструктировать ботов о том, что делать с содержимым, которое они сканируют на вашем сайте. Он не останавливает ботов от сканирования вашего сайта.

Существуют плагины WordPress, которые позволяют добавлять мета-теги, такие как nofollow и noindex, на ваши архивные страницы. Плагин WordPress SEO также позволяет вам это делать. Мы не говорим, что у вас должны быть деиндексированы ваши архивные страницы, но если вы хотите это сделать, то вот правильный способ сделать это.

Как оптимизировать robots.txt для WordPress

Вам не нужно добавлять страницу входа в WordPress, каталог администратора или страницу регистрации в файл robots.txt, поскольку страницы входа и регистрации не имеют тега noindex, добавленного в качестве метатега WordPress.

В файле robots.txt рекомендуется отключить файл readme.html. Этот файл readme может использоваться кем-то, кто пытается выяснить, какую версию WordPress вы используете. Если это был человек, то они могут легко получить доступ к файлу, просто просмотрев его.

С другой стороны, если кто-то запускает вредоносный запрос для поиска сайтов WordPress с использованием определенной версии, то этот тег запрета может защитить вас от этих массовых атак.

Вы также можете запретить свой каталог плагина WordPress. Это усилит безопасность вашего сайта, если кто-то ищет уязвимый плагин для использования для массового нападения.

Добавление файла XML в файл Robots.txt

Если вы используете плагин WordPress SEO Yoast или какой-либо другой плагин для создания вашей XML-карты, ваш плагин попытается автоматически добавить.

Однако, если это не удается, ваш плагин покажет вам ссылку на ваши XML-файлы Sitemap, которые вы можете добавить в свой файл robots.txt вручную следующим образом:

Как выглядит идеальный файл Robots.txt?

Честно говоря, многие популярные блоги используют очень простые файлы robots.txt. Их содержимое варьируется в зависимости от потребностей конкретного сайта:

Этот файл robots.txt просто сообщает всем ботам индексировать весь контент и предоставляет ссылки на XML-файлы сайта.

Вот еще один пример файла robots.txt, на этот раз это тот, который мы используем здесь: