Составляем карту сайта, используя плагин Google XML Sitemaps
Из Консоли сайта переходим на вкладку Плагины, затем Добавить новый.
Вносим в строку поиск: Google XML Sitemaps. Появляется наш плагин, нажимаем Установить.
Когда установка закончится, откроется страничка, на которой жмём Активировать плагин.
После окончания активации его можно увидеть на страничке Плагины в Консоли нашего сайта. В настройках появляется ссылка XML-Sitemap.
Переходим по ссылке и попадаем на карту сайта, настройки можно не менять, в конце кнопка Обновить. Теперь, когда мы добавляем новые статьи, они встраиваются в карту сайта и робот видит новинки и индексирует их.
Установка файла Robots.txt
После построения карты, необходимо заняться файлом Robots.txt. Он и даст информацию поисковым системам, что индексировать, а что не трогать. Я использую файл, который предлагает Евгений Вергус в своих уроках. Его можно скачать по ссылке к себе на компьютер. Теперь скаченный файл необходимо отредактировать. Для этого в двух последних строках удаляем имя моего сайта и на это место вставляем вашего сайта. Изменяем только имя, всё остальное не трогаем!
Сохраняем изменённый файл к себе на компьютер. Теперь его необходимо поместить в папку сайта, которую именуют корневой. Сначала определяем какая папка будет корневой для вашего сайта. Заходим в свой аккаунт на хостинге. Данные для входа берём в письме, которое приходило при регистрации на нём. Нажимаем на вкладку Сайты и в открывшемся окне смотрим к какой директории привязано доменное имя конкретно вашего сайта. У меня это wordpress, она и является корневой папкой.
Теперь переходим по вкладке Файловый менеджер,
идём в папку, которая является корневой на вашем сайте (кликаем по ней), а затем в папку: public_html Сюда мы и будем добавлять Robots.txt
Нажимаем : Файл, а в выпадающем меню: Загрузить на сервер.
Открывается окно, где нажимаем по кнопке Прикрепить файл, находим на вашем компьютере откорректированный Robots.txt нажимаем Открыть и далее Загрузить. После этого в папке public_html появится Robots.txt Проверяем правильно ли всё установилось, для этого добавляем в адресную строку браузера, после имени сайта комбинацию / robots.txt
Откроется установленный файл прямо в браузере. Так можно проверить какой Robots.txt установлен и на других сайтах.
Благодарю, что поделились информацией в соц сетях
