Как правильно настроить файл robots.txt в Opencart 4

После того как вы создали свой магазин на Опенкарт 4, одно из самых важных действий которое необходимо выполнить в первую очередь, это настроить файл robots.txt

Что такое robots.txt и для чего он нужен в Опенкарт 4

Robots.txt это текстовый файл который содержит рекомендации для роботов поисковых систем какие страницы индексировать, а какие нет.
В Opencart 4 есть множество страниц, которые нужно закрыть от индексирования поисковиками.
Это все страницы админки, служебные страницы, страницы кабинета пользователя, оформления заказа, регистрации и т.д.
Во первых делать это нужно для того, что бы все эти второстепенные страницы не конкурировали в поисковой выдаче с основными страницами (страницами товаров, категорий) по коммерческим запросам.
Во вторых, для того что бы снизить нагрузку на сайт при обходе поисковыми роботами.

Файл robots.txt поддерживает следующие директивы:

• User-agent * - Указывает для какого робота действуют перечисленные правила.
• Disallow -Запрещает роботу индексировать разделы или отдельные страницы сайта.
• Allow - Разрешает роботу индексировать разделы или отдельные страницы сайта.
• Clean-param - Указывает роботу, что URL страницы содержит параметры (например, UTM-метки), которые не нужно учитывать при индексировании.
• Host - указывает главное зеркало сайта
• Sitemap - Указывает путь к xml карте сайта sitemap.

В базовой версии Опенкарт 3 уже есть файл robots.txt, в котором перечислены основные правила для роботов. При необходимости вы можете дополнить его своими правилами. Так же вам нужно указать директивы (User-agent: Yandex) - Clean-param Host, Sitemap непосредственно для домена вашего сайта.

Как заполнить robots.txt если у вас кириллический домен?

Использование кириллицы запрещено в файле robots.txt и HTTP-заголовках сервера.
Для указания домена используйте Punycode. (Для кодировки воспользуйтесь этим конвертером) А адрес страницы указывайте в кодировке, соответствующей кодировке текущей структуры сайта.

Правильно настроенный файл robots.txt для Опенкарт 4

Ниже Вы можете скопировать уже готовый, правильный robots.txt и разместить его на своем сайте.
Только ВАЖНО!!! Не забудьте изменить в 3-х нижних строчках site.ru на ваш домен.

User-agent: *
Disallow: /*?page=$
Disallow: /*&page=$
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?filter_group=
Disallow: /*&filter_group=
Disallow: *utm=
 
User-agent: Yandex
Disallow: /*?page=$
Disallow: /*&page=$
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?filter_group=
Disallow: /*&filter_group=
Disallow: *utm=

Clean-Param: utm_source&utm_medium&utm_campaign site.ru
Host: https://site.ru
Sitemap: https://site.ru/sitemap.xml