Проиндексировано, несмотря на блокировку в файле robots

()

Примеры ошибки

Частая ситуация: у вас стоит мета <meta name=»robots» content=»noindex, follow» />, но страницы попадают в индексацию Google Search Console.

Объясню простым языком, почему так происходит.

Робот Google Search Console собирается изучить (вручную проверить ответ можно тут) страницу, получает от robotx.txt ответ, что страница к индексу запрещена, и не видит вашего тега с запретом на индексацию.

Блокировка в Robots.txt

Как исправить?

Из-за того что у вас страница закрыта в robots.txt, бот не может ее просканировать и увидеть noindex. Уберите данные запреты

Disallow: /*?sort= Disallow: /*&sort=

И сами увидите как страницы быстро уйдут из индекса

Если хотите ускорить данный процесс, сформируйте отдельную карту сайта (xml) и отправьте её на переобход в Search Console.

Ответы вебмастеров

Пример ответов вебмастеров №1
Пример ответов вебмастеров №2

Как исправить ошибку в Robots.txt в Битрикс?

В данном случае необходимо удалить из файла Robots.txt директивы: Disallow: /?s= Disallow: /*?
А на всех мусорных страницах, которые Вы закрывали при помощи данной директивы прописать мета тег
meta name=»robots» content=»noindex, follow».

Насколько публикация полезна?

Нажмите на звезду, чтобы оценить!

Сожалеем, что вы поставили низкую оценку!

Позвольте нам стать лучше!

Расскажите, как нам стать лучше?