# Оптимизированный robots.txt для 1c.platforma-it.ru
# Дата обновления: 27.06.2025
# Исправлены конфликты Disallow vs Clean-param согласно документации Яндекса

# ========================================
# ОБЩИЕ ПРАВИЛА ДЛЯ ВСЕХ БОТОВ
# ========================================
User-Agent: *

# Блокируем служебные директории
Disallow: /bitrix/
Disallow: /local/
Disallow: /personal/
Disallow: /auth/
Disallow: /basket/
Disallow: /order/
Disallow: /cart/
Disallow: /search/
Disallow: /subscribe/
Disallow: /registration/
Disallow: /support/
Disallow: /cabinet/
Disallow: /info/more/
Disallow: /pages/
Disallow: /sitemap/

# Блокируем служебные файлы
Disallow: */index.php
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /include/licenses_detail.php

# Блокируем проблемные параметры (основные поисковые)
Disallow: /*?s=*
Disallow: /*?search=*
Disallow: /*?display=*
Disallow: /*?sort=*
Disallow: /*?print=*
Disallow: /*&print=*
Disallow: /*?action=*
Disallow: /*&action=*
Disallow: /*?name=*
Disallow: /*?year=*
Disallow: /*?bxajaxid=*
Disallow: /*&bxajaxid=*
Disallow: /*?view_result=*
Disallow: /*&view_result=*

# Блокируем только критичные служебные параметры (остальные в Clean-param)
Disallow: /*clear_cache_session=*
Disallow: /*back_url_admin=*

# Блокируем критичные пользовательские действия (остальные в Clean-param)  
Disallow: /*register=*
Disallow: /*forgot_password=*
Disallow: /*change_password=*

# Блокируем UTM и рекламные метки (основные)
Disallow: /*?utm*
Disallow: /*&utm*
Disallow: /*?ref*
Disallow: /*&ref*
Disallow: /*?from*
Disallow: /*&from*
Disallow: /*gclid*
Disallow: /*yclid*
Disallow: /*ymclid*
Disallow: /*?tid*
Disallow: /*&tid*
Disallow: /*openstat*

# Блокируем фильтры
Disallow: /*filter/*

# Блокируем пагинацию (дублирующий контент)
# Страницы пагинации получают noindex через canonical.php
Disallow: /*?PAGEN_*
Disallow: /*&PAGEN_*

# Блокируем дубли первой страницы пагинации
Disallow: /*?PAGEN_1=1$
Disallow: /*?PAGEN_1=1&*

# Разрешаем важные ресурсы
Allow: /bitrix/*.css
Allow: /bitrix/*.js
Allow: /bitrix/*.png
Allow: /bitrix/*.jpg
Allow: /bitrix/*.gif
Allow: /bitrix/*.svg
Allow: /bitrix/*.woff
Allow: /bitrix/*.woff2
Allow: /local/templates/
Allow: /local/components/
Allow: /local/*.css
Allow: /local/*.js
Allow: /local/*.jpg
Allow: /local/*.png
Allow: /local/*.gif
Allow: /local/*.svg
Allow: /upload/

# Карта сайта
Sitemap: https://1c.platforma-it.ru/sitemap.xml

# ========================================
# СПЕЦИАЛЬНЫЕ ПРАВИЛА ДЛЯ GOOGLE
# ========================================
User-Agent: Googlebot
# Разрешаем важные ресурсы ПЕРЕД блокировкой директорий
Allow: /bitrix/*.css
Allow: /bitrix/*.js
Allow: /bitrix/*.png
Allow: /bitrix/*.jpg
Allow: /bitrix/*.gif
Allow: /bitrix/*.svg
Allow: /bitrix/*.woff
Allow: /bitrix/*.woff2
Allow: /upload/

# Блокируем служебные директории (после Allow правил)
Disallow: /bitrix/
Disallow: /local/
Disallow: /personal/
Disallow: /auth/
Disallow: /basket/
Disallow: /order/
Disallow: /search/
Disallow: /subscribe/
Disallow: /registration/
Disallow: /support/
Disallow: /cabinet/

# Блокируем пагинацию для Google (согласованность)
Disallow: /*?PAGEN_*
Disallow: /*&PAGEN_*

Sitemap: https://1c.platforma-it.ru/sitemap.xml

# ========================================
# СПЕЦИАЛЬНЫЕ ПРАВИЛА ДЛЯ ЯНДЕКСА
# ========================================
User-Agent: Yandex
Disallow: /bitrix/
Disallow: /local/
Disallow: /personal/
Disallow: /auth/
Disallow: /basket/
Disallow: /cart/
Disallow: /order/
Disallow: /search/
Disallow: /subscribe/
Disallow: /registration/
Disallow: /support/
Disallow: /cabinet/
Disallow: /*openstat*
Disallow: /*.swf
Disallow: /*.pdf
Disallow: */index.php
Disallow: /*clear_cache_session=*
Disallow: /*back_url_admin=*
Disallow: /*print_course=*
Disallow: /*register=*
Disallow: /*forgot_password=*
Disallow: /*change_password=*
Disallow: /*filter/*
Disallow: /info/more/
Disallow: /pages/
Disallow: /include/licenses_detail.php
Disallow: /sitemap/

# Блокируем пагинацию для Яндекса 
Disallow: /*?PAGEN_*
Disallow: /*&PAGEN_*
Disallow: /*?PAGEN_1=1$
Disallow: /*?PAGEN_1=1&*

# Разрешения для Яндекса
Allow: /bitrix/*.css
Allow: /bitrix/*.js
Allow: /bitrix/*.png
Allow: /bitrix/*.jpg
Allow: /bitrix/*.gif
Allow: /bitrix/*.svg
Allow: /bitrix/*.woff
Allow: /bitrix/*.woff2
Allow: /upload/


# Clean-param для Яндекса (убирает параметры из индексации)
# Ограничение: 500 символов на правило

# Пагинация и размеры (основные разделы)
Clean-param: PAGEN_1&PAGEN_2&PAGEN_3&SIZEN_1&SIZEN_2&SIZEN_3&SHOWALL_1&SHOWALL_2&SHOWALL_3

# Яндекс-специфичные параметры (не блокируемые в Disallow)
Clean-param: etext&sphrase_id&text&lr&redircnt

# Навигация и фильтрация (не блокируемые в Disallow)
Clean-param: year&month&day&result_id&page&limit&offset

# UTM и рекламные метки (группа 1)
Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term&utm_referrer&utm_id

# UTM и рекламные метки (группа 2)  
Clean-param: ref&from&source&medium&campaign&gclid&yclid&ymclid&fbclid&tid&openstat

# Битрикс служебные (группа 1)
Clean-param: bitrix_include_areas&clear_cache&show_include_exec_time&show_page_exec_time

# Битрикс служебные (группа 2) - не блокируемые в Disallow
Clean-param: show_sql_stat&bxajaxid&AJAX_CALL&mode&sessid

# Битрикс навигация и сравнение
Clean-param: backurl&back_url&BACKURL&BACK_URL&ADD_TO_COMPARE_LIST&DELETE_FROM_COMPARE_LIST

# Битрикс сортировка (не блокируемые в Disallow)
Clean-param: by&sort_by&sort_order&filter_name&filter_value

# Пользовательские действия (не блокируемые в Disallow)
Clean-param: logout&auth&subscribe&unsubscribe&vote&rating

# Формы и отладка
Clean-param: name&email&phone&message&subject&debug&test&test_mode&dev&development

# Система и кеширование  
Clean-param: preview&draft&version&revision&cache&nocache&refresh

# Email-маркетинг и аналитика
Clean-param: mc_cid&mc_eid&pk_campaign&pk_kwd&msclkid&adgroupid&targetid&_openstat

# Главное зеркало сайта для Яндекса
Host: 1c.platforma-it.ru

# Карта сайта для Яндекса
Sitemap: https://1c.platforma-it.ru/sitemap.xml


# ========================================
# БЛОКИРОВКА AI-БОТОВ И СКРАПЕРОВ
# ========================================
User-Agent: GPTBot
User-Agent: Claude-Web
User-Agent: ClaudeBot
User-Agent: anthropic-ai
User-Agent: cohere-ai
User-Agent: Bytespider
User-Agent: Google-Extended
User-Agent: PerplexityBot
User-Agent: Applebot-Extended
User-Agent: CCBot
User-Agent: SemrushBot
User-Agent: AhrefsBot
User-Agent: MJ12bot
User-Agent: Scrapy
User-Agent: magpie-crawler
User-Agent: DotBot
User-Agent: ChatGPT-User
User-Agent: GPT-4
User-Agent: Claude-1
User-Agent: Claude-2
User-Agent: Claude-3
User-Agent: Bard
User-Agent: PaLM
User-Agent: LaMDA
Disallow: /

# ========================================
# ДОПОЛНИТЕЛЬНЫЕ КАРТЫ САЙТА
# ========================================
# Основная карта сайта
Sitemap: https://1c.platforma-it.ru/sitemap.xml

# Дополнительные карты (если есть)
# Sitemap: https://1c.platforma-it.ru/sitemap-news.xml
# Sitemap: https://1c.platforma-it.ru/sitemap-images.xml