# Приватные и транзакционные разделы: в поиске им делать нечего, а краулинговый # бюджет они едят — что особенно чувствительно для свежего хоста en.visitugra.ru. User-agent: * Allow: / Disallow: /login Disallow: /logout Disallow: /registration Disallow: /recovery Disallow: /reset-password Disallow: /verification Disallow: /security Disallow: /profile Disallow: /order Disallow: /checkout Disallow: /payment Disallow: /ticket Disallow: /my_tracks # Яндекс, найдя секцию со своим именем, читает ТОЛЬКО её и полностью игнорирует # User-agent: * — общие правила ему не наследуются. Поэтому список продублирован. User-agent: Yandex Allow: / Disallow: /login Disallow: /logout Disallow: /registration Disallow: /recovery Disallow: /reset-password Disallow: /verification Disallow: /security Disallow: /profile Disallow: /order Disallow: /checkout Disallow: /payment Disallow: /ticket Disallow: /my_tracks # Параметры, не меняющие содержимое страницы. Разбито на несколько директив # осознанно: длина одной Clean-param ограничена 500 символами. # Первая строка — рекламные и переходные метки: они уникальны на каждый клик и # плодят по отдельному URL на каждый переход (видно в access.log: ?yclid=…, ?ysclid=…). Clean-param: yclid&ysclid&utm_source&utm_medium&utm_campaign&utm_content&utm_term&etext&from Clean-param: territory_id&location_type_id&category_id&type_id&selected_product_id&sort&page&q Clean-param: token&access_token