User-agent: UNetBot Disallow: /a/ Disallow: /stat/ Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ User-agent: * Disallow: / User-agent: Yandex Allow: / User-agent: * Disallow: / Sitemap: http://rzona.net.ru/sitemap.xml Sitemap: http://rzona.net.ru/sitemap-forum.xml #Пример корректно составленного robots.txt, при обработке #которого директива Host учитывается User-Agent: * Disallow: Host: www.rzona.net.ru #Примеры некорректно составленных robots.txt, при обработке #которых директива Host может не учитываться #1. User-Agent: * Host: www.rzona.ucoz.com #2. Host: www.rzona.net.ru User-Agent: * Disallow: