# Служебные страницы взяты из примеров. Таких как http://www.seoipb.ru/robotstxt.html # Запрет роботам на поиски, логины, профили, ответы, смайлы и т.п... # смутило наличие у многих запретной директивы Disallow: /*&showtopic Пока убрал из этого фала её User-agent: * Disallow: /*index.php?act=idx Disallow: /*index.php?act=Login Disallow: /*index.php?act=Search Disallow: /*index.php?act=Shoutbox Disallow: /*index.php?act=Reg Disallow: /*index.php?act=Msg Disallow: /*index.php?act=Mail Disallow: /*index.php?act=Forward Disallow: /*index.php?act=Track Disallow: /*index.php?act=Post Disallow: /*index.php?act=post Disallow: /*index.php?act=Print Disallow: /*index.php?act=ST Disallow: /*index.php?act=boardrules Disallow: /*?act=boardrules Disallow: /*index.php?act=Help Disallow: /*index.php?act=Stats Disallow: /*index.php?act=stats Disallow: /*index.php?act=Members Disallow: /*index.php?act=Online Disallow: /*index.php?act=SR Disallow: /*index.php?act=SF Disallow: /*index.php?act=ICQ Disallow: /*index.php?act=MSN Disallow: /*index.php?act=AOL Disallow: /*index.php?act=AIM Disallow: /*index.php?act=SC Disallow: /*index.php?act=task Disallow: /*index.php?act=findpost Disallow: /*index.php?act=UserCP Disallow: /*index.php?act=usercp Disallow: /*index.php?&act= Disallow: /*index.php?act=report Disallow: /*index.php?act=buddy Disallow: /*index.php?act=legends Disallow: /*index.php?CODE= Disallow: /*index.php?act=attach Disallow: /*index.php?act=Attach Disallow: /*index.php?&&CODE= Disallow: /*index.php?&debug=1 Disallow: /*index.php?act=Profile Disallow: /*index.php?showuser Disallow: /*index.php?s= Disallow: /*&view=getnewpost$ Disallow: /*&view=getlastpost$ Disallow: /*&view=old$ Disallow: /*&view=new$ Disallow: /*&view=getfirst$ Disallow: /*&view=getprevious$ Disallow: /*&view=getnext$ Disallow: /*&view=getlast$ Disallow: /*mode=linear Disallow: /*mode=threaded Disallow: /*mode=linearplus Disallow: /*&p= Disallow: /*&pid= Disallow: /*&gopid= Disallow: /*&hl= Disallow: /*&start= Disallow: /*gallery&req=stats Disallow: /*gallery&req=user Disallow: /*gallery&req=slideshow User-agent: Yahoo! Disallow: / # Яху и Апорт закрываем полностью - только нагрузка на сервер от них User-agent: Slurp Disallow: / # Если верить YAHOO HELP (help.yahoo.com/l/us/yahoo/search/webcrawler/slurp-02.html) # Их агент называется Slurp. Оставлю пока оба варианта. User-agent: Aport Disallow: /