User-agent: Yandex
Disallow: /ru
# запрещает скачивать все, кроме страниц 
# начинающихся с '/cgi-bin'