User-agent: *
Disallow: /wp-
Disallow: /images/
Disallow: /cgi-bin/
Disallow: /any other folder to be excluded/
User-agent: * : Bütün spiderlara (Arama robotlarina) izin verdigimizi gösterir
Disallow: /wp- : wp ile baslayan Wordpress files larin hicbiri indexlenmez
Disallow: /cgi-bin/ : cgi-bin klasörü indexlenmez
Disallow: /Buraya indexlenmesini istemediginiz dosyayi yaziniz/
üstteki site ile bu dosyanizi olusturabilirsiniz
Örnek bir uygulama:
Kod: Tümünü seç
User-agent: *
Allow: /
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /search/*/feed
Disallow: /search/*/*
Disallow: /
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
#User-agent: ia_archiver-web.archive.org
#Disallow: /
Sitemap: http://www.askapache.com/sitemap.xml