User-agent: * Allow: /portal/html/ Allow: /portal/hattrick/ Allow: /index.html Disallow: /portal/html/admin.php Disallow: /portal/html/admin/ Disallow: /portal/html/images/ Disallow: /portal/html/includes/ Disallow: /portal/html/themes/ Disallow: /portal/html/blocks/ Disallow: /portal/html/modules/ Disallow: /portal/html/language/ Allow: /scw/ # # robots.txt para tu blog en WordPress. # # Usar bajo propia responsabilidad, que nos conocemos }:) # http://sigt.net/archivo/robotstxt-para-wordpress.xhtml # # Primero el contenido adjunto. User-Agent: * Allow: /*/wp-content/uploads/ Disallow: /*/wp-content/plugins/ Disallow: /*/wp-content/themes/ Disallow: /*/wp-includes/ Disallow: /*/wp-admin/ # También podemos desindexar todo lo que empiece # por wp-. Es lo mismo que los Disallow de arriba pero # incluye cosas como wp-rss.php Disallow: /*/wp- # # Sitemap permitido, búsquedas no. # #Sitemap: http://tu-web/sitemap.xml Disallow: /*/?s= Disallow: /*/search # # Permitimos el feed general para Google Blogsearch. # # Impedimos que permalink/feed/ sea indexado ya que el # feed con los comentarios suele posicionarse en lugar de # la entrada y desorienta a los usuarios. # # Lo mismo con URLs terminadas en /trackback/ que sólo # sirven como Trackback URI (y son contenido duplicado). # Allow: /*/feed/$ Disallow: /*/feed Disallow: /*/comments/feed Disallow: /*/*/feed/$ Disallow: /*/*/feed/rss/$ Disallow: /*/*/trackback/$ Disallow: /*/*/*/feed/$ Disallow: /*/*/*/feed/rss/$ Disallow: /*/*/*/trackback/$ Disallow: /*/*/*/*/feed/$ Disallow: /*/*/*/*/feed/rss/$ Disallow: /*/*/*/*/trackback/$