User-agent: *
Allow: /wp-content/uploads/*
Allow: /wp-content/*.js
Allow: /wp-content/*.css
Allow: /wp-includes/*.js
Allow: /wp-includes/*.css
Disallow: /cgi-bin
Disallow: /wp-content/plugins/ 
Disallow: /wp-content/themes/ 
Disallow: /wp-includes/ 
Disallow: /wp-admin/

Disallow: /*/attachment/
Disallow: /tag/*/page/
Disallow: /tag/*/feed/
Disallow: /page/
Disallow: /comments/
Disallow: /xmlrpc.php
Disallow: /?attachment_id*


# Permitir sitemap pero no las búsquedas.
  
Disallow: /?s=   
Disallow: /search

# Permitir Feed general para Google Blogsearch.   
# Impedir que /permalink/feed/ sea indexado pues el feed de comentarios suele posicionarse antes de los post.
# Impedir URLs terminadas en /trackback/ que sirven como Trackback URI (contenido duplicado).   

Allow: /feed/$
Disallow: /feed   
Disallow: /comments/feed   
Disallow: /*/feed/$   
Disallow: /*/feed/rss/$   
Disallow: /*/trackback/$   
Disallow: /*/*/feed/$   
Disallow: /*/*/feed/rss/$   
Disallow: /*/*/trackback/$   
Disallow: /*/*/*/feed/$   
Disallow: /*/*/*/feed/rss/$   
Disallow: /*/*/*/trackback/$

# Evita bloqueos de CSS y JS.

Allow: /*.js$
Allow: /*.css$

# Lista de bots que deberías permitir.

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Mobile
Allow: /

# Lista de bots que generan consultas abusivas aunque siguen las pautas del archivo robots.txt

User-agent: MSIECrawler
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

User-agent: libwww
Disallow: /

# Previene problemas de recursos bloqueados en Google Webmaster Tools
User-Agent: Googlebot
Allow: /*.css$
Allow: /*.js$

Sitemap: https://www.webmii.es/sitemap.xml
Sitemap: https://www.webmii.es/sitemap0.xml
Sitemap: https://www.webmii.es/sitemap1.xml
Sitemap: https://www.webmii.es/sitemap2.xml
Sitemap: https://www.webmii.es/sitemap3.xml
Sitemap: https://www.webmii.es/sitemap4.xml
Sitemap: https://www.webmii.es/sitemap5.xml
Sitemap: https://www.webmii.es/sitemap6.xml
Sitemap: https://www.webmii.es/sitemap7.xml
Sitemap: https://www.webmii.es/sitemap8.xml