¡Muy buenas!
¡Aquí David Ayala de nuevo!

En esta ocasión vengo con un post más bien práctico en el que te voy a explicar cuando y por qué deberías bloquear los robots de herramientas como SEMrush, Ahrefs o similar. Además también te diré como puedes bloquearlos y te enseñaré a hacerlo de manera sencilla por robots.txt y htaccess.

¡Comenzamos!

 

Para que sirve bloquear los robots de las herramientas

Una de las obsesiones que tenemos los SEO es evitar que la competencia pueda ver el 100% de nuestras acciones. Por ello intentamos ponérselo lo más difícil posible.

En este aspecto una de las cosas que pretendemos evitar es que detecten parte de nuestra estrategia de link building, no obstante tengo que decir que la gran mayoría de links no vamos a poder ocultarlos a herramientas como Ahrefs o SEMrush.

Para poder bloquear esos links debemos tener acceso a la web donde hemos hecho el enlace pues necesitaremos editar el htaccess o el robots.txt y bloquear así el acceso a los robots de las herramientas.

Cuando debo bloquearlos

Bloquear los bots de las herramientas en tu money site no tiene sentido por que solo bloquearás que puedan rastrar tu web y que vean los ENLACES EXTERNOS hacia otras webs (no los que entran hacia la tuya). Por lo tanto donde debes bloquear el rastreo es en tus otras webs o en tu PBN desde donde te enlazarás a tu money site.

De esta manera no podrán rastrear los links que sacaste desde tu PBN.

bloquear robots herramientas

Formas de bloquearlos

Para el bloqueo de los robots de las herramientas SEO podemos directamente utilizar un plugin para WordPress. En su momento probé el plugin link privacy y funcionaba bien pero la verdad es que ahora no se como estará funcionando. Era activarlo y funcionar directamente.

No obstante tengo que decir que no hace falta ningún plugin para esto, podemos directamente bloquear los robots de las herramientas SEO mediante unas pocas lineas en nuestro htaccess o en nuestro robots.txt.

A continuación te explicaré como bloquear los bots de las herramientas SEO más comunes.

Cómo bloquear los robots de ahrefs

Bloquear a ahrefs es muy sencillo, tan solo tendrás que introducir lo siguiente en tu robots.txt:

User-agent: AhrefsBot
Disallow: /

También puedes hacerlo por htaccess:
SetEnvIfNoCase User-Agent «^ahrefsbot» bad_user

(Al bloquear por htaccess tendrás que introducir esta linea –> Deny from env=bad_user <– y tan solo la meterás una vez en todo el htaccess)

Cómo bloquear los robots de semrush

Para bloquear a semrush tendrás que introducir lo siguiente en tu robots.txt:
User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /

También puedes hacerlo por htaccess:
SetEnvIfNoCase User-Agent «^semrushbot» bad_user
SetEnvIfNoCase User-Agent «^semrushbot-sa» bad_user

Cómo bloquear los robots de majestic SEO

Para bloquear a majestic SEO tendrás que introducir lo siguiente en tu robots.txt:
User-agent: MJ12bot
Disallow: /

También puedes hacerlo por htaccess:
SetEnvIfNoCase User-Agent «^mj12bot» bad_user

Cómo bloquear los robots de sistrix

Para bloquear a sistrix tendrás que introducir lo siguiente en tu robots.txt:
User-agent: sistrix
Disallow: /

También puedes hacerlo por htaccess:
SetEnvIfNoCase User-Agent «^sistrix» bad_user

Cómo bloquear los robots de moz

Para bloquear a moz tendrás que introducir lo siguiente en tu robots.txt:

User-agent: dotbot
Disallow: /

User-agent: RogerBot
Disallow: /

También puedes hacerlo por htaccess:
SetEnvIfNoCase User-Agent «^dotbot» bad_user
SetEnvIfNoCase User-Agent «^rogerbot» bad_user

Cómo bloquear los robots de alexa

Para bloquear a alexa tendrás que introducir lo siguiente en tu robots.txt:
User-agent: ia_archiver
Disallow: /

También puedes hacerlo por htaccess:
SetEnvIfNoCase User-Agent «^ia_archiver» bad_user

Cómo bloquear los robots de seokicks.de

Para bloquear a seokicks tendrás que introducir lo siguiente en tu robots.txt:
User-agent: SEOkicks-Robot
Disallow: /

También puedes hacerlo por htaccess:
SetEnvIfNoCase User-Agent «^seokicks-robot» bad_user

Cómo bloquear los robots de searchmetrics.com

Para bloquear a searchmetric tendrás que introducir lo siguiente en tu robots.txt:
User-agent: SearchmetricsBot
Disallow: /

También puedes hacerlo por htaccess:
SetEnvIfNoCase User-Agent «^searchmetricsbot» bad_user

Cómo bloquear los robots de openlinkprofiler.org

Para bloquear a openlinkprofiler tendrás que introducir lo siguiente en tu robots.txt:
User-agent: spbot
Disallow: /

También puedes hacerlo por htaccess:
SetEnvIfNoCase User-Agent «^spbot» bad_user

Cómo bloquear los robots de Xovi

Para bloquear a xovi tendrás que introducir lo siguiente en tu robots.txt:
User-agent: xovi
Disallow: /
User-agent: XoviBot
Disallow: /

También puedes hacerlo por htaccess:
SetEnvIfNoCase User-Agent «^xovi» bad_user
SetEnvIfNoCase User-Agent «^xovibot» bad_user

Conclusiones sobre el bloqueo de robots

Como habéis podido comprobar, es muy sencillo bloquear los robots de las herramientas SEO, no obstante no siempre será interesante hacerlo a menos que tengamos PBN o webs desde las que sacamos links hacia nuestros money site.

Existen muchísimos más robots de otras herramientas, por lo cual ponerlos todos sería imposible, no obstante si conoces alguno más, déjamelo en comentarios y lo añadiré.

De igual manera quiero que me cuentes tu experiencia con esto en un comentario o me digas lo que se te pase por tu cabeza, ¡Quiero leerlo!