¡Muy buenas!
¡Aquí David Ayala de nuevo!
En esta ocasión vengo con un post más bien práctico en el que te voy a explicar cuando y por qué deberías bloquear los robots de herramientas como SEMrush, Ahrefs o similar. Además también te diré como puedes bloquearlos y te enseñaré a hacerlo de manera sencilla por robots.txt y htaccess.
¡Comenzamos!
Índice
- 1 Para que sirve bloquear los robots de las herramientas
- 2 Cuando debo bloquearlos
- 3 Formas de bloquearlos
- 3.1 Cómo bloquear los robots de ahrefs
- 3.2 Cómo bloquear los robots de semrush
- 3.3 Cómo bloquear los robots de majestic SEO
- 3.4 Cómo bloquear los robots de sistrix
- 3.5 Cómo bloquear los robots de moz
- 3.6 Cómo bloquear los robots de alexa
- 3.7 Cómo bloquear los robots de seokicks.de
- 3.8 Cómo bloquear los robots de searchmetrics.com
- 3.9 Cómo bloquear los robots de openlinkprofiler.org
- 3.10 Cómo bloquear los robots de Xovi
- 4 Conclusiones sobre el bloqueo de robots
Para que sirve bloquear los robots de las herramientas
Una de las obsesiones que tenemos los SEO es evitar que la competencia pueda ver el 100% de nuestras acciones. Por ello intentamos ponérselo lo más difícil posible.
En este aspecto una de las cosas que pretendemos evitar es que detecten parte de nuestra estrategia de link building, no obstante tengo que decir que la gran mayoría de links no vamos a poder ocultarlos a herramientas como Ahrefs o SEMrush.
Para poder bloquear esos links debemos tener acceso a la web donde hemos hecho el enlace pues necesitaremos editar el htaccess o el robots.txt y bloquear así el acceso a los robots de las herramientas.
Cuando debo bloquearlos
Bloquear los bots de las herramientas en tu money site no tiene sentido por que solo bloquearás que puedan rastrar tu web y que vean los ENLACES EXTERNOS hacia otras webs (no los que entran hacia la tuya). Por lo tanto donde debes bloquear el rastreo es en tus otras webs o en tu PBN desde donde te enlazarás a tu money site.
De esta manera no podrán rastrear los links que sacaste desde tu PBN.
Formas de bloquearlos
Para el bloqueo de los robots de las herramientas SEO podemos directamente utilizar un plugin para WordPress. En su momento probé el plugin link privacy y funcionaba bien pero la verdad es que ahora no se como estará funcionando. Era activarlo y funcionar directamente.
No obstante tengo que decir que no hace falta ningún plugin para esto, podemos directamente bloquear los robots de las herramientas SEO mediante unas pocas lineas en nuestro htaccess o en nuestro robots.txt.
A continuación te explicaré como bloquear los bots de las herramientas SEO más comunes.
Cómo bloquear los robots de ahrefs
Bloquear a ahrefs es muy sencillo, tan solo tendrás que introducir lo siguiente en tu robots.txt:
User-agent: AhrefsBot
Disallow: /
También puedes hacerlo por htaccess:
SetEnvIfNoCase User-Agent “^ahrefsbot” bad_user
(Al bloquear por htaccess tendrás que introducir esta linea –> Deny from env=bad_user <– y tan solo la meterás una vez en todo el htaccess)
Cómo bloquear los robots de semrush
Para bloquear a semrush tendrás que introducir lo siguiente en tu robots.txt:
User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /
También puedes hacerlo por htaccess:
SetEnvIfNoCase User-Agent “^semrushbot” bad_user
SetEnvIfNoCase User-Agent “^semrushbot-sa” bad_user
Cómo bloquear los robots de majestic SEO
Para bloquear a majestic SEO tendrás que introducir lo siguiente en tu robots.txt:
User-agent: MJ12bot
Disallow: /
También puedes hacerlo por htaccess:
SetEnvIfNoCase User-Agent “^mj12bot” bad_user
Cómo bloquear los robots de sistrix
Para bloquear a sistrix tendrás que introducir lo siguiente en tu robots.txt:
User-agent: sistrix
Disallow: /
También puedes hacerlo por htaccess:
SetEnvIfNoCase User-Agent “^sistrix” bad_user
Cómo bloquear los robots de moz
Para bloquear a moz tendrás que introducir lo siguiente en tu robots.txt:
User-agent: dotbot
Disallow: /
User-agent: RogerBot
Disallow: /
También puedes hacerlo por htaccess:
SetEnvIfNoCase User-Agent “^dotbot” bad_user
SetEnvIfNoCase User-Agent “^rogerbot” bad_user
Cómo bloquear los robots de alexa
Para bloquear a alexa tendrás que introducir lo siguiente en tu robots.txt:
User-agent: ia_archiver
Disallow: /
También puedes hacerlo por htaccess:
SetEnvIfNoCase User-Agent “^ia_archiver” bad_user
Cómo bloquear los robots de seokicks.de
Para bloquear a seokicks tendrás que introducir lo siguiente en tu robots.txt:
User-agent: SEOkicks-Robot
Disallow: /
También puedes hacerlo por htaccess:
SetEnvIfNoCase User-Agent “^seokicks-robot” bad_user
Cómo bloquear los robots de searchmetrics.com
Para bloquear a searchmetric tendrás que introducir lo siguiente en tu robots.txt:
User-agent: SearchmetricsBot
Disallow: /
También puedes hacerlo por htaccess:
SetEnvIfNoCase User-Agent “^searchmetricsbot” bad_user
Cómo bloquear los robots de openlinkprofiler.org
Para bloquear a openlinkprofiler tendrás que introducir lo siguiente en tu robots.txt:
User-agent: spbot
Disallow: /
También puedes hacerlo por htaccess:
SetEnvIfNoCase User-Agent “^spbot” bad_user
Cómo bloquear los robots de Xovi
Para bloquear a xovi tendrás que introducir lo siguiente en tu robots.txt:
User-agent: xovi
Disallow: /
User-agent: XoviBot
Disallow: /
También puedes hacerlo por htaccess:
SetEnvIfNoCase User-Agent “^xovi” bad_user
SetEnvIfNoCase User-Agent “^xovibot” bad_user
Conclusiones sobre el bloqueo de robots
Como habéis podido comprobar, es muy sencillo bloquear los robots de las herramientas SEO, no obstante no siempre será interesante hacerlo a menos que tengamos PBN o webs desde las que sacamos links hacia nuestros money site.
Existen muchísimos más robots de otras herramientas, por lo cual ponerlos todos sería imposible, no obstante si conoces alguno más, déjamelo en comentarios y lo añadiré.
De igual manera quiero que me cuentes tu experiencia con esto en un comentario o me digas lo que se te pase por tu cabeza, ¡Quiero leerlo!
RECIBIR NOVEDADES POR EMAIL
Amazon entra todos los días a mi web un mínimo de 20 veces con un sumado de rebote del 100%, con lo que eso supone. Cómo puedo bloquearlos?
Buenas!
Prueba por htaccess lo siguiente:
SetEnvIfNoCase User-Agent "^amazonaws" bad_user
Deny from env=bad_user
Una pregunta a Rocío: ¿estás vendiendo algo en Amazon? o ¿estás vendiendo algo que también se vende en Amazon?
Te lo comento porque si la respuesta a la primera pregunta es "sí", no te conviene nada bloquear a Amazon. Pero en el segundo caso, si que te puede interesar bloquear Amazon no solo por la tasa de rebote, sino tambien para que no tengan información de la competencia.
Si eres seller o vendor de Amazon, debes dejarles "investigar tu página" porque el posicionmiento que puedas "perder" lo ganarás en el posicionamiento dentro de Amazon… puede que hasta ganes con mas facilidad la "buybox" en mas de uno de tus productos.
David un listado muy interesante. Aunque siempre digo que si la competencia te copia o intenta ver lo que haces es que lo estás haciendo bien 😉
Saludos!
¿Alguna idea de cómo validar el robots.txt? Ahí tengo puesto el sitemap pero las WMT hace 2 años no reconoce el sitemap… buen artículo por cierto!
Muchas gracias David. Lo haré.
Y muchas gracias a Juan Carlos también. Y no, no vendo nada con amazon. Me estaba entrando hasta 70 veces al día, una gran parte de las veces. Empezó con 20 y me tiene frita.
Gracias David, me he librado de ellos por fin. Muchas muchas gracias. Eres un profesional maravilloso. Te sigo en varias redes, y lo que aportas es oro.
Buenas!! Tengo una pregunta, merece la pena bloquear esos bots? Supongo que si la competencia usa esas herramientas podrán mejorar su seo con respecto a lo que tengo, y no será bueno para mi que no uso esas herramientas.
Ahora les tengo bloqueados mandandoles a un 301 a cada enlace, pero quizás sería mejor de hacerlo hacerlo por htaccess para enviarles un 403? Mi gran duda es si bloquearles o no… No uso esas herramientas y la competencia se aprovechará de ellas.
Buenas! Respecto a tu web no notarás diferencia. Es decir, no ocultas los links que apuntan a tu web (no puedes evitar que Google rastree una web a la que no tienes acceso), si no que evitas que los bots de las herramientas puedan rastrear tu web y por lo tanto los enlaces que pones de tu web a otras. Entonces si enlazas desde proyectos tuyos, una PBN, etc a tu proyecto principal, ahí si interesa bloquearlos.