🕷️ Bloquear robots: La guerra contra las arañas

Las tendencias en internet cambian a pasos agigantados, quien le iba a decir a elRubius hace unos años que sus videos se harían virales y se forraría… aquí podéis ver una estimación de lo que gana

Recuerdo allá por el 2006 cuando hacer linkbuilding era añadir tu web a todos los directorios que encontrases, el tráfico de tu web, venía en gran parte de «TOPS» en los que luchabas contra tus competidores para escalar en el ranking consiguiendo votos de amigos, cuando un artículo de 300 líneas posicionaba y uno de 600 líneas era un artículo largo… Joder tengo 30 p**** años y hablo como si fuese alguien de 80 años… Si no vivisteis esa época siempre podéis echar una mirada al pasado con Wayback Machine.

Desde hace ya un tiempo y hasta no sabemos cuando, los nichos web lo están petando bastante, por lo general son mucho más sencillos y baratos de posicionar que una web multi-temática pero también son más inestables. Para colmo, Google nos lo pone cada vez más difícil acotando nuestras posibilidades de éxito, como por ejemplo, cuando el año pasado se puso muy duro contra las webs YMYL (Your Money Your Life), es decir todas aquellas que tratan de salud, medicina o que ofrecen información financiera. Esta serie de circunstancias hacen que las posibilidades de encontrar un buen nicho se reduzcan y que los webmasters nos preocupemos más en proteger nuestro nicho a capa y espada.

Competencia web

En este artículo os voy a mostrar como podemos bloquear el acceso de robots de las principales compañías de herramientas seo en nuestra web o nicho con el fin de ponerle más difícil a la competencia encontrar nuestro nicho y sumarse a la competencia.

🚫 Como bloquear robots

Los que ya sabéis como va esto del SEO, sabréis que me va a tocar hablar sobre cada uno de los puñeteros bots (y os aseguro que no me apetece nada) de modo que podéis hacer scroll hasta el final de la página y descargar el archivo robots.txt ya preparado con todos los robots añadidos, de esta manera Google pensará que este es un buen artículo y no una bazofia que la gente abandona al leer las primeras líneas.

📖 Como bloquear robots en WordPress

Para bloquear robots en WordPress, se haría igual que en cualquier otra página, subiendo el archivo robots.txt que podéis descargar al final de la página, al directorio raíz de vuestra instalación.

🤖 Bloquear bot Semrush

Pese a que el precio de la herramienta Semrush ronda los 100€ mensuales (el plan más económico), muchos SEO la usan para seguir la posición de diferentes keywords en sus webs, buscar nuevas keywords y por supuesto analizar nichos en busca de nuevas oportunidades de negocio. Para permanecer al margen de esta herramienta, basta con añadir esto a tu archivo robots.txt

User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /

🤖 Bloquear bot Ahrefs

Ahrefs es considerada la mejor herramienta para descubrir las webs que te enlazan y está entre las tres más usadas junto con Semrush y Sistrix. Dispone de 204257 keywords en su base de datos y si quieres impedir a toda costa que copien tu nicho, deberías ponerlo más difícil bloqueando su robot.

User-agent: AhrefsBot 
Disallow: /

🤖 Bloquear bot Sistrix

Otra de las más usadas y que conviene bloquear. Dispone de 122633 keywords en su base de datos y se ha convertido en una poderosa herramienta utilizada por los SEO para todo tipo de propósitos incluyendo por supuesto el de buscar keywords jugosas en otras webs. Esta herramienta utiliza dos bots diferentes, de modo que es conveniente bloquear ambos.

User-agent: sistrix
Disallow: /
User-agent: SISTRIX Crawler
Disallow: /

🤖 Bloquear bot Majestic

Majestic es otra alternativa también bastante usada aunque menos que las anteriores. Sus métricas son bastante populares y aunque tal vez no sea la amenaza más grande conviene bloquearla.

User-agent: MJ12bot 
Disallow: /

🤖 Bloquear bot Alexa

Alexa lleva años y años recopilando información de la web tanto desde su famosa barra de extensión del navegador como mediante su bot.

User-agent: ia_archiver
Disallow: /

🤖 Bloquear bot Moz

Las herramientas de Moz para SEO son conocidas por todos los que están en el mundillo. Podéis bloquear su bot mediante estos parametros en el robots.txt

User-agent: dotbot
Disallow: /

🤖 Bloquear otros bots SEO

Aquí tenéis algunos otros que, si bien no son los más utilizados, no está de más protegerse de ellos también por si las moscas.

# SEOkicks-Robot
User-agent: SEOkicks-Robot
Disallow: /

# searchmetrics.com
User-agent: SearchmetricsBot
Disallow: /

# seodiver.com/bot
user-agent: SEOdiver
disallow: /

# openlinkprofiler.org/bot
User-agent: spbot
Disallow: /

# backlinktest.com/crawler.html
User-agent: BacklinkCrawler 
Disallow: /

# seoscanners.net
User-agent: seoscanners.net
Disallow: /

# screamingfrog.co.uk/seo-spider/
User-agent: Screaming Frog SEO Spider
Disallow: /

⬇️ Descargar robots.txt con todos los bots

Por último me gustaría hacer referencia a el refrán de marineros: «por la boca muere el pez» que creo que es perfectamente aplicable a algunos de nosotros que nos cuesta mantener la boca cerrada y disfrutamos compartiendo nuestros logros.

De nada sirve bloquear todos los robots del mundo si luego largamos por ahí a diestro y siniestro nuestros nichos con el peligro que eso conlleva. Sed prudentes y no olvidéis dejar un comentario con vuestros pensamientos.

callate

Deja un comentario