Cómo Crear el Fichero Robots.txt Perfecto Para SEO

Todos aman los «hacks».

No soy la excepción––Me encanta hallar formas de hacer mi vida mejor y más fácil.

Es por esto que la técnica que te contaré el día de hoy es una de mis favoritas. Es un hack de posicionamiento web en buscadores que puedes empezar a utilizar inmediatamente.

Es una manera de acrecentar tu posicionamiento en buscadores al aprovechar una parte natural de cada sitio que muy raramente se mienta. Tampoco es difícil implementarla.

Es el fichero robots.txt (también llamado protocolo o estándar para la exclusión de los robots).

Este pequeño archivo de texto es parte de cada sitio web en la red, mas la mayoría de las personas no lo conocen.

Está diseñado para marchar con los motores de búsqueda, mas sorprendentemente, es una fuente poder posicionamiento web que está aguardando a ser descubierta.

He visto a muchos clientes hacer de todo para mejorar el posicionamiento en buscadores de su sitio. Cuando les digo que pueden editar un pequeño fichero de texto, prácticamente no me creen.

Sin embargo, existen muchos métodos para mejorar tu posicionamiento web en buscadores que no son difíciles ni te quitan bastante tiempo, y éste es uno de ellos.

No precisas tener ninguna experiencia técnica para aprovechar el poder de los robots.txt. Si puedes localizar el código fuente para tu sitio, puedes usar esto.

Cuando estés listo, sígueme y te explicaré la forma en la que puedes mudar tu fichero de robots.txt para que a los motores de búsqueda les guste.

Descubre cómo aproveché el posicionamiento web para.

Por qué el fichero robots.txt es importante

Primero, echemos un vistazo al porqué es importante el archivo robots.txt.

El fichero robots.txt, también conocido como el protocolo o bien estándar de exclusión de robots, es un archivo de texto que les afirma a los robots web (motores de búsqueda) qué páginas de tu sitio deben rastrear.

También les afirma a los robots web qué páginas no debenrastrear.

Supongamos que un motor de búsqueda está a puntito de visitar un sitio. Antes que visite la página objetivo, comprobará el archivo de robots.txt para recibir instrucciones.

Existen distintos tipos de ficheros robots.txt, así que echemos un vistazo a los diferentes géneros de apariencia que tienen.

Digamos que el motor de búsqueda encuentra:

Esta es la columna vertebral del archivo robots.txt.

El asterisco después de «user-agent» quiere decir que el archivo robots.txt está abierto a todos y cada uno de los robots que visiten el sitio.

La diagonal después de «Disallow» le afirma al robot que no visite ninguna página en el sitio.

Quizá te estés preguntando por qué alguien querría evitar que los robots web visitaran su sitio web.

Después de todo, uno de los objetivos principales del posicionamiento web es conseguir que los motores de búsqueda rastreen tu sitio web de una manera más fácil para acrecentar tus rankings.

Aquí es donde se halla el secreto de este hack de SEO.

Probablemente tengas muchas páginas en tu sitio, ¿verdad? Aun si consideras que no es así, revísalo. Quizá te sorprendas.

Si un motor de búsqueda rastrea tu sitio, éste rastreará cada una de tus páginas.

Y si tienes muchas páginas, le llevará mas tiempo rastrearlas al bot del motor de búsquedas, lo que tendrá efectos negativos en tu ranking.

Esto es debido a que el Googlebot (el bot del motor de búsqueda de Google) tiene un «presupuesto de rastreo.»

Esto se divide en 2 partes. El primero es una tasa límite de rastreo.:

La segunda parte es una demanda de rastreo:

Básicamente, el presupuesto de rastreo es «el número de URLs que el Googlebot puede y desea rastrear».

Necesitas ayudar al Googlebot a invertir su presupuesto de rastreo para tu sitio web de la mejor forma posible. En otras palabras, debería emplear el tiempo en rastrear tus páginas más valiosas.

Existen algunos factores que, de acuerdo con Google, «afectarán de forma negativa el rastreo y la indexación de un sitio.»

Estos son esos factores:

Volvamos al fichero robots.txt.

Si creas la página adecuada de robots.txt, puedes decirle a los bots de los motores de búsqueda (y especialmente al Googlebot) que eviten ciertas páginas.

Piensa en lo que esto implica. Si le dices a los bots de los motores de búsqueda que únicamente rastreen tu contenido más útil, los bots rastrearán y también indexarán tu lugar con el foco en ese contenido solamente.

:

«No quieres que tu servidor se sienta apabullado por el rastreador de Google o desperdiciar presupuesto de rastreo al rastrear páginas no esenciales en tu sitio web.»

Al usar tu robots.txt de la forma adecuada, puedes decirle a los bots de los motores de búsqueda que inviertan su presupuesto de rastreo inteligentemente. Y eso es lo que hace que el archivo robots.txt sea tan útil en un contexto de posicionamiento web en buscadores.

¿Te sientes intrigado por el poder de los robots.txt?

¡Pues deberías! Charlemos sobre cómo encontrarlo y emplearlo.

Encuentra tu fichero robots.txt

Si sólo deseas echar un rápido vistazo a tu fichero robots.txt, hay una manera súper fácil.

De hecho, este método funcionará con cualquier sitio.Por lo que puedes echar un vistazo a los archivos de otros sitios web y ver lo que están haciendo.

Lo único que debes hacer es teclear la URL básica del sitio web en la barra de búsquedas de tu navegador (ejemplo: neilpatel.com, quicksprout.com, etc). Y después añadir /robots.txt al final.

Te encontrarás con una de estas 3 situaciones:

1) Encontrarás un fichero robots.txt.

2) Encontrarás un fichero vacío.

Por ejemplo, semeja queno tiene un archivo robots.txt:

3) Obtendrás un error 404.

muestra un error 404 con ficheros robots.txt:

Echa un segundo vistazo a tu propio fichero de robots.txt.

Si encuentras un archivo vacío o un error 404, necesitarás solventarlo.

Si hallas un archivo válido, probablemente tiene la configuración predeterminada que fue creada cuando hiciste tu sitio web.

Me gusta este método singularmente para poder ver los ficheros robots.txt de otros sitios web. En el momento en que aprendas cómo marchan los archivos robots.txt, este método puede ser un valioso ejercicio.

Ahora veamos cómo cambiar tu archivo robots.txt.

Encuentra tu fichero robots.txt

Tus siguientes pasos dependerán de si tienes un fichero robots.txt. (Examina si lo tienes al utilizar el método que describí previamente).

Si no tienes un archivo robots.txt, necesitarás crear uno desde cero. Abre un editor de texto como el Bloc de Notas (en Windows) o bien TextEdit (Mac).

Solamente utiliza un editor de texto planopara esto. Si utilizas programas como Microsoft Word, el programa podría introducir código adicional al texto.

Editpad.org es una excelente opción gratuita, y es lo que me verás utilizando en este artículo.

Volvamos a los robots.txt. Si tienes un archivo robots.txt, necesitarás situarlo en el directorio root de tu sitio.

Si no estás acostumbrado a adentrarte en el código fuente, podría ser un poco difícil ubicar la versión editable de tu archivo robots.txt.

Normalmente, puedes localizar tu directorio root al ir al sitio de tu proveedor de hosting, entrar, y también ir a la sección de administración de ficheros o bien FTP de tu sitio.

Deberías ver algo así:

Encuentra tu fichero robots.txt y ábrelo para editarlo. Borra todo el texto, pero mantén el archivo.

Nota: Si estás usando Wordpress, quizá veas un fichero robots.txt cuando vayas a tusitio.com/robots.txt, mas no podrás hallarlo en tus archivos.

Esto es debido a quesi no hay robots.txt en el directorio root.

Si esto te sucede, necesitarás crear un nuevo fichero robots.txt.

Crea un archivo robots.txt

Puedes crear un nuevo archivo robots.txt al usar el editor de texto plano que escojas. (Recuerda, utiliza solamente un editor de texto plano).

Si ya tienes un fichero robots.txt, asegúrate de que has borrado el texto (pero no el fichero).

Primero, necesitarás familiarizarte con algo de la sintaxis usada en un fichero robots.txt.

de algunos de los elementos básicos de robots.txt:

Te voy a mostrar cómo configurar un archivo robots.txt sencillo, y después echaremos un vistazo a cómo personalizarlo para tu posicionamiento web.

Comienza fijando el término usuario-agent. Vamos a configurarlo de manera que esté abierto a todos y cada uno de los robots web.

Puedes conseguir esto al utilizar un asterisco después del término user-agent, así:

Después, teclea «Disallow:» mas no teclees nada después de eso.

Debido a que no hay nada después de disallow, los robots web se dirigirán a rastrear todo tu sitio. En este momento, todos y cada uno de los elementos de tu sitio serán vulnerables.

Hasta este instante, tu archivo robots.txt debería verse así:

Sé que se ve súper sencillo, mas estas 2 líneas están haciendo mucho por tu sitio web.

También puedes crear un link a, mas no es preciso. Si quieres, esto es lo que puedes escribir:

Aunque no lo creas, así debería verse un archivo robots.txt básico.

Ahora llevemos esto al siguiente nivel y convirtamos este pequeño archivo en un potenciador SEO.

Optimiza los robots.txt para SEO

El cómo optimices tus robots.txt depende del contenido que tengas en tu lugar. Existen 3 géneros de maneras en las que puedes emplear los robots.txt a favor tuyo.

Voy a ver contigo algunas de las formas más comunes de utilizarlo.

(Ten en cuenta que nodeberías usar robots.txt para bloquear páginas de los motores de búsqueda.Eso sería un gran no-no).

Uno de los mejores usos del archivo robots.txt es aumentar al máximo los presupuestos de rastreo de los motores de búsqueda al decirles que no rastreen las unas partes de tu sitio web que no se muestran públicamente.

Por ejemplo, si visitas el fichero robots.txt de este lugar (neilpatel.com), verás que tiene bloqueada la página de login (wp-admin).

Debido a que esta página se usa para entrar a la parte privada del sitio, no tendría mucho sentido para los bots de los motores de búsqueda desperdiciar su tiempo rastreándola.

(Si tienes Wordpress, puedes usar la misma línea disallow).

Puedes utilizar una indicación afín (o bien comando) para evitar que los bots rastreen páginas específicas. Después del disallow, introduce la parte de la URL que viene después del .com. Pone eso entre las 2 diagonales.

Si deseas decirle a un bot que no rastree tu página, puedes teclear esto:

Quizá te estés preguntando qué tipos de páginas deberías excluir de indexación. Aquí hay dos escenarios comunes en donde esto puede suceder:

Contenido intencionalmente duplicado. Aunque el contenido duplicado es en gran parte algo malo, hay unos cuantos casos en los que es preciso y admisible.

Por ejemplo, si tienes una versión imprimible de tu página, técnicamente tienes contenido duplicado. En un caso así, podrías decirle a los bots que no rastreen una de esas versiones (por norma general, la versión imprimible).

Esto es muy útil si estás haciendo split testing con páginas que tienen el mismo contenido pero diseños distintos.

Páginas de gracias.La página de GRACIAS es una de las páginas favoritas de los marketers por el hecho de que significa un nuevo lead.

¿Verdad?

Al parecer, algunas páginas de gracias son alcanzables a través de Google.Esto significa quesin pasar por el proceso de captura de leads, y esto no es bueno.

Al bloquear tus páginas de gracias, puedes asegurarte de que únicamente los leads cualificados estén viéndolas.

Pongamos que tu página de gracias se encuentra en. En tu archivo robots.txt, bloquear esa página se vería así:

Debido a que no hay reglas universales para saber qué páginas desacreditar, tu fichero robots.txt será único en tu sitio web. Utiliza tu propio criterio aquí.

Existen otros 2 géneros de comandos que deberías conocer: noindex y nofollow.

¿Sabes qué comando disallow hemos estado utilizando? En realidad no evita que esa página sea indizada.

En teoría, podrías desautorizar una página, pero aun así, podría terminar en el índice.

Generalmente, no te resulta interesante eso.

Es de ahí que que necesitas el comando noindex, que marcha con el comando disallow para asegurar que no los bots no visiten o indexen ciertas páginas.

Si tienes ciertas páginas que no quieres que se indexen (como las páginas de gracias), puedes usar los dos comandos, disallow y noindex:

Ahora sí, esa página no se mostrará en las Search Engines Ranking Positions.

Finalmente, tenemos el comando nofollow. De hecho, es la mismo que el. Resumiendo, le dice a los robots web que no rastreen los enlaces en una página.

Pero el comando nofollow vamos a incorporarlo de una forma un poco distinta, pues realmente no es parte del archivo robots.txt.

Sin embargo, el comando nofollow sigue dando indicaciones a los robots web, por lo que es exactamente el mismo concepto. hacer una página web única diferencia radica en dónde se incorpora.

Encuentra el código fuente de la página que quieras mudar, y asegúrate de que esté entre las etiquetas <head>.

Después, pega esta línea:

<meta name=»robots» content=»nofollow»>

De manera que se vea así:

Asegúrate de no estar poniendo esto entre alguna otra etiqueta––sólo las etiquetas <head>.

Esta es otra excelente opción para tus páginas de gracias, dado a que los robots web no rastrearán links a ningún imán de leads u otro contenido exclusivo.

Si quieres agregar ambos comandos: noindex y nofollow, utiliza esta línea de código:

<meta name=»robots» content=»noindex,nofollow»>

Esto le dará a los robots web los dos comandos al tiempo.

Haz pruebas con todo

Finalmente, haz pruebas con tu fichero robots.txt para estar seguro de que todo es válido y marcha de la forma correcta.

Google pone a tu disposición un ecosistema de pruebas para robots.txt como parte de sus herramientas para Administradores web.

Primero, entra enal hacer click en «Acceder» en el rincón superior derecha de tu pantalla. seo manager /p>

Selecciona tu propiedad (ejemplo: sitio) y haz clic en «Rastrear» al lado izquierdo de tu pantalla.

Verás el testerde «robots.txt.» Haz click ahí.

Si ya hay algún código en esa sección, bórralo y reemplázalo con tu nuevo fichero robots.txt.

Haz click en «Probar» en el rincón inferior derecha de la pantalla.

Si el texto de «Probar» cambia a «Permitido,» eso quiere decir que tu archivo robots.txt es válido.

sobre la herramienta a fin de que puedas aprender qué significa todo con más detalle.

Finalmente, sube tu archivo robots.txt a tu directorio root (o bien guárdalo ahí si ya tenías uno). Ahora tendrás como arma un poderoso archivo, y deberías ver un incremento en tu visibilidad de búsqueda.

Conclusión

Siempre me agrada compartir pequeños «hacks» de posicionamiento en buscadores que te pueden dar una ventaja real de muchas formas.

Al configurar tu archivo robots.txt apropiadamente, no sólo estás mejorando tu posicionamiento web en buscadores. También estás ayudando a tus usuarios.

Si los bots de los motores de búsqueda pueden emplear sus presupuestos de rastreo inteligentemente, organizarán y mostrarán tu contenido en las SERPs de una mejor forma, lo que quiere decir que tendrás mayor visibilidad.

Tampoco lleva mucho esfuerzo para configurar tu fichero robots.txt. Podríamos decir que es una configuración que se hace una sola vez, y puedes hacer tantos pequeños cambios como precises por el camino.

Ya sea con tu primer sitio web o bien con el quinto, emplear robots.txt puede suponer una diferencia significativa. Te invito a darle una vuelta si no lo has hecho antes.

¿Cuál es tu experiencia al crear ficheros robots.txt?