Cómo optimizar sus robots de WordPress.txt para SEO

Recientemente, uno de nuestros lectores nos pidió consejos sobre cómo optimizar el archivo robots.txt para mejorar el SEO. El archivo Robots.txt le dice a los motores de búsqueda cómo rastrear su sitio web, lo que lo convierte en una herramienta de SEO extremadamente potente. En este artículo, le mostraremos cómo crear un archivo Robots.txt perfecto para SEO.

¿Qué es el archivo robots.txt? Robots.txt es un archivo de texto que los propietarios de sitios web pueden crear para decirle a los motores de búsqueda robots cómo acceder con rastreadores e indexes páginas en su sitio. Por lo general, se almacena en el director raíz, también conocido como la carpeta principal, de su sitio web. El formato básico para un archivo robots.txt se ve así:
Agente de usuario: [Nombre del agente de usuario] No permitir: [la cadena de URL no se arrastra] Agente de usuario: [Nombre del agente de usuario] Permitir: [la cadena de URL se arrastra] Sitemap: [URL de su mapa del sitio XML] Puede tener más líneas de instrucciones para permitir o prohibir ciertas URL y agregar más sitios sitios. Si no prohíbe una URL, los motores de búsqueda pueden acceder a ella con rastreadores. Así es como puede verse un archivo de ejemplo robots.txt: agente de usuario: *
Permitir:/wp-content/uploads/
Desescribir:/wp-content/plugins/
No permitir: /wp-admin /
Sitemap: https://example.com/sitemap_index.xml
En el ejemplo de robots.txt anterior, permitimos que los motores de búsqueda accedieran a los rastreadores e indexen los archivos de nuestra carpeta de carga de WordPress.
Después de eso, prohibimos que los robots de búsqueda accedan con rastreadores e indexación de complementos y carpetas de administración de WordPress. Finalmente, proporcionamos la URL de nuestro mapa del sitio XML. ¿Necesita un archivo robots.txt para su sitio de WordPress? Si no tiene un archivo robots.txt, los motores de búsqueda continuarán accediendo a usted con rastreadores e indexar su sitio web. Sin embargo, no podrá decirle a los motores de búsqueda a qué páginas o carpetas no deben acceder con los rastreadores. Esto no tendrá mucho impacto cuando comience un blog por primera vez y no tiene mucho contenido. Todo esto, a medida que aumenta su sitio web y tiene mucho contenido, entonces probablemente desee tener más control bien En cómo se accede a su sitio con rastreadores e indexación. Este es el por qué. Los robots de búsqueda tienen un accesorio de acceso a los rastreadores para cada sitio web. Esto significa que accede a los rastreadores un cierto número de páginas durante una sesión de acceso a los rastreadores. Si no termina de acceder con los rastreadores todas las páginas de su sitio, entonces regresarán y reanudarán el acceso de rastreo en la próxima sesión. Esto puede ralentizar la tasa de indexación de su sitio web.
Puede remediar esto prohibiendo que los robots de búsqueda intenten rastrear páginas innecesarias, como páginas de administración de WordPress, archivos de complementos y carpeta de temas. Al prohibir las páginas innecesarias, guarda la cuota de acceso a los rastreadores. Esto ayuda a los motores de búsqueda a acceder con rastreadores y más páginas en su sitio e indexarlos lo antes posible. Otra buena razón para usar el archivo robots.txt es cuando desea apagar los motores de búsqueda para indexar una publicación o página en su sitio web. No es la forma más segura de ocultar el contenido del público en general, pero lo ayudará a prevenir su apariencia en los resultados de búsqueda. ¿Cómo se ve un archivo ideal robots.txt? Muchos blogs populares usan un archivo Robots.txt muy simple. Su contenido puede variar, dependiendo de las necesidades del sitio específico: agente de usuario: *
Rechazar:
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
Este archivo robots.txt permite que todos los robots indexen todo el contenido y les brinde un enlace a los sitios web del sitio XML. Para los sitios de WordPress, recomendamos las siguientes reglas en el archivo robots.txt: user-agent: *
Permitir:/wp-content/uploads/
Desescribir:/wp-content/plugins/
No permitir: /wp-admin /
Desescribir: /readme.html
No permitir: /referir /
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
Esto le dice a los robots de búsqueda que indexen todas las imágenes y archivos de WordPress. No permite que los robots de búsqueda se complementen los archivos de WordPress de complemento, el área de administración de WordPress, el archivo WordPress ReadMe y los enlaces afiliados.
Al agregar Sitemaps al archivo Robots.txt, hace que sea más fácil para Google Robots encontrar todas las páginas en su sitio ahora, sabe qué se ve un archivo Robots.txt ideal, echamos un vistazo a cómo puede crear un robots. Archivo txt en WordPress. ¿Cómo crear un archivo robots.txt en WordPress? Hay dos formas de crear un archivo robots.txt en WordPress. Puede elegir el método que funcione mejor para usted. Método 1: Editar el archivo robots.txt con SEO todo en uno en uno SEO, también conocido como Aioseo, es el mejor complemento de SEO de WordPress utilizado para más de 2 millones de sitios web. Es Fácil de usar y viene con un generador de archivos robots.txt. Si aún no ha instalado el complemento AIOSEO, puede ver nuestra guía de paso por paso sobre cómo instalar un complemento de WordPress. Nota: La versión gratuita de Aioseo también está disponible y tiene esta función. Una vez que el complemento está instalado y activado, puede usarlo para crear y editar el archivo robots.txt directamente desde el área de administración de WordPress.
Simplemente vaya a todas las herramientas de SEO »para editar el archivo robots.txt.
Primero, deberá activar la opción de edición, haciendo clic en “Habilitar robots personalizados” para cambiar a azul.
Con esta conmutación activada, puede crear un archivo Robots.txt personalizado en WordPress.

Todo en un SEO mostrará su archivo robots.txt existente en la sección “Vista previa Robots.txt” en la parte inferior de la pantalla. Esta versión mostrará las reglas predeterminadas que WordPress ha agregado.

Estas reglas predeterminadas indican a los motores de búsqueda que no rastreen los archivos principales de WordPress, permiten a los robots indexar todo el contenido y ofrecer un enlace a los sitios web XML de su sitio ahora, puede agregar sus propias reglas personalizadas para mejorarlo. Robots. txt para SEO.to agregar una regla, ingrese a un agente de usuario en el campo “Agente de usuario”. El uso de A * aplicará la regla de todos los agentes de los usuarios. Luego, seleccione si desea “permitir” o “no permitir” los motores de búsqueda accedan a los rastreadores. Luego, ingrese el nombre del archivo o la ruta del director en el campo “Director Calea”.
La regla se aplicará automáticamente a su robot.txt. Para agregar otra regla, haga clic en el botón “Agregar una regla”. Recomendamos agregar reglas hasta que cree el formato ideal de robots.txt que distribuí anteriormente. Sus reglas personalizadas se verán así.

Después de haber terminado, asegúrese de hacer clic en el botón “Guardar los cambios” para almacenar los cambios. Método 2. Edite manualmente el archivo Robots.txt usando FTP para este método, deberá usar un cliente FTP para editar el archivo robots.txt. Simplemente inicie sesión en su cuenta de alojamiento de WordPress utilizando un cliente FTP. Una vez dentro, podrá ver el archivo robots.txt en la carpeta raíz del sitio web.

Si no ve uno, probablemente no tenga un archivo robots.txt. En este caso, puede continuar y crear uno.
Robots.txt es un archivo de texto simple, lo que significa que puede descargarlo a su computadora y editarlo usando cualquier editor de texto simple, como PadsePad o TextEdit. Después de guardar los cambios, puede cargarlo de nuevo a la carpeta raíz de su sitio ¿Cómo probar su archivo robots.txt? Después de crear el archivo robots.txt, siempre es una buena idea probarlo usando una herramienta de prueba robots.txt. Hay muchas herramientas de prueba de robots.txt, pero recomendamos usar la de la consola de búsqueda de Google. Primero, deberá tener su sitio conectado a la consola de búsqueda de Google. Si aún no ha hecho esto, vea nuestra guía sobre cómo agregar su sitio de WordPress a la consola de búsqueda de Google. Luego puede usar la herramienta de prueba de robot de la consola de búsqueda de Google. Coloque y seleccione su propiedad de la lista de caída. La herramienta se hará cargo automáticamente del archivo robots.txt de su sitio web y destacará errores y advertencias si ha encontrado alguno.