La guía esencial de los robots de WordPress txt

Si usted es el propietario de una empresa y usa el sitio web de WordPress para comunicarse con sus clientes, es vital que lo promocione en los motores de búsqueda. La optimización de los motores de búsqueda incluye muchos pasos importantes. Uno de ellos es construir un buen archivo robots.txt. ¿Para qué necesita para este archivo? ¿Cuál es su papel? ¿Dónde está su sitio de WordPress? ¿Cuáles son las formas de crearlo?
<b class = "lwptoc_title" incluido
¿Qué es un archivo txt para los robots?
¿Dónde está el archivo robots.txt para WordPress?
Algunos requisitos básicos para un archivo txt de WordPress
Tipos de robots.txt Instrucciones para la búsqueda de robots:
¿Cuándo deberías usar robots.txt?
Estructura de un archivo robots.txt
Errores típicos en el archivo robots.txt
Cómo crear el archivo robots.txt para su sitio web de WordPress
Usando el complemento de SEO yoast
Usando el complemento de paquete todo en un SEO
Creación y carga de un archivo robots.txt para WordPress a través de FTP
Cómo probar el archivo robots.txt para su sitio web de WordPress
Conclusión
Revisemos con más cuidado. ¿Qué es un archivo txt para los robots? Al crear el nuevo sitio web, los motores de búsqueda como Google, Bing, etc. Utilizo robots especiales para escanearlo. Después de eso, crea un mapa detallado de todas sus páginas. Les ayuda a detectar qué páginas deben mostrarse cuando alguien presenta la búsqueda de las palabras clave relevantes. El problema es que los sitios web modernos contienen muchos otros elementos que no sean páginas. Por ejemplo, WordPress le permite instalar complementos que a menudo tienen sus propios directorios. No es una buena idea mostrarlos en los resultados de búsqueda, porque estas carpetas contienen contenido confidencial, lo que podría ser un alto riesgo de seguridad para el sitio. Para configurar qué carpetas escanear, la mayoría de los propietarios de sitios web usan los robots de WordPress.txt Archivo que ofrece un conjunto de líneas de guía para motores de búsqueda. Puede configurar qué carpetas se pueden escanear y cuáles deben permanecer ocultas por los robots de búsqueda. Este archivo puede ser tan detallado como desee y es muy fácil de crear. En la práctica, los motores de búsqueda continuarán escaneando su sitio, incluso si no crea un archivo robots.txt. Sin embargo, no crearlo es un paso muy irracional. Sin este archivo, permita que los robots de búsqueda indexen todo el contenido de su sitio y decida que puede mostrar todas las partes de su sitio, incluso las que desea ocultar del acceso público.
Un punto más importante sin un archivo txt de robots de WordPress, Search Robots accederá a su sitio con demasiada frecuencia. Esto afectará negativamente su rendimiento. Incluso si la presencia de su sitio aún es baja, la velocidad de carga de la página es algo que siempre debe ser una prioridad y al más alto nivel. Después de todo, solo hay algunas cosas que a las personas no les gustan más que la carga lenta del sitio web. ¿Dónde está el archivo robots.txt para WordPress? Al crear un sitio web de WordPress, el servidor crea automáticamente un archivo robots.txt y lo ubica en el directorio raíz en el servidor. Por ejemplo, si la dirección de su sitio web es Ejemplo.com, puede encontrarla en ejemplo.com/robots.txt. Puede abrirlo y editar con cualquier editor de texto. Contendrá líneas como la siguiente: Agente de usuario: *
No permita: / wp-admin /
No permita: / WP-Includes /
Este es un ejemplo del archivo básico más simple Robots.txt. Traducción al lenguaje humano, el lado derecho después del agente de usuario: declare para qué robots son las reglas. Un asterisco significa que la regla es universal y se aplica a todos los robots. En este caso, el archivo le dice a los robots que no pueden escanear los directorios WP-Admin y WP-Incluye. El significado de estas reglas es que estos directores contienen muchos archivos que requieren protección contra el acceso público. Por supuesto, puede agregar más reglas de archivo. Antes de hacer esto, debe comprender que este es un archivo virtual. Por lo general, el archivo WordPress Robots.txt está en el directorio raíz, que a menudo se llama public_html, www o por nombre de su sitio:
Puede usar cualquier FTP Manager como FileZilla para acceder a este archivo y cargar la nueva versión en el servidor. Todo lo que necesita es saber el inicio de sesión y la contraseña para la conexión FTP. Puede comunicarse con la asistencia técnica para obtener más información. Algunos requisitos básicos para un archivo TXT para Robots de WordPress deben estar disponibles en la esquina raíz del sitio web. Su dirección se verá como ejemplo.com/robots.txt.
El tamaño del archivo no debe exceder los 32 kilobytes.

El texto debe contener solo símbolos latinos. Si su nombre de dominio usa otros símbolos, use el software especial para transcribirlo correctamente a símbolos latinos.
Recuerda esto:
Las instrucciones de TXT son asesoramiento.
La configuración de TXT no afecta a otros sitios (en robots.txt, solo puede cerrar las páginas o archivos en el sitio actual).
Los comandos TXT son minúsculas y minúsculas.
Tipos de robots.txt Instrucciones para la búsqueda de robots:
Acceso parcial a ciertas partes del sitio web.
Cancelación de escaneo completo.
¿Cuándo deberías usar robots.txt? Usando el archivo txt de los robots de WordPress, podemos cerrar páginas de robots de búsqueda que no desea ser indexado, por ejemplo:
páginas con información personal del usuario;
Páginas con documentación e información sobre servicios que no afectan cómo se muestra la interfaz en la pantalla;
Ciertos tipos de archivos, por ejemplo, archivos PDF;
Panel de WordPress, etc.
La estructura de un archivo webmaster robots.txt puede crear el archivo txt de los robots de WordPress utilizando cualquier editor de texto. Su sintaxis incluye tres elementos principales: 1 Utilizador de agente: [Nombre del robot de búsqueda] 2 No permita: [la ruta que desea cerrar el acceso] 3 Permitir: [la ruta a la que desea abrir el acceso] más, el archivo puede contener y dos elementos adicionales: 1 Sitemap: [dirección del mapa del sitio] Luego coloque el archivo de robots.txt creado en el directorio raíz del sitio web. Si su sitio web usa el dominio principal, el archivo se ubicará en / public_html / o / www / carpeta. Depende del proveedor de alojamiento. En algunos casos, puede ser un poco diferente, pero la mayoría de las empresas usan la estructura mencionada. Si el dominio es adicional, el nombre de la carpeta incluirá el nombre del sitio web y se verá como /example.com/. Para colocar el archivo en la carpeta apropiada, necesitará un cliente FTP (por ejemplo, FileZilla) y el acceso al FTP, que ofrece el proveedor cuando compra un plan de alojamiento.
Agente de usuarios Todas las instrucciones son percibidas por los robots en su conjunto y se aplican solo a los robots de búsqueda que han sido enumerados en la línea del frente. En total, hay alrededor de 300 robots de búsqueda diferentes. Si desea aplicar las mismas reglas a todos los robots de búsqueda, entonces en el campo “Agente de usuario” es suficiente para poner un asterisco (*). Este personaje significa cualquier secuencia de caracteres. Como resultado, se verá de la siguiente manera: 1 Agente-Usor: * No permita que este comando ofrezca recomendaciones para buscar robots que partes del sitio no deben escanear. Si en Robots.txt, ponga desestimado: /, cerrará todo el contenido del sitio web desde el escaneo. Si tiene que cerrar una determinada carpeta de escaneo, use Deshow: / Carper. De manera similar, puede ocultar una determinada URL, archivo o un determinado formato de archivo. Por ejemplo, si tiene que cerrar todos los archivos PDF en el sitio de indexación, debe escribir las siguientes instrucciones en WordPress Robots txt: 1 No permita: /*.pdf$ un asterisco antes de una extensión de archivo significa cualquier secuencia cualquier nombre) , y el signo de dólar al final indica que se cierra de la indexación de los archivos con la extensión .pdf. En los siguientes materiales de referencia de Google, encontrará la lista de pedidos para bloquear URL en un archivo robots.txt.
Permite este comando le permite escanear cualquier archivo, carpeta o página. Supongamos que es necesario abrir para escanear por robots solo las páginas que contienen la palabra / otra y cerrar cualquier otro contenido. En este caso, use la siguiente combinación: 1 Utilizador de agente: * 2 Permitir: / Otros no permiten: / Las reglas permiten y los rechazos se clasifican por la URL de prefijo (de la más corta a la más larga) y se aplican secuencialmente. En el ejemplo, habría las siguientes instrucciones: Primero, el robot escanearía no permitir: / y luego permitir: / otra, es decir, la carpeta / otra habría indexada. Errores típicos en el archivo Robots.txt orden incorrecto. Debe haber una clara sucesión lógica de instrucciones. Primer agente de usuario, luego permita y no lo permita. Si permite todo el sitio, pero prohíbe secciones o archivos separados, primero permita y vuelva a diseñar después de él. Si cancela la sección completa, pero desea abrir algunas de sus piezas, entonces la cancelación se colocará anteriormente. Más carpetas o directorios en una sola instrucción permiten o deshabilitan. Si desea registrar más instrucciones diferentes, permita y no permita en el archivo robots.txt, ingrese cada uno de ellos desde una nueva línea: no permita: / carpeta No permita:
/ Nombre de administrador El archivo es incorrecto. El nombre debe ser exclusivamente “robots.txt”, que consiste solo en letras latinas en minúsculas. La regla de la regla de énfasis-agente. Si desea establecer instrucciones generales para todos los robots, coloque un asterisco. Errores de sintaxis. Si ha especificado uno de los elementos de sintaxis adicionales en una de las instrucciones, el robot puede malinterpretarlos. Cómo crear el archivo robots.txt para su sitio de WordPress tan pronto como decida crear el archivo robots.txt, todo lo que necesita es encontrar una manera de crearlo. Puede editar robots.txt en WordPress usando el complemento o hacerlo manualmente. En esta sección, le enseñaremos cómo usar los dos complementos más populares para esta tarea y discutir cómo crear y descargar manualmente un archivo. ¡Vamos! Usar el complemento Yoast Seoplina Yoast SEO es muy popular para introducir. Este es el complemento SEO más conocido para WordPress, le permite mejorar las publicaciones y las páginas para usar palabras clave de una mejor manera. Además, también evaluará la legibilidad de su contenido, y esto aumentará el potencial del público. Muchos desarrolladores admiran el complemento Yoast SEO debido a su simplicidad y comodidad. Una de sus características básicas es crear un archivo robots.txt para su sitio web. Después de instalar y activar el complemento, vaya a la pestaña SEO: herramientas desde la consola de arado y busque el parámetro del editor de archivos:
Al hacer clic en este enlace, puede editar el archivo .htaccess sin dejar la consola de administración. También hay un botón Crear un archivo robots.txt:
Después de hacer clic en el botón en la pestaña, el complemento mostrará el nuevo editor, donde puede editar directamente el archivo robots.txt. Tenga en cuenta que Yoast SEO establece sus reglas implícitas que cancelan las reglas de un archivo virtual existente Robots.txt. Después de eliminar o agregar las reglas, haga clic en Guardar los cambios en los robots.txt para aplicarlas: ¡eso es todo! Veamos ahora otro complemento popular que le permitirá realizar la misma tarea. Usando el complemento de paquete todo en un SEO
El complemento All in One SEO Pack es otro excelente complemento de WordPress para optimizar el motor de búsqueda. Incluye la mayoría de las características del complemento Yoast SEO, pero algunos propietarios de sitios web lo prefieren porque es más fácil. En términos de crear el archivo robots.txt, su creación en este complemento también es fácil. Después de instalar el complemento, vaya a todos en un SEO – Administre módulos desde la consola. En el interior, encontrará la opción robots.txt con el botón azul grande en la parte inferior derecha. Presione sobre él:

Ahora, podrá encontrar una nueva pestaña Robots.txt en el SEO en un menú SEO. Haga clic para ver la configuración para agregar nuevas reglas en su archivo, luego guarde sus cambios o elimine todo:
Tenga en cuenta que, a diferencia de Yoast SEO, que le permite ingresar todo lo que desea, no puede cambiar directamente el archivo robots.txt con este complemento. El contenido del archivo estará inactivo. Solo verás el fondo gris.

Pero debido a que es muy fácil agregar las nuevas reglas, esto no debería estar molesto. Más importante aún, el SEO, todo en uno, también incluye una característica que te ayuda a bloquear los robots “malos”. Puedes encontrarlo en el SEO todo en uno:

Esto es todo lo que tienes que hacer si eliges este método. Ahora hablemos sobre cómo crear manualmente un archivo txt para los robots de WordPress si no desea instalar un complemento adicional solo para esta tarea. Crear y cargar un archivo robots.txt para WordPress a través de FTP para crear manualmente el archivo robots.txt, abrir su editor favorito (como notapad o textEdit) y agregar todos los comandos necesarios y guardar el archivo con la extensión TXT. Durará literalmente durante unos segundos, por lo que es posible que desee crear un robots.txt para WordPress sin usar un complemento. Aquí hay un ejemplo rápido de dicho archivo: después de haber creado su propio archivo, debe iniciar sesión en su sitio a través de FTP e ingresar el archivo en la carpeta raíz. En la mayoría de los casos, es public_html o director www. Puede cargar el archivo haciendo clic en el botón derecho del mouse en el archivo en el administrador FTP local o simplemente extrayendo y colocando el archivo:

También lleva unos segundos. Como puede ver, este método no es más difícil que usar el complemento. Cómo probar el archivo robots.txt para su sitio de WordPress ahora es el momento de verificar su archivo robots.txt para la consola de búsqueda de Google. Search Console es una de las herramientas de Google diseñadas para ayudarlo a seguir cómo aparece su contenido en los resultados de búsqueda. Una de estas herramientas verifica robots.txt, puede usarlo accediendo al archivo robots.txt en la sección de verificación de herramientas de consola:

Aquí encontrará el campo Editor donde puede agregar el código para su archivo WordPress Robots.txt y haga clic en el envío.Google Search Console le preguntará si desea usar el nuevo código o descargar el archivo de su sitio. Seleccione la opción Solicitar Google para actualizar para publicar su código: Ahora la plataforma verificará los errores de su archivo.Si encuentra un error, le notificará de inmediato.Conclusión El archivo TXT de WordPress Robots es una herramienta muy poderosa para aumentar la visibilidad del sitio web para los robots de los motores de búsqueda.Siendo tan importante, no es muy difícil de crear.¿Hay algún archivo ideal?No podemos decir eso.Differirá a depender del contenido de su sitio web y qué resultado desea obtener.