Cómo optimizar los robots de WordPress.txt para SEO con un ejemplo

El SEO era una prioridad para los propietarios de sitios web. Dado que los primeros cinco resultados obtienen el 75% de los clics, la carrera por una posición más alta fue un desafío. Hay varias técnicas de SEO fuera de la página y en la página que entran en juego. Optimizar el archivo robot.txt es uno de esos trucos que puede fortalecer el SEO para su sitio. Sin embargo, la mayoría de los principiantes no saben cómo optimizar WordPress Robots.txt para SEO. Algunos pueden no saber qué es un archivo robots.txt primero. Afortunadamente, este artículo está en su rescate. Aquí, explicaremos qué es un archivo robots.txt, cómo crear el archivo robots.txt y cómo optimizar el archivo robots.txt para SEO. También agregué algunas preguntas comunes al final. Así que asegúrese de estar con nosotros hasta el final.
¡Ahora comencemos!
contenido
¿Qué es un archivo robots.txt?
¿Cómo se ve un archivo robots.txt?
¿Por qué necesita un archivo robots.txt en WordPress?
¿Cómo crear un robots.txt para su sitio?
Método 1: Creación del archivo robots.txt usando Matemáticas de rango de complemento
Método 2: Creación del archivo robots.txt usando FTP
¿Dónde poner su archivo robots.txt?
¿Cómo probar el archivo robots.txt?
Las ventajas del archivo robots.txt
Desventajas del archivo robots.txt
Preguntas frecuentes (preguntas frecuentes)
¿Qué es el rastreo web?
¿Qué es la indexación?
¿Cuál es el presupuesto de rastreo?
Conclusión
¿Qué es un archivo robots.txt? Robots.txt en WordPress es un archivo de texto simple que informa a los motores de búsqueda robots a qué páginas de su sitio acceder a rastreadores e índice. También puede formatear el archivo para excluir las páginas de la indexación.
Robots.txt se almacena en el director de WordPress Root. Este archivo tiene un formato básico que se ve así: agente de usuario: [nombre de usuario] desactivado: [URL de la cadena no se arrastra] Permitir: [URL de la cadena a ser arrastrada] ¿Se parece un archivo robots.txt? Un archivo robots.txt es solo unas pocas líneas de texto que dirige los motores de búsqueda sobre cómo y qué rastreadores en su sitio. Tiene más filas en este archivo para permitir o restringir ciertas páginas URL. También puede agregar más sitios sitios. Si no permite una URL, los robots del motor de búsqueda no acceden a la página respectiva. Aquí hay un ejemplo de robots.txt archivo: user-agent: * permitir:/wp-contemplate/uploads/desestivo:/wp-content// Plugins/siteMap: https: //url/sitemap_index.xml ahora, para aprender sobre estos cuatro términos principales que puede encontrar en un archivo robot:
AGENTO DE USUARIO: User-agent es el rastreador web específico que ofrece instrucciones de acceso a los rastreadores. Por lo general, es un motor de búsqueda.
Permite: permite el comando que le dice a GoogleBot que puede acceder a una página o sub -Dosar, incluso si el subsubster o una página principal pudieran estar prohibidas.
Desactivar: el comando desesperar le dice a un agente de usuario que no rastree una determinada URL. Solo puede incluir un solo “Desactivar”: “para cada URL.
Mapa del sitio: el mapa del sitio se utiliza para indicar la ubicación de cualquier mapas de sitio XML que esté relacionado con esta URL. Este comando solo es aceptado por Google, Bing, Ask y Yahoo.
En el ejemplo anterior, permití que los robots de búsqueda accedieran a los rastreadores e indexen la carpeta de carga, pero restringí la carpeta del complemento. Finalmente, permití la indexación del sitio XML. Cada motor de búsqueda tiene su agente de usuario para indexar sitios. Aquí hay algunos agentes de usuarios de motores de búsqueda folklórica:
Google: Googlebot
Imágenes de Googlebot: Googlebot-Imagine
Googlebot News: Googlebot News
Video de Googlebot: Googlebot-Video
Yahoo: Slurp Bot
Bing: Bingbot
Alexa de Amazon: ia_archiver
Duckuckgo: Duckuckbot
Yandex: Yandexbot
Baidu: Baiduspider
Exalead: Exabot
Hay tantos agentes de usuario hoy en día. Si desea concentrarse en un motor de búsqueda en particular, puede especificarlo incluso en el archivo robots.txt. Es decir, para configurar instrucciones para GoogleBot, puede escribir la primera línea del archivo robots.txt como:
Agente de usuario: Googlebot ¿Por qué necesita un archivo robots.txt en WordPress? Boots de búsqueda accederá a los rastreadores e indexará su sitio incluso si no tiene un archivo robots.txt. Entonces, ¿por qué realmente lo necesitarías? Bueno, con el archivo robots.txt, puede dirigir los motores de búsqueda para priorizar la indexación en ciertas páginas. También puede excluir páginas o carpetas que no desea indexar. Esto no tiene un mayor impacto cuando es primero que comienza un blog y no tiene mucho contenido. Sin embargo, después de que su sitio aumenta y tiene mucho contenido, puede ser necesario priorizar la indexación en una determinada página/publicaciones/archivo y cancelar algunos.
Vea, hay una cuota para cada hocico de búsqueda para cada sitio web. Esto significa que se accede a las botas con rastreadores en un cierto número de páginas a una cierta sesión de acceso a rastreo. Si los robots no terminan de acceder con rastreadores en esa sesión, el hocico regresa y reanuda el acceso con los rastreadores en la próxima sesión. Esto ralentiza la tasa de indexación de su sitio. Por lo tanto, utilizando el archivo robots.txt, puede dirigir los robots en qué páginas, archivos y carpetas que desea indexar e incluir. Al hacerlo, guarde la cuota de acceso con rastreadores. Puede que no sea la forma más segura de ocultar su contenido público, pero evita que estos contenidos se excluyan en las serpientes. ¿Cómo crear un robots.txt para su sitio? Puede crear robots.txt de dos maneras diferentes. Explicaremos estos métodos a continuación. Luego puede seguir el método que cree que funcionará mejor para usted. Método 1: Creación del archivo robots.txt utilizando el complemento de matemáticas de rango aquí, le mostraremos cómo crear un archivo robots.txt utilizando el popular complemento matemáticas. Rank Math es un complemento SEO WordPress que facilita la optimización del contenido de su sitio con sugerencias incorporadas basadas en las mejores prácticas a gran escala. Usando esta práctica herramienta, puede personalizar fácilmente la configuración importante de SEO y controlar qué páginas son indexables.
Para crear un archivo robots.txt utilizando el complemento de matemáticas de rango, primero descargue el complemento accediendo a los complementos -> Agregar nuevo desde el panel de administrador de WordPress.
Ahora busque matemáticas de rango en la barra de búsqueda y haga clic en el botón Instalar ahora y active después de encontrar el complemento.
Después de activar el complemento, vaya a Rank Math -> Configuración general -> Editar robots.txt desde WordPress.
¡Ahí está! Ha creado con éxito un archivo robots.txt utilizando el complemento de matemáticas de rango.

Método 2: Crear el archivo robots.txt usando FTP El segundo método implica la creación manual de un archivo robots.txt en una computadora local y luego cargándolo en la carpeta raíz de su sitio de WordPress. Deberá acceder al alojamiento de WordPress usando un cliente FTP. Una vez que inicie sesión en su cliente FTP, puede ver el archivo robots.txt en la carpeta raíz del sitio web. Haga clic en la derecha y seleccione la opción de edición.

Ahora agregue la regla personalizada al archivo y guarde los cambios. Por ejemplo: user-agent: * desestrow: /wp-admin /towing: /wp-admin/admin- AJAX.PHP Si no ve el archivo en la carpeta raíz, puede crearlo en la computadora local usando el NotPad . Agregue sus reglas y luego cárguela a la carpeta Rooter usando FTP.

¿Dónde poner su archivo robots.txt? Siempre debe colocar el archivo robots.txt en el directorio raíz de su sitio web. Por ejemplo, si su sitio es namedOniu.com, entonces el dominio del archivo robots.txt será https://numedmeniu.com/robots.txt. Además de agregar el archivo robots.txt al directorio raíz, aquí hay algunos consejos adicionales:

Es obligatorio nombrar el archivo “robots.txt”.
El nombre del archivo distingue entre mayúsculas y minúsculas. Por lo tanto, debe hacerlo correctamente, de lo contrario no funcionará.


Tienes que agregar una nueva línea para cada nueva regla.
Agregue un signo “$” para significar el final de una URL. Use cada tiempo de usuario una vez.
¿Cómo probar el archivo robots.txt? Después de crear el archivo robots.txt, puede probarlo usando la consola de búsqueda de Google. Aquí encontrará la herramienta de prueba Open Robot.txt.
Seleccione su propiedad de la lista Drop -Up dada.
El instrumento se hace cargo del archivo robots.txt de su sitio y destaca los errores y la advertencia si encuentra alguno.
Nota: La opción de propiedad principal solo aparece si ha conectado su sitio de WordPress a la consola de búsqueda de Google. Si no lo ha hecho, puede conectar rápidamente su sitio de la siguiente manera:
Inicie sesión en la consola de búsqueda de Google y cree una cuenta. Puede configurar su cuenta utilizando la URL de dominio o prefijo. Es aconsejable ir con la URL de prefijo, porque es relativamente más fácil.
Ingrese la URL de su sitio web.
Ahora, haga clic en el botón “Continuar”.

Ahora debe consultar la calidad del propietario del sitio. Puede hacer esto utilizando cualquiera de las opciones dadas. Sin embargo, recomendamos usar la opción de etiqueta HTML.

Copie el código dado y luego vaya al tablero de WordPress.
Ahora puede verificar el código con el complemento Insertar encabezados y pies de página. Controlar:
Vaya a complementos -> Agregue nuevo desde el tablero de WordPress.
Ahora, busque el complemento Inserte los encabezados y los sótanos en la barra de búsqueda, luego instale y active el complemento.

Después de eso, redirige a Configuración -> Encabezado y sótano desde el tablero de WordPress y luego inserte el código copiado en la cabeza y el sótano. Después de que haya terminado, haga clic en el botón Guardar.
Regrese a la pestaña Consola de búsqueda de Google en el navegador. Luego haga clic en el botón de verificación. Verifique la propiedad a la derecha y muestre el mensaje completado una vez completado.

Haga clic en la opción “Propiedad de acceso” para acceder a la placa de la consola de búsqueda de Google.
Ahora, vuelva a la herramienta de prueba abre robot.txt y prueba robots.txt como se mencionó anteriormente. Las ventajas del archivo robots.txt aquí son los beneficios de usar el archivo robots.txt en contexto SEO:
Ayuda a optimizar el acceso a los rastreadores de motores de búsqueda, omitiendo la indexación de las páginas a las que no desea acceder con los rastreadores. Esto crea una prioridad para que el motor de búsqueda acceda a los rastreadores, solo las páginas que son importantes para usted.

Ayuda a optimizar el servidor web restringiendo los robots que consumen recursos inútiles.

Ayuda a ocultar las páginas de conexión, las páginas de destino, las páginas de agradecimiento de la indexación de los motores de búsqueda. Por lo tanto, optimiza el rendimiento del sitio.
Desventajas del archivo robots.txt
Crear un archivo robots.txt es bastante fácil, como expliqué anteriormente. Sin embargo, el archivo robots.txt también incluye las direcciones de URL de las páginas internas que no desea indexar los robots de acceso a los rastreadores, como la página de conexión. Esto hace que su sitio sea vulnerable a las violaciones de seguridad.
Si bien crear un archivo robots.txt es fácil, incluso cometer un error simple puede dibujar todo su esfuerzo. Por ejemplo, si usa mal o coloca un solo carácter en el archivo, los confundirá todos los esfuerzos de SEO.
Preguntas frecuentes (preguntas frecuentes)
¿Qué es el rastreo web? Los motores de búsqueda envían a sus rastreadores web (también conocidos como robots o arañas) en la web. Estos robots son un software inteligente que navega por toda la web para descubrir nuevas páginas, enlaces y sitios web. Este proceso de descubrimiento se conoce como rastreo en la web.
¿Qué es la indexación?
Cuando los rastreadores web descubren su sitio web, organiza sus páginas en una estructura de datos utilizable. Este proceso de organización se llama indexación.
¿Cuál es el presupuesto de rastreo?
Un presupuesto de acceso a los rastreadores es un límite en el número de direcciones de URL a las que un robot de búsqueda puede acceder con los rastreadores en una sesión determinada. Cada sitio tiene una asignación específica del presupuesto para el acceso a rastreo. Por lo tanto, debe asegurarse de gastarlo de una manera que sea más beneficiosa para su sitio, por ejemplo, si tiene más páginas en su sitio, debe asignar las páginas de presupuesto de rastreadores más valiosas. Por lo tanto, puede mencionar la URL de la página en el archivo robots.txt.
Conclusión Al trabajar en SEO de un sitio web, la mayoría de los usuarios se centran en crear mapas del sitio, trabajar en backlink, investigación de palabras clave y optimización de contenido. Solo unos pocos webmasteri prestan atención al archivo robots.txt. El archivo robots.txt puede no desempeñar un papel importante cuando comienza un sitio. Sin embargo, a medida que crece su sitio web, prestando atención al archivo robots.txt, obtiene mejores resultados. También hay un mito según el cual el bloqueo de categorías, páginas de archivo y etiquetas aumenta la tasa de acceso de rastreo y promueve una indexación más rápida. Es falso. Siga los métodos mencionados anteriormente para crear su archivo robots.txt. Esperamos que este artículo le haya ayudado a ordenar su consulta sobre cómo crear y optimizar WordPress Robots.txt para SEO. Si desea leer WordPress más útil, puede leer los siguientes artículos: ¿Cómo crear un mapa del sitio en WordPress?
¿Cómo comenzar un blog de WordPress?