Instrucciones para crear y optimizar el archivo robots.txt en WordPress

¡Así que aquí está a punto de descubrir cómo crear el archivo robots.txt para WordPress y cómo optimizarlo correctamente! En mi publicación anterior, discutí todas las cosas esenciales de los robots.txt WordPress, porque es un factor de SEO importante. Si no usa este archivo de texto o optimiza correctamente Robots.txt, enfrentará más problemas como
Los motores de búsqueda estarían confundidos
Los piratas informáticos de los sitios web serían invitados
Se podría ver datos confidenciales
Recoger problemas de contenido duplicados
Uno de los conceptos erróneos más grandes de este archivo es que las personas piensan si agregan algún archivo o carpeta a este archivo, entonces no se indexará en Google.
Bueno, debes saber que los rastreadores y la indexación son diferentes. Este archivo guía a Google Robots a acceder con los rastreadores y qué no acceder con los rastreadores en su sitio web. No les digas qué indexar. Así que no pienses de manera inapropiada sobre estos dos conceptos. La operación del archivo robots.txt está relacionado con los rastreadores y no la indexación. ¿Cómo se crea el archivo robots.txt? Para crear el archivo robots.txt para WordPress, permítame ofrecerle un recorrido por el robot.txt y su sintaxis para que lo comprenda correctamente.

La sintaxis contiene principalmente tres palabras, “agente de usuario”, “no permitir” y “permitir” y se puede escribir de acuerdo con la necesidad del usuario.
Usuario -Agent – Búsqueda de rastreadores (como Google, Bing) No permite el archivo o director o URL que desea bloquear. Permitir – para proporcionar acceso con rastreadores a los robots 1. Para detener todos los robots en el servidor, debe escribir: – Usuario -agent: * desactivar: / Después de agregar esta sintaxis, ningún bot accederá a su sitio. Con rastreadores. Lo único importante que debe recordar es que cuando los robots acceden a su sitio web de spam y cualquier malware, no leo el archivo robots.txt. 2. Si desea permitir que los robots rastreen todo su sitio web, entonces debe escribir: -ser -agent: * desactivar: lo mismo se puede hacer si crea un archivo hollow robots.txt o si no tiene texto de esto tipo que puede guiar a los robots con rastreadores sobre su sitio web. 3. Si no desea que se accediera a una carpeta en particular (dígale a CGI-bin) en el director de su sitio web con rastreadores, entonces debe escribir: -user-agent: * desactivar: / cgi-bin / 4. ¿Si no desea que los robots accedan a más carpetas con rastreadores? Permítame mostrarle cómo puede hacer esto: -User-agent: * desestimar: /cgi-bin /desestimar: /wp-plugins /dishllow: /wp-admin /desestrow: /wp-includes /
Puede ver que para cada archivo escribí una sintaxis separada. Se afirma que no puede colocar dos o más carpetas en la misma línea. Si escribe de esta manera “no le permite: / contenido / jolly / work /”, entonces no se considerará, porque aquí puede mostrar que una carpeta llamada “trabajo” está allí en la carpeta “Jolly”, que también está en el Carpeta de “contenido” para que, prácticamente, la sintaxis sea incorrecta y no realizará su acción. 5. Con el archivo Robots.txt para WordPress, puede prohibir cualquier boca malo para acceder a usted con los rastreadores en el sitio web, tal opción para permitir el archivo en el archivo robots.txt para WordPress. Bueno, hay una manera de hacerlo. El archivo que desea permitir que los robots accedan con los rastreadores, debe escribir: -ser-agent: google-image permite:/wp-content/uploads/arriba código bloqueará todos los motores de búsqueda excepto las imágenes de Google, para rastrear sus cargas de imágenes. También puede pagar un archivo determinado en el directorio y bloquear todos los demás usuarios similares: * Permitir: /my-folder/my-file.php deseshow: /my-fold /bloqueará la carpeta completa (mi carpeta) , pero las arañas pueden acceder al archivo específico (My-File.php). Sin embargo, asegúrese de agregar el “Código” Permitir “antes” No lo permita “.
7. La otra cosa que puede hacer con este archivo es cancelar la página o la publicación a la que no desea acceder con los rastreadores, entonces debe escribir: –
Agente de usuario: * desescuar: / page-permalink disalk: / post-permalink ex: desactivar: / acerca de-me / 8. Si no desea permitir que los motores de búsqueda sean rastreadores CSS, PHP y JavaScript, entonces debe escribir : – user -agent:*desactivar: /*.php$ Dishllow: /*.css$ deseshow: /*.js$ $ – Para adaptarse al 9. Si usa Google Adsense en su sitio. Puede escribir lo siguiente Para transmitir mejores anuncios: -User-agent: MediaPartners-Google desactivar: 10. Si solo desea permitir las arañas de Google, entonces debe escribir: -User-agent: GoogleBot Permitir: / User-agent: * desactivar: / usuario– Agente: * – Todas las arañas del motor de búsqueda deben cumplir con las reglas especificadas en el archivo robots.txt. ¿Cómo optimizar robots.txt para WordPress? Sería bueno crear el archivo robots.txt para detener a los motores de búsqueda a rastreadores de algunos principales y directores. También es una muy buena práctica agregar Sitemap a Robots.txt. Veamos cómo optimizar el archivo Robots.txt WordPress. Si su sitio web de WordPress es nuevo y no ha generado dinero con Google AdSense, puede usar la muestra de TXT Roboti como se muestra a continuación el mapa del sitio: http://www.yoursite.com/sitemap_index.xml

Agente de usuario: * No permita: / cgi-bin / no permita: / page / no permita: / wp-admin / no permita: / wp-account / complementos no permita: / wp-account / themes do No permita: / feed / no permita: / WP-Includes / permitiendo: / recomendado / no permita: / comentarios / feed / disable: / trackback / no permita: /index.php no permita: / xmlrpc. PHP Si usa anuncios adsense y su sitio. WordPress no es nuevo, sería mejor usar el ejemplo txt del robot presentado debajo del agente de usuario: * No permita: / cgi-bin / no permita: / wp- admin / no permita: / recomendar / no permita: / comentarios / feed / disable: / trackback / no permita: /index.php No permita: /xmlrpc.pputilizer-agent: ninjabot permite: / agente-user: MediaPartners-Google * Permitir: / Agent-User: Google-Image Permitir: / wp-account / uploads / user-agent: adsbot-google permite: / agente-user: google-mobile permite: / siteMap: http: // www .yoursite.com/ SitEmap.xml Conclusión El archivo Robots.txt para WordPress es una parte importante del SEO. Si se usa incorrectamente o se usa incorrectamente, afectaría la clasificación de su motor de búsqueda. Este archivo está en la raíz del director web, y las líneas de dirección enumeradas en el archivo serán seguidas por los robots de motores de búsqueda.