Cómo generar un robots TXT en WordPress

Dentro del SEO existen muchas herramientas para poder optimizar una página web y ayudar a que los motores de búsqueda como Google, la indexen más rápido y en una mejor posición en su ranking. Por ejemplo, alguna página de un sitio web no es necesario que Google la añada a su índice, por lo que incluyéndola en el archivo robot.txt no será rastreada. También es interesante poder bloquear el acceso al sitio web a determinados bots o rastreadores, algo que se puede realizar desde el propio robots.

Utilizar este archivo en un sitio web es un proceso muy sencillo gracias a que es posible generar robots TXT en WordPress.

Qué es un robot TXT en WordPress

El robot TXT es un archivo en formato texto que indica que partes de un sitio web son bloqueadas o se le permite revisar por parte de los bots de los motores de búsqueda. Este archivo robot.txt es consultado por las arañas de Google y otros buscadores para saber qué URL de un sitio web indexar y cuáles no.

Qué es una araña o bot

Cuando se hace referencia a una araña o bot de Google, se está hablando de un programa que rastrea la red, analizando páginas para clasificarlas y añadirlas al índice del buscador, y que de esta manera, los usuarios puedan encontrarlas en sus búsquedas.