Obviamente, los motores de búsqueda, como Google, deben seguir encontrando tu página sin dificultad. Sin embargo, los servicios más dañinos o dudosos, como DuggMirror, es mejor que no la encuentren. Para excluir estos servicios puedes usar robots.txt de WordPress. Además, debes excluir de la indexación los temas, tu aviso legal y otras páginas que tengan poca o ninguna relevancia. Los plugins tampoco se deben indexar, no solo porque no son relevantes para el público, sino también por razones de seguridad. Si un plugin tiene un problema de seguridad, los atacantes pueden encontrar y dañar tu sitio web de esta manera.
En la mayoría de los casos, los dos comandos mencionados anteriormente bastarán para hacer un buen uso de robots.txt en WordPress: “User-agent” define aquébots hay que llamar. De este modo, puedes configurar excepciones para determinados motores de búsqueda o establecer reglas básicas. “Disallow” prohíbe a los rastreadores el acceso a una página o subpágina correspondiente. El tercer comando, “Allow”, no es relevante en la mayoría de los casos, ya que el acceso está permitido por defecto. Solo necesitas este comando si quieres bloquear una página web completa, pero autorizar alguna de sus subpáginas.