Toolbox en ligne

Qu ' est-ce que le fichier robots.txt ?

Les moteurs de recherche accèdent automatiquement aux pages Web sur Internet et obtiennent des informations sur les pages Web à travers un programme "araignée" (également connu sous le nom d'araignée). Vous pouvez créer un fichier texte brut robots.txt dans votre site Web pour déclarer les parties du site Web que vous ne souhaitez pas être visitées par les araignées, de sorte que tout ou partie du contenu du site Web ne soit pas accessible et inclus par les moteurs de recherche, ou vous pouvez spécifier que les moteurs de recherche n'incluent que le contenu spécifié via robots.txt. Le premier fichier que les moteurs de recherche explorent est robots.txt.

Pouvez-vous en dire plus sur le fichier robots.txt ?

1. Fichier Location

   Le fichier robots.txt doit être placé dans la racine du site Web. Par exemple, lorsqu 'un moteur de recherche visite un site Web, il vérifie d'abord s'il existe un fichier robots.txt sur le site Web. Si le robot robot trouve ce fichier, il déterminera la portée de son accès en fonction du contenu du fichier. L'emplacement du fichier robots de wordpress n'a pas téléchargé robots.txt dans le programme racine du site web wordpress, lorsque les moteurs de recherche et les utilisateurs visitent un fichier, le programme wordpress générera activement un robots.txt pour les moteurs de recherche et les utilisateurs ; si nous téléchargeons le fichier robots.txt au programme racine du site Web, les utilisateurs et les araignées du moteur de recherche visitent le fichier que nous téléchargeons, wordpress ne générera pas ce fichier. WordPress ne génère ce fichier que si le serveur ne peut pas trouver les robots.

2. Fichier format

   Le fichier "robots.txt" contient un ou plusieurs enregistrements séparés par des lignes vides (terminées par CR, CR/NL, ou NL), chacun au format suivant : "<field>:<optionalspace><value><optionalspace>" Vous pouvez annoter le fichier avec #, comme c'est le cas sous UNIX. Les enregistrements dans ce fichier commencent généralement par une ou plusieurs lignes User-agent, suivies de plusieurs lignes Disallow, avec les détails suivants : User-agent : La valeur de cette entrée est utilisée pour décrire le nom du robot du moteur de recherche. Dans le fichier "robots.txt", s'il y a plus d'un enregistrement d'agent utilisateur, il y a plus d'un robot soumis à ce protocole. Par conséquent, vous devez avoir au moins un enregistrement d'agent utilisateur dans le fichier "robots.txt". Si la valeur de l'élément est définie sur * (Wildcard), le protocole est valide pour tous les robots de moteur de recherche. Dans le fichier "robots.txt", il ne peut y avoir qu 'un seul enregistrement tel que "User-agent : :" Disallow : La valeur de cet élément est utilisée pour décrire une URL à laquelle vous ne voulez pas accéder. L'URL peut être un chemin d'accès complet ou partiel. Toute URL commençant par Disallow ne sera pas accessible par le robot. Par exemple, « Disallow : /help » ne permet pas aux moteurs de recherche d'accéder à /help.html et /help/index.html, tandis que « Disallow : /help/ » permet aux robots d'accéder à /help.html, mais pas à /help/index.html. Tout enregistrement Disallow est vide, ce qui signifie que toutes les parties du site Web sont autorisées à être consultées. Il doit y avoir au moins un enregistrement Disallow dans le fichier "/ robots.txt". Si le fichier "/robots.txt" est vide, le site est ouvert à tous les robots de moteur de recherche.

3. Bouclier général

   Blindage de la page de confidentialité, page de connexion en arrière-plan, page de cache, répertoire d'images, répertoire css, page de modèle, blindage du contenu de la double page, en même temps, vous pouvez bloquer certaines pages de mauvaise qualité, telles que toutes les pages d'espace utilisateur membres du réseau d'or, les liens dynamiques dz peuvent également être définis pour le blindage. Utilisez la commande Disallow : pour définir.