visibilité

Votre site en 1ere position sur Google, vue d’ensemble des facteurs décisifs le référencement naturel

Maintenant que vous savez où vous en êtes de votre indexation, nous pouvons aborder les techniques décisives à d’éventuelles actions correctrices.

Votre site en 1ere position sur Google, vue d’ensemble des facteurs décisifs

Comme nous le disions précédemment, rien ne vaut une indexation naturelle. Deux types de facteurs sont à prendre en considération : les facteurs bloquants, et les facteurs favorisants.

Les facteurs bloquants l’indexation

Les facteurs bloquants l’indexation sont ceux qui concernent tout ce qui est susceptible de freiner l’indexation de votre site web. Autrement dit, il vous faut faciliter la tâche des moteurs de recherche, en évitant notamment certaines erreurs qui peuvent vous coûter très cher, au sens propre (si vous êtes e-commerçant) comme au sens figuré. Il est impératif de s’occuper d’eux en premier lieu.

On prendra notamment garde à éviter : de recourir à certaines technologies (Flash, Javascript), les erreurs à l’échelle du site (mauvais maillage), les erreurs au niveau des pages (liens sortants trop nombreux, poids des pages excessifs), les erreurs au niveau des urls (urls illisibles).

Nous détaillons chacun de ces points dans le chapitre suivant.

Les facteurs favorisants l’indexation

Les facteurs favorisants l’indexation sont ceux qui concernent tout ce qui est susceptible de faciliter l’indexation de votre site web. De manière générale, ils permettent une indexation personnalisée donc plus conforme aux besoins de votre site web. Ils sont toujours un atout supplémentaire mais ne sont pas incontournables pour la plupart des sites web. Ils répondent souvent à des problématiques particulières liées à l’emploi de technologies spécifiques ou encore aux sites web de plusieurs milliers de pages.

Nous nous arrêterons en particulier sur : le sitemap, le fichier robots.txt.

Nous abordons en détail ces techniques dans l’avant-dernier chapitre de cette première partie.

Les facteurs bloquants

Il existe trois catégories de facteurs bloquants : les technologies qui entravent l’indexation, les sites web mal organisés, les pages web mal calibrées.

Les technologies à proscrire

Le problème de ces technologies est qu’elles rendent difficile la lecture des urls qu’elles contiennent. Autrement dit, si une page de votre site web n’est accessible qu’à partir de ressources (urls) de ce type, il y a de fortes chances que cette page ne soit jamais indexée, donc jamais visitée par les moteurs de recherche.

Le format Flash

Le Flash est probablement la pire de toute, car illisible par la plupart des moteurs de recherche.

Le recours à Flash occasionne une double perte. D’une part, les liens ne seront pas suivis (car non recensés), donc les pages pointées par ces liens non indexées (à moins qu’elles ne soient pointées ailleurs via un lien « en dur »). Et d’autre part, la valorisation du texte du lien ne sera pas prise en compte ce qui représente une perte en matière d’optimisation de code HTML.

A cela s’ajoute la lourdeur de cette technologie. Nombreux sont les internautes qui quittent un site web avant d’avoir terminé le téléchargement de l’animation flash de la page d’accueil.

N’oubliez pas que vous devez convaincre en moins de dix secondes.

Le Javascript

Le Javascript reste délicat pour la plupart des moteurs de recherche. En général, ils ne lisent pas son contenu. La prudence invite donc à s’en passer pour la mention des urls, car elles leurs seront illisibles, donc inaccessibles. Pour le reste, il n’y a pas de mal à y recourir.

A éviter, <a href=”javascript:window.open(‘http://www.gnoztik.com’);”>logiciel référencement gratuit</a>

Conseillé, <a href=”http://www.gnoztik.com”>logiciel référencement gratuit</a>

Comme pour le Flash, le recours au Javascript pour la mention des urls engendre une double perte. D’une part, les liens en Javascript ne seront pas suivis, donc les pages pointées par ces liens non indexées (à moins qu’elles ne soient pointées ailleurs via un lien « en dur »). Et d’autre part, la valorisation du texte du lien ne sera pas prise en compte ce qui représente une perte significative en matière d’optimisation de code HTML.

On évitera donc les obstacles que sont les roll-over, les pop-up, les menus dont les liens sont faits en Javascript, etc.

Les Frames

Les frames sont accessibles aux crawlers des moteurs de recherche. Cependant, chaque frame est perçue comme une page web différente. De ce fait, les crawlers indexeront autant de pages web qu’il y a de frames contenues dans vos pages web. Le contenu de vos page sera donc éclaté et les internautes risquent fort d’arriver sur des pages incohérentes parce qu’incomplètes.

L’usage de Frames est donc peu recommandé, néanmoins cette technologie étant obsolète, il nous semble vain de nous y attarder.

Les facteurs bloquants au niveau du site

Les facteurs bloquants l’indexation au niveau du site web sont ceux qui gênent la circulation des crawlers. Pour leur rendre la tâche facile, il faut faire en sorte que votre site web soit aisément parcourable en tout sens.

Le maillage

Chaque page de votre site web est importante. Elles doivent toutes être facilement accessibles aux moteurs de recherche. Pour ce faire, il vous faut organiser le maillage de votre site. Faîtes donc en sorte que chacune de vos pages soit : à moins de trois clics de la page d’accueil, accessible à partir de plusieurs autres.

Ces deux mesures augmenteront ses chances d’indexation.

Travaillez la hiérarchie de votre site. N’hésitez pas à classer vos pages en catégories et sous catégories, vous arriverez ainsi à vos fins.

La page d’accueil

Votre page d’accueil est primordiale, mais ce n’est pas une raison suffisante pour négliger les autres pages. Vous pouvez considérer chaque page comme une porte d’entrée pour votre site, donc un point à partir duquel peut commencer l’indexation de votre site web.

Si on revient au point précédent, le maillage, on constate que la tâche se complique. En effet, si toute page peut-être virtuellement page d’accueil, il faut alors que toute autre page soit à moins de trois clics. Autrement dit, à partir de n’importe quelle page, on doit pouvoir atteindre n’importe quelle autre page en moins de trois clics.

Le cas des blogs est exemplaire. Ils réussissent tous cette tâche à merveille.

Le plan du site

Une solution pour prendre en considération les deux critères précédents, est de concevoir une page spécifique « plan du site ». Cette page référencera de manière cohérente, un peu comme une table des matières, chaque page de votre site web. Enfin, cette page sera référencée par chaque page de votre site web, dans le pied de page par exemple. Cette technique fait l’unanimité parmi les spécialistes du référencement.

ATTENTION, le lien vers votre plan du site doit être un lien en dur (facile à suivre par les crawlers des moteurs de recherche). Pareillement votre plan du site doit être constitué de liens en dur. Dans le cas contraire, tous vos efforts seront vains.

N’oubliez pas que cette technique est surtout à destination des moteurs de recherche pour faciliter l’indexation de votre site web. Néanmoins, elle est souvent très utile à l’internaute désireux de se repérer dans un site web. Il est donc préférable de la soigner.

Les facteurs bloquants au niveau des pages

Les facteurs bloquants l’indexation au niveau de la page web sont ceux qui amènent les crawlers à négliger certains liens. Pour leur rendre la tâche facile, il faut faire en sorte que vos pages web soient au gabarit attendu par les crawlers.

Le nombre de liens

Vos pages ne doivent pas avoir plus de cent liens, une vingtaine maximum est conseillée.

Les robots estiment suspecte une page trop chargée en liens.

Le type des liens

Le Javascript

Comme dit précédemment, ces liens ne doivent pas être en Javascript, sous peine de ne pas être indexés par les moteurs de recherche. Ils doivent être en dur :

A éviter, <a href=”javascript:window.open(‘http://www.gnoztik.com’);”>logiciel référencement gratuit</a>

Conseillé, <a href=”http://www.gnoztik.com”>logiciel référencement gratuit</a>

L’url rewriting

Nettoyez l’url de chacune de vos pages. Les humains y gagneront aussi. Les robots préfèrent indexer une url qui ressemble à http://www.monsite.com/baladeur-mp3-pas-cher.htm plutôt qu’à http://www.monsite.com/produit.php?id=123456&section_id=123&subsection_id=456

Pour y arriver, on utilise une technique appelée url rewriting. Dans l’état actuel de vos connaissances, il est probable que vous ne sachiez pas en faire usage. Nous l’abordons donc dans la troisième partie de ce document.

Le gabarit des pages

Evitez les longues pages. Les robots préfèrent en général les pages plus concises. De cette manière, vous pourrez construire plus de pages à indexer, vous aurez donc d’autant plus de pages candidates à un bon positionnement dans les moteurs de recherche et ces pages du fait de leur contenu thématique plus homogène auront davantage de chances d’être bien positionnées dans les résultats des moteurs de recherche.

Les facteurs favorisants

Ces techniques ne sont pas incontournables. Elles répondent à des problèmes spécifiques.

Néanmoins, elles ne peuvent en aucun cas vous nuire. Dans la mesure où elle demande assez peu de travail, il serait dommage de vous en priver alors qu’elles sont susceptibles d’apporter un gain notable en matière d’indexation. Nous nous concentrerons principalement ici sur deux techniques : le sitemap, et le fichier robots.txt.

Le sitemap

Le sitemap, Kezako ?

Le sitemap est une technique qui facilite le travail d’indexation des moteurs de recherche.

Cette technique est approuvée officiellement par les moteurs de recherche majeurs : Google, Yahoo, Microsoft Bing et Ask.

Le fichier sitemap vous permet d’indiquer aux moteurs de recherche comment indexer votre site web. De cette manière, l’indexation se fera plus conformément à vos attentes.

Petit rappel sur les crawlers : un crawler est un robot (aussi appelé bot ou spider) qui parcourt le web et récupère automatiquement les pages web visitées. Les moteurs de recherche ont des crawlers qui se chargent du travail d’indexation.

Le crawler de Google s’appelle GoogleBot alors que celui de Yahoo s’appelle Yahoo Slurp.

A chaque fois qu’un crawler visite une page web, il en fait l’analyse, en extrait les liens vers d’autres pages web et les indexe dans sa base de données. Quelques temps plus tard, il visite les pages nouvellement indexées et réitère l’opération.

C’est ce qu’on pourrait appeler l’indexation naturelle. Il est néanmoins possible de devancer ce processus, à l’aide du protocole sitemaps.

Le protocole sitemaps (avec un « s »)

En novembre 2006, Google, Yahoo et Microsoft se sont mis d’accord pour supporter le protocole sitemaps. Le protocole sitemaps est un standard qui peut vous aider à soumettre l’ensemble de vos pages web aux moteurs de recherche en une seule fois.

Ask a ensuite rejoint Google, Yahoo et Microsoft. Désormais les quatre principaux moteurs de recherche supportent le protocole sitemaps.

Le protocole sitemap (sans « s »)

Le protocole sitemaps s’implémente côté webmaster sous la forme d’un fichier sitemap. Les fichiers sitemap sont un moyen facile pour les webmasters d’informer les moteurs de recherche sur les pages de leurs sites web qui sont prêtes à être crawlées. C’est un format XML standard qui facilite la création d’un fichier sitemap compréhensible par tous les moteurs de recherche.

Les moteurs de recherche peuvent désormais détecter automatiquement votre fichier sitemap, nous verrons cela dans la suite de ce chapitre.

Les limites du sitemap

– Comment le fichier sitemap aide mon site web ?

Habituellement, les crawlers du web découvrent les nouvelles pages web à partir de liens faits par d’autres sites web. Le fichier sitemap permet aux crawlers qui supportent ce protocole de collecter en une fois toutes ces informations ainsi que des meta-données associées.

Le fichier sitemap vous permet d’informer les moteurs de recherche à propos des pages de votre site web. Il est souvent plus facile pour les moteurs de recherche de trouver toutes vos pages web si vous utilisez un fichier sitemap.

– Est-ce qu’un fichier sitemap est indispensable à un bon référencement ?

De manière générale un site web bien construit n’a pas besoin de fichier sitemap. Utiliser le protocole sitemap ne garantit pas que vos pages web seront intégrées aux index des moteurs de recherche, mais cela facilite grandement et améliore la qualité du travail des crawlers.

– Le fichier sitemap ne sert à rien, alors ?

Non, en plus de favoriser une indexation optimale, il est souvent incontournable. Il répond à des problématiques particulières liées à l’emploi de technologies spécifiques (Flash, Javascript, etc.) ou encore aux sites web de plusieurs milliers de pages.

– Est-ce qu’un fichier sitemap améliore mon positionnement dans les moteurs de recherche ?

Il faut bien prendre garde à ne pas confondre indexation et positionnement dans les résultats de recherche. Indexation veut dire présent dans la base de données des moteurs de recherche. Or, une page web ne peut en aucun cas sortir dans les résultats de recherche, si elle n’est pas indexée. L’indexation est donc une condition nécessaire mais pas suffisante à un bon positionnement.

Un sitemap aide les moteurs de recherche à trouver vos pages web mais ne vous aide pas à obtenir un meilleur positionnement dans les moteurs de recherche. Quand les moteurs de recherche indexent vos pages, ils doivent trouver des pages au contenu optimisé et de bons backlinks. Les moteurs de recherche vous positionneront bien uniquement si vous avez les deux. Ces éléments seront abordés dans les prochaines parties de ce document.

Le fichier sitemap en détail

– Le sitemap, ça ressemble à quoi ?

Dans sa forme la plus simple, un fichier sitemap est un fichier XML qui liste les urls d’un site web avec en plus quelques meta-données renseignant chaque url : la date de sa dernière mise à jour, selon quelle fréquence change l’url, son importance relativement aux autres urls du site.

Ces informations aident les moteurs de recherche à crawler votre site web intelligemment.

Ce qui donne dans votre fichier XML sitemap.xml :

<?xml version=’1.0′ encoding=’UTF-8′ ?>
<urlset xmlns=”http://www.google.com/schemas/sitemap/0.84″>
<url>
<loc>http://www.monsite.com</loc>
<lastmod>2009-06-03</lastmod>
<changefreq>weekly</changefreq>
<priority>1.0</priority>
</url>
<url>
<loc>http://www.monsite.com/une-page.html</loc>
<lastmod>2009-05-15</lastmod>
<changefreq>monthly</changefreq>
<priority>0.1</priority>
</url>
<url>
<loc>http://www.monsite.com/autre-page.html</loc>
<lastmod>2009-06-06</lastmod>
<changefreq>daily</changefreq>
<priority>0.1</priority>
</url>
[fusion_builder_container hundred_percent=”yes” overflow=”visible”][fusion_builder_row][fusion_builder_column type=”1_1″ background_position=”left top” background_color=”” border_size=”” border_color=”” border_style=”solid” spacing=”yes” background_image=”” background_repeat=”no-repeat” padding=”” margin_top=”0px” margin_bottom=”0px” class=”” id=”” animation_type=”” animation_speed=”0.3″ animation_direction=”left” hide_on_mobile=”no” center_content=”no” min_height=”none”][…]
</urlset>
</xml>

Comme nous le verrons par la suite, la plupart des balises sont optionnelles.

Les différentes balises de votre fichier sitemap :

<

p style=”text-align: justify;”>-<urlset> : Le tag urlset précise la version du standard XML sitemap utilisée. La valeur renvoie à une url qui décrit le format utilisé dans le fichier courant. Dans la mesure où le standard peut évoluer, ce tag permet de faire cohabiter des anciennes versions du standard avec la dernière sans que cela ne pose problème. Il est donc inutile de mettre à jour votre fichier sitemap lorsque le standard évolue, à moins de vouloir profiter des nouvelles fonctionnalités que celui-ci propose.
Ce tag est obligatoire et il est unique.

<

p style=”text-align: justify;”>-<url> : Le tag url regroupe l’ensemble des informations concernant une unique url ou page web. Il en faut donc un par url ou page web décrite dans le fichier sitemap (sitemap.xml).
Ce tag est obligatoire.

<

p style=”text-align: justify;”>-<loc> : <loc>http://www.monsite.com</loc>
Le tag loc précise l’url courante, ici http://www.monsite.com.
Ce tag est, bien entendu, obligatoire.

<

p style=”text-align: justify;”>-<lastmod> : <lastmod>2009-06-03</lastmod>
Le tag lastmod précise la date de dernière mise à jour de l’url courante.
Cette date doit nécessairement être au format AAAA-MM-JJ, ici 2009-06-03, soit le 3 juin 2009.
Ce tag est optionnel. Il est donc possible de s’en passer parfois ou même toujours.

<

p style=”text-align: justify;”>-<changefreq> : <changefreq>weekly</changefreq>
Le tag changefreq précise avec quelle fréquence change l’url courante.
Il peut prendre les valeurs always, hourly, daily, weekly, monthly, yearly, never pour respectivement toujours (à chaque nouvel accès à l’url courante), chaque heure, chaque jour, chaque semaine, chaque mois, chaque année, ou jamais (pour les urls archivées), ici weekly, soit chaque semaine.
Ce tag est optionnel. Il est donc possible de s’en passer parfois ou même toujours.

<

p style=”text-align: justify;”>-<priority> : <priority>1.0</priority>
Le tag priority précise l’importance de l’url courante relativement aux autres urls du (le même) site web courant (priority = 0.1, 1.0, etc.). Sa valeur varie de 0.0 (priorité faible )à 1.0 (priorité forte).
Ce tag est optionnel. Il est donc possible de s’en passer parfois ou même toujours. Si il est absent alors la valeur par défaut est 0.5. Dans le cas présent, la valeur 1.0 indique une forte priorité.

– Qu’est-ce que je fais de mon fichier sitemap  ?

Les quatre principaux moteurs de recherche Google, Yahoo, Microsoft Bing (successeur de Microsoft Live Search) et Ask vérifient régulièrement les fichiers robots.txt des sites web.

L’ajout d’une ligne dans ce fichier suffit alors pour indexer votre fichier sitemap.

Ce qui donne dans votre fichier robots.txt.

Code robots.txt : Sitemap: http://www.monsite.com/sitemap.xml

Attention, le fichier robots.txt doit se trouver à la racine de votre site web.

http://www.monsite.com/robots.txt

Vous pouvez néanmoins devancer leurs visites en soumettant directement vos fichiers sitemap à Google, Yahoo et Ask. Pour Google et Yahoo, il vous faudra ouvrir un compte.

Alors que pour Ask, il suffit de « pinger » l’url qui suit avec l’adresse de votre sitemap en paramètre : http://submissions.ask.com/ping?sitemap=http%3A//www.monsite.com/sitemap.xml

Le protocole sitemap peut vous aider à informer les moteurs de recherche à propos de vos pages web. Rappelez-vous, une indexation réussie est la première étape d’un référencement réussi. Vous trouverez davantage d’informations à propos du nouveau standard sitemap sur le site web officiel du sitemap (http://www.sitemaps.org/fr/protocol.php). Il peut également être intéressant de visiter la page sitemap de Google (https://www.google.com/webmasters/tools/docs/fr/protocol.html) et la page indexation de Ask (http://sp.fr.ask.com/fr/docs/about/asksearch.shtml).

Le fichier robots.txt

Le fichier robots.txt est une autre technologie qui permet de personnaliser l’indexation de votre site web par les crawlers des moteurs de recherche. Elle n’aura pas l’impact que peut avoir le fichier sitemap.xml, elle peut néanmoins vous rendre quelques petits services.

– Le fichier robots.txt, c’est quoi ?

Le fichier robots.txt (avec un « s ») est le premier fichier que visitent les crawlers des moteurs de recherche lorsqu’ils commencent à indexer un site web. Dans ce fichier, sont consignés des directives écrites par le webmaster du site web à destination des robots et donc des crawlers des moteurs de recherche. La présence de ce fichier n’a rien d’obligatoire.

Le fichier robots.txt (ou fichier d’exclusion des robots) est le moyen côté webmaster d’implémenter le protocole d’exclusion des robots (Robots Exclusion Protocol).

« Robots Exclusion Protocol », kezako ?

Plus précisément, ce protocole permet aux webmasters de communiquer aux robots (et donc aussi aux crawlers des moteurs de recherche) : les parties (privées) de leurs sites web à ne pas indexer, la vitesse maximale d’indexation souhaitée (directive non standard), ainsi que l’emplacement de leur fichier sitemap.xml (directive non standard).

Ce protocole est issu d’un consensus, il n’a pas valeur d’obligation. Néanmoins, les crawlers des moteurs de recherche s’y astreignent.

Pourquoi s’embarrasser d’un fichier robots.txt ?

Le fichier robots.txt n’est pas une technologie incontournable. Elle peut cependant avoir son utilité. Si vous avez des milliers de pages qu’il n’est pas intéressant de voir indexées, le signaler aux robots via le fichier robots.txt vous permet d’économiser de précieuses ressources (bande passante, cpu, etc.). Les crawlers ne rapatrieront plus inutilement toutes ces pages web. Sachez que lorsque les robots se déchaînent, ils peuvent être gros consommateurs de ressources pour votre serveur web (hébergeur) et pénaliser lourdement dans leur navigation (ralentir) les internautes qui visitent votre site web au même moment.

Le fichier robots.txt n’est visité que par les robots. Si vous surveillez l’indexation de votre site web, c’est un moyen pour vous de savoir quels sont les robots qui vous rendent le plus souvent visite. La consultation de vos fichiers de logs (sur votre serveur web) vous fournira ces informations.

Mise en garde

Le protocole REP n’a pas valeur d’obligation pour les robots. Rendre inaccessible une partie de votre site web via le fichier robots.txt est donc une très mauvaise idée. Le fichier robots.txt est publique, donc accessible à tout robot. N’oubliez pas qu’il en existe aussi de malveillants qui sont à la recherche de failles en tout genre. En signalant les parties privées de votre site web sans autre moyen que le fichier robots.txt pour empêcher d’y accéder, vous encouragez les actes de pirateries sur votre propre site web.

– Comment rédiger mon fichier robots.txt ?

Le fichier robots.txt se compose d’un ou plusieurs blocs d’instructions. Une ou plusieurs lignes vides marquent la fin d’un bloc d’instructions. Chaque bloc contient des directives et éventuellement des commentaires. Les commentaires commencent toujours par le caractère « # » (ils sont ignorés par les robots).

Le fichier robots.txt est construit à l’aide de deux directives standards : User-agent et Disallow. Chaque bloc débute par une ou plusieurs directives User-agent suivies par une ou plusieurs directives Disallow. Des commentaires peuvent être placés à n’importe quel endroit.

La directive « User-agent »

Chaque crawler est identifiable par son User Agent (identité qu’il s’est lui-même attribué). A chaque fois qu’il effectue une requête auprès d’un serveur web, il se présente avec son User Agent.

Le crawler de Google a pour User Agent, Googlebot. Tandis que celui de Yahoo a pour User Agent Yahoo Slurp. Pareillement, le crawler de Microsoft Bing (successeur de Microsoft Live Search) a pour User Agent MSNbot.

Cette directive est une directive standard, elle vous permet d’indiquer à quels crawlers s’adresse le bloc d’instructions qui la suit.

La directive « Disallow »

Cette directive est une directive standard, elle signale quels sont les répertoires ou fichiers qui ne doivent pas être visités.

Exemples

Le caractère « * » est un caractère spécial qui désigne n’importe quel User Agent.

Le bloc d’instructions suivant autorise tout robot à parcourir l’ensemble de votre site web. Ne pas avoir de fichier robots.txt produit le même effet.

Code robots.txt : User-agent: * Disallow:

Le bloc d’instructions suivant interdit à tout robot de parcourir la moindre partie de votre site web. N’espérez pas être bien positionné dans les SERP !

Code robots.txt : User-agent: * Disallow: /

Le bloc d’instructions suivant interdit à tout robot l’accès aux répertoires /cgi-bin, /images, /tmp, /private (et à tout ce qu’ils contiennent).

<

p style=”text-align: justify;”>Code robots.txt : 
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/

Le nombre de blocs d’instructions n’est pas limité. Vous pouvez en utiliser autant que nécessaire.

Les deux blocs d’instructions suivants interdisent à tout robot, excepté le Googlebot, l’accès au répertoire /forum (et à tout ce qu’ils contient).

<

p style=”text-align: justify;”>Code robots.txt : 
# interdiction à tous les robots d’indexer /forum
User-agent: *
Disallow: /forum
# excepté au googlebot
User-agent: googlebot

Disallow : Les directives non standards

Il existe des directives non standards comme :

-Crawl-delay (fixe le délai minimum en secondes entre deux requêtes successives à un serveur web),

-Allow (accorde une permission à la différence de Disallow),

-ou Sitemap (indique l’emplacement du fichier sitemap.xml).

Elles sont comprises par les principaux crawlers.

Le bloc d’instructions suivant : fixe à 10 secondes le délai minimum entre deux requêtes successives au serveur web, pour tout crawler, autorise le googlebot à crawler l’intégralité de votre site web, interdit aux autres crawlers l’accès au répertoire /forum (et à tout ce qu’ils contient), excepté le fichier public.html.

<

p style=”text-align: justify;”>Code robots.txt : 
User-agent: *
Crawl-delay: 10
# restriction pour tous les robots
User-agent: *
Allow: /forum/public.html
Disallow: /forum
# excepté le googlebot
User-agent: googlebot
Disallow:

Diverses propositions vont dans le sens d’étoffer le standard avec de nouvelles directives.

– Qu’est ce que je fais de mon fichier robots.txt ?

La présence du fichier robots.txt n’est pas obligatoire. Néanmoins si il existe, il doit nécessairement se trouver à la racine de votre site web pour pouvoir produire son effet. Les crawlers des moteurs de recherche n’iront pas le chercher ailleurs.

Abonnez-vous à ce blog par e-mail.

Saisissez votre adresse e-mail pour vous abonner à ce blog et recevoir une notification de chaque nouvel article par email.

Laisser un commentaire