Exhaustivité

Deux études américaines récentes montrent que la recherche d’informations sur le Net est une affaire de spécialistes.

• Web visible.
  Il contient les sites et les pages accessibles à tous, et dont le contenu n’évolue pas quotidiennement : sites d’entreprises, sites gouvernementaux, pages dites personnelles... Une courbe de croissance exponentielle :
  • 800 millions de pages fin 1998.
  • 2 milliards de pages environ mi 2000.
  • 3 à 4 milliards de pages début 2001.

Selon une étude Compaq, IBM et Alta Vista, il serait constitué de 5 parties à peu près égales :

• un coeur, constitué de sites "interconnectées", reliés entre eux par des liens hypertextes.
  Ainsi, www.adit.fr propose des liens avec les différents sites gouvernementaux français, dont celui du Ministère du Commerce Extérieur, qui renvoie notamment sur le site du CFCE, lequel permet d’accéder à www.adit.fr
• des sites "d’entrée", qui ne sont référencés sur aucun site du coeur, mais disposent de liens permettant d’y accéder.
• des sites "de sortie", qui ne sont référencés que dans des sites du coeur (principal moyen pour y accéder), et qui ne disposent d’aucun lien vers d’autres sites (on ne peut s’en échapper).
• des sites "passerelles", qui sont des sites d’entrée mais qui, au lieu de permettre d’accéder au coeur, renvoient vers des sites de sortie.
• enfin, des sites isolés, non référencés et donc indépendants des 4 catégories ci-dessus.

Principales conclusions de cette étude :
1 - Les meilleurs moteurs de recherche (Alta Vista, Hotbot, Google...) ne sont capables d’accéder qu’aux sites du coeur et aux sites de sortie, soit approximativement les 2/5 du Web visible, ce qui représente environ 800 millions de pages.
2 - Pour des raisons techniques, chacun de ces moteurs ne peut référencer aujourd’hui plus de 450 à 500 millions de pages.

Pour accéder aux 800 millions de pages, potentiellement disponibles, il faut utiliser 3 ou 4 moteurs et croiser les résultats.

• Web invisible.
  Il est composé de sites privés, de banques de données gratuites, et surtout de banques de données payantes.
  Pour l’essentiel, il s’agit d’informations bibliographiques sur les technologies, l’économie et les marchés, le droit et la finance.
  Cette partie du Web échappe totalement aux moteurs de recherche.
  L’étude de Bright Planet évalue le Web invisible à 500 milliards de pages (250 fois le Web visible ! ).
  Son accès, qui suppose notamment la maîtrise d’un savoir-faire spécifique, reste en grande partie "réservé" aux documentalistes.

EN SAVOIR PLUS