Les moteurs de recherche (Google, Bing, Yahoo! etc.) sont souvent confondus avec les navigateurs web (Chrome, Firefox, Safari etc.) tant ils sont centraux dans le parcours digital des internautes et la vie quotidienne de tout un chacun. Je vous présente dans les grandes lignes leur fonctionnement, leurs grandes tendances et leurs parts de marché respectives.

Les 4 étapes du fonctionnement des moteurs de recherche

Les moteurs de recherche sont des logiciels qui parcourent le web afin de recenser et indexer automatiquement les pages qu’ils visitent, après les avoir traitées et analysées. L’objectif final est de pouvoir répondre aux requêtes des internautes, aussi appelées interrogations, en leur proposant des liens vers les sites les plus pertinents pour répondre à leur intention de recherche.

On peut subdiviser le fonctionnement d’un moteur de recherche en 4 étapes fondamentales :

1) Le crawl (collecte de données) via les crawlers (aussi appelés spiders, bots ou robots) : les pages du web sont incessamment visitées et tous les hyperliens qu’elles contiennent sont suivis. Les robots suivent les instructions du site web pour le crawl (robots.txt) et sont identifiables par les webmasters grâce à un user-agent spécifique.

2) L’indexation des données : une base de données documentaire est constituée, que l’on appelle un index. Elle comprend toutes les pages connues et visitées par le bot.

3) Le traitement des intentions de recherche des utilisateurs et la mise en place d’un système de d’interrogation de l’index, et de ranking pertinent en fonction des mots-clés saisis par les internautes dans leurs requêtes au moteur de recherche.

4) La réponse à une requête utilisateur de la part du moteur de recherche sous la forme d’une SERP (Search Engine Results Page) contenant des liens sponsorisés et des résultats naturels (aussi appelés liens bleus).

Pour aller un peu plus loin je vous conseille vivement le livre d’Olivier Andrieu qui consacre un chapitre entier à cette question (Fonctionnement des outils de recherche. In : Olivier Andrieu, Réussir son référencement web. Paris. Eyrolles, 2018, p. 38).

La SERP : page de résultats de moteur de recherche

Les SERP des moteurs de recherche contiennent des résultats variés : liens, images, vidéos, résultats enrichis (knowledge graph, featured snippets, sitelinks, tweets etc.). Pour Google, les SERPs doivent répondre à un processus de recherche universelle : elles doivent proposer des médias divers et variés correspondant aux intentions et aux attentes diverses des utilisateurs. D’après une étude de Advance Web Ranking datant de 2014, seul 17% des SERPs contenaient 10 liens bleus sans autre forme de résultats enrichis, et la proportion continue de baisser.

Les SERPs évoluent sans cesse au fil des années, on observe par exemple sur Google un processus de test quasi quotidien de nouvelles SERP : celles-ci sont montrées à des utilisateurs aléatoirement et des données sont récoltées sur leur interaction avec la SERP, il s’agit d’une stratégie de split testing classique qui définit sans cesse l’orientation des SERPs à venir.

On distingue deux types de résultats dans les SERP : les résultats payants (annonces sponsorisées, SEA) et les résultats organiques (liens bleus, SEO).

Au fil des évolution des SERP et avec les années, une forte tendance au déclassement des liens bleus a été observée :

• Les liens payants sont de plus en plus discrets (maquillés en résultats organiques)
• Ils sont de plus en plus nombreux (jusqu’à 4 résultats payants en haut de page)
• Ils occupent de plus en plus de place (de manière à ce que certaines SERP contiennent seulement 2 ou 3 liens bleus).

Cela s’explique tout simplement par l’intérêt pécuniaire des moteurs de recherche qui se concentre, sans surprise, sur le SEA (résultats payants) : si les résultats organiques peuvent représenter une source de satisfaction pour les internautes et de revenu pour les sites web, ils ne sont pas une source de revenu pour les moteurs de recherche.

On observe notamment une stratégie toujours plus poussée de rétention des internautes sur les SERP : l’intérêt économique d’un moteur de recherche est, comme pour un site web, d’éviter autant que possible la fuite de l’internaute, afin que celui-ci réalise des conversions facturables (impressions SEA, clics SEA, achats de produits sur Google etc.).

Pour mettre tout ça en perspective : en 2019, Google a totalisé un revenu de 41,8 milliards de dollars à travers son réseau de publicités (SEA, display etc.) (source).

La technologie et les parts de marché des moteurs de recherche

Il y a deux grands fournisseurs et leaders internationaux sur le marché des technologies de moteurs de recherche : Google et Bing. En fait, de nombreux moteurs de recherche de moindre importance utilisent les moteurs technologiques des deux mastodontes.

Du côté de la technologie de Bing on retrouve le moteur Yahoo!, MSN ou encore Facebook. Pour Google, on trouve notamment AOL. Outre ceux qui nous venons de citer, il existe une multitude de petits moteurs de recherche qui disposent d’un rayonnement local moindre ou d’une très faible part de marché.

En France, les parts de marché se répartissaient comme suit en 2020 (source) :

• Google (91.84%)
• Bing (4,01%)
• Yahoo! (1.53%)
• Ecosia (1.23%)
• Qwant (0.78%)
• DuckDuckGo (0.35%)

A noter qu’il existe des distributions de parts de marché très différentes en fonction des pays, en Chine par exemple, la censure de Google laissait le géant Californien à 2.52% de parts de marché en 2018 alors que Baidu, un moteur chinois disposant de sa propre technologie, attirait plus de 68,44% des internautes.

On notera aussi le cas de la Russie, où Yandex (technologie autonome) s’impose avec 54.23% de parts de marché en 2018 contre 42.38% pour Google