98 % du trafic du serveur Git du noyau Linux provient de bots

98 % du trafic du serveur Git du noyau Linux provient de bots

Selon les estimations, le serveur Git du noyau Linux reçoit 98 % de son trafic de la part de bots, contre seulement 2 % d'utilisateurs réels. Konstantin Ryabtsev, l'administrateur de git.kernel.org, a publié ces chiffres dans un billet intitulé « Creepy crawlies ».

Le site reçoit environ 6 millions de requêtes par jour vers des commits aléatoires. La quasi-totalité de ce trafic semble ne pas provenir d'utilisateurs légitimes.

Le simple rendu des pages de commits pour les bots consomme 14 à 16 des 90 cœurs CPU du serveur. Cela représente plus de ressources de calcul que tous les clones Git légitimes combinés.

Initialement, les bots utilisaient des User-Agents de scraper évidents. Ils ont ensuite commencé à se faire passer pour des navigateurs réguliers.

Aujourd'hui, ils utilisent des proxys résidentiels et mobiles, voire passent par des SDK de smart TV, afin de contourner la vérification Proof-of-Work du site.

Ryabtsev décrit l'ampleur du phénomène ainsi : un seul fork du noyau peut générer 1,2 méga-milliards (METRIC BAZILLION) d'URL valides que les scrapers peuvent itérer sans fin.

La raison d'un tel intérêt est claire : les commits du noyau sont garantis d'avoir été créés avant l'ère de l'IA et constituent donc des données d'entraînement non polluées.

En conséquence, les bots usent littéralement l'infrastructure du plus grand projet logiciel au monde, commit aléatoire après commit aléatoire, uniquement pour accéder à ces données.