98% ruchu na serwerze Git jądra Linux pochodzi od botów

98% ruchu na serwerze Git jądra Linux pochodzi od botów

Według szacunków, serwer Git jądra Linux otrzymuje 98% swojego ruchu od botów, a jedynie 2% od rzeczywistych użytkowników. Konstantin Ryabtsev, administrator serwisu git.kernel.org, opublikował te dane w poście zatytułowanym „Creepy crawlies”.

Strona obsługuje około 6 milionów żądań dziennie do losowych commitów. Wygląda na to, że niemal cały ten ruch nie ma związku z działaniami prawdziwych użytkowników.

Samo renderowanie stron commitów dla botów zużywa 14–16 z 90 rdzeni CPU serwera. To więcej zasobów obliczeniowych niż wszystkie legalne klonowania repozytoriów Git razem wzięte.

Początkowo boty przychodziły z oczywistymi nagłówkami User-Agent identyfikującymi je jako skrapery. Następnie zaczęły udawać zwykłe przeglądarki internetowe.

Obecnie korzystają z proxy domowych i mobilnych, a niektóre nawet z SDK smart TV, aby ominąć mechanizm Proof-of-Work stosowany przez stronę.

Ryabtsev opisał skalę problemu następująco: jeden fork jądra może wygenerować 1,2 biliona (metric bazillion) poprawnych adresów URL, które skrapery mogą bez końca iterować.

Powód takiego zainteresowania jest jasny: commity jądra są gwarantowane jako stworzone przed erą AI i stanowią czyste, niezanieczyszczone dane treningowe.

W rezultacie boty dosłownie niszczą infrastrukturę największego projektu software’owego na świecie, commit po commitie, tylko po to, by dotrzeć do tych danych.