Robot Skild AI strzela gole ludziom po 140 latach symulacji

Startup Skild AI, specjalizujący się w rozwoju „ogólnej inteligencji robotycznej”, zaprezentował nowe możliwości swojego modelu S1. W ubiegłym miesiącu firma udostępniła wersję modelu, której kluczową cechą była zdolność do strojenia (fine-tuning) bez użycia tradycyjnych metod – system uczył się na podstawie zaledwie kilku demonstracji.

Teraz zespół postanowił odwołać się do doświadczeń Google’a, który kiedyś trenował AlphaGo przy użyciu mechanizmu self-play – czyli gry modelu przeciwko samemu sobie. Jako arenę testową wybrano piłkę nożną.

Na początku model S1 nauczył się podstawowych kopnięć i dryblingu, a następnie został „puszczony wolno”: humanoid grał przeciwko wcześniejszym wersjom samego siebie przez czas odpowiadający 140 latom symulacji. Co ciekawe, nie przewidziano osobnych nagród za opanowanie konkretnych trików; jedyną zachętą dla robota było zdobywanie bramek.

Mimo tak minimalistycznego podejścia robot nauczył się mijać obrońców, osłaniać piłkę ciałem, przechwytywać podania oraz rozwijać wiele nowych technik kopnięcia. Wstępne mecze z udziałem 4 agentów wykazały już powstanie naturalnych schematów podań i koordynacji zespołowej. Biorąc pod uwagę ogromną przestrzeń działań w piłce nożnej, gdzie model musi generować kąty dla każdego stawu 50 razy na sekundę, jest to wynik imponujący.

W istocie mechanizm self-play stworzył automatyczny program nauczania, którego trudność rośnie samoistnie. Autorzy badania uważają, że tę technikę można skalować i przenosić na dowolną inną dziedzinę, w której istnieje jasno określony cel oraz dostępny symulator.

🔗 Blog Skild AI na temat fizycznego self-play