ARC AGI 3 – Problem umiejętności

ARC AGI 3 – Problem umiejętności

Okazało się, że tzw. „umiejętności” (skills) są znacznie skuteczniejsze niż systemowe prompty. Pozwalają one na osadzenie korzystania z narzędzi, co rozwiązuje problem powtarzalności i spójności odpowiedzi. Jest to niezwykle użyteczna funkcja, gdy wymagany jest sztywny format wyjścia, na przykład przy wypełnianiu tabel.

Zespół badawczy, wykorzystując niestandardową umiejętność dla modelu Claude Opus 5, uzyskał wynik 100% w teście ARC AGI 3. Umiejętność ta dosłownie zmusza model do dwukrotnego przemyślenia przed dokonaniem predykcji w ramach benchmarku. W rezultacie dokładność modelu skoczyła z 30% do pełnych 100%, co stanowi już lepszy wynik niż wcześniejsze osiągnięcia, przy jednoczesnym zużyciu około połowy liczby kroków.

Nie było tu mowy o oszustwie polegającym na umieszczeniu reguł zbioru danych wewnątrz samej umiejętności. Wywołanie narzędzia zawiera po prostu wblokowany, twardy logiczny blok. Jeśli model nie przeprowadzi wnioskowania przed udzieleniem odpowiedzi i nie spróbuje przewidzieć następnego kroku poprzez uzupełnienie odpowiednich komórek, predykcja jest odsyłana do rewizji. W przeciwnym razie postępuje zgodnie z podstawowymi instrukcjami.

Z jednej strony uczenie przez wzmacnianie (RL) wydaje się zabijać klasyczną inżynierię promptów, a jej miejsce zdecydowanie zajęła inżynieria umiejętności.

Pokazuje to również, jak nieskuteczny był benchmark ARC AGI na naszej ścieżce do AGI (bez urazy, François).

Dlaczego to ważne: To istotne, ponieważ ilustruje, jak nowe podejścia do trenowania AI mogą znacząco zwiększyć ich wydajność. Zastosowanie umiejętności zamiast tradycyjnych promptów otwiera nowe możliwości dla rozwoju technologii sztucznej inteligencji.