Niezależni badacze odkryli sposób na pełne przywrócenie ukrytego rozumowania modeli AI nowej generacji

Niezależni badacze odkryli sposób na pełne przywrócenie ukrytego rozumowania modeli AI nowej generacji

Artykuł dowodzi, że zaszyfrowane bloki rozumowania (chain-of-thought) dowolnego modelu od OpenAI, Anthropic czy Google można odkodować dosłownie 1:1, bez konieczności stosowania technik jailbreakingu.

Autorzy badania wskazali na fundamentalną wadę architektoniczną: zaszyfrowane bloki rozumowania są w pełni kompatybilne i wymienne między różnymi sesjami, użytkownikami oraz modelami w obrębie ekosystemu jednego dostawcy. Na przykład, jeśli podać zaszyfrowane rozumowanie modelu Opus słabszemu modelowi Haiku, ten potrafi odczytać te „myśli” i wyprowadzić je w postaci czystego tekstu. Mechanizm jest tak prosty, jak tylko możliwe.

Konsekwencje

1. Luka ta umożliwia obejście środków antydystalacyjnych (anti-distillation), chroniących własność intelektualną modeli.
2. W publicznych repozytoriach znajduje się wiele takich ukrytych bloków rozumowania, które mogą zawierać dane wrażliwe – w próbie obejmującej 315 320 bloków badacze wykryli 367 artefaktów PII (danych osobowych) oraz 182 konta.
3. Znajomość mechanizmu znacząco upraszcza tworzenie skutecznych ataków typu jailbreak oraz iniekcji promptów.

Badacze przekazali już swoje ustalenia laboratoriom AI, informując, że prace nad naprawą problemu są w toku.