Ноам Браун: отключение ИИ от сети может не сработать

У Дваркеша Пателя вышло длинное интервью с топ-исследователем OpenAI (он же автор o1 и o3, он же один из главных медийных личностей стартапа).

Браун считает, что люди систематически недооценивают AI, и что системы безопасности уже сейчас должны выходить на другой уровень. Он говорит, что нельзя относиться к ИИ, как к тому, что в случае чего можно просто отключить от сети. Это ложное чувство безопасности, потому что даже такая изоляция может просто не сработать.

(В частности, он ссылается на старое исследование, в котором доказали, что два физически изолированных компьютера теоретически могут обмениваться данными через тепло: один нагревает CPU, второй считывает изменение температуры встроенным термодатчиком).

То есть по-настоящему продвинутая система – если бы захотела и умела – могла бы найти способ «сбежать».

Также Браун заявил, что не следует слишком надеяться на CoT для интерпретации намерений моделей. Надо довольно срочно искать другие методы, потому что прозрачность цепочек мыслей «уже деградирует». И чем умнее модели, тем больше они способны скрывать из CoT то, что они не хотели бы, чтобы человек увидел.