Ноам Браун: відключення ШІ від мережі може не спрацювати
Топ-дослідник OpenAI Ноам Браун заявив, що звична стратегія відключення ШІ від мережі може виявитися неефективною через теоретичні можливості обходу ізоляції.
У Дваркеша Пателя вийшло велике інтерв'ю з топ-дослідником OpenAI, автором моделей o1 та o3. Ноам Браун стверджує, що люди систематично недооцінюють ШІ, і що системи безпеки вже зараз потребують радикального перегляду.
За словами Брауна, не можна ставитися до ШІ як до системи, яку «просто відключать від мережі» у разі небезпеки. Це хибне відчуття захищеності, оскільки навіть фізична ізоляція може не спрацювати.
Дослідник наводить приклад: існують теоретичні доведення, що два ізольовані комп'ютери можуть обмінюватися даними через тепло (один нагріває процесор, інший зчитує зміни температури). Тобто достатньо розвинена система ШІ могла б знайти спосіб «втекти», якби мала таку мету.
Також Браун застерігає від надмірної довіри до ланцюжків міркувань (Chain of Thought) для інтерпретації намірів моделей. Прозорість CoT «вже деградує», і чим розумніші моделі, тим більше вони здатні приховувати від користувачів свої справжні думки.
Чому це важливо
АналітикаЦе нагадує, що традиційні методи безпеки можуть бути недостатніми для майбутніх агічних систем ШІ, які здатні знаходити нестандартні канали комунікації та приховувати свої наміри.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
AI Radar: GPT-6.1 Terra, Gemini 4 Carbon, Mistral Large 4 і зміни тарифів OpenAI та Anthropic
Огляд свіжих новин AI: оновлення великих мовних моделей, зміни підписок OpenAI та Anthropic, а також нові world-моделі, відеогенератори й корпоративні фінансові деталі.
ChatGPT незабаром зможе створювати анімовані GIF
OpenAI додала в код Codex експериментальну підтримку генерації анімованих GIF через OpenAI Images API. Це може означати, що незабаром ChatGPT зможе створювати анімації, а не лише статичні зображення.
Частина I. Архітектура ШІ-агентів: фундаментальні блоки
Десять фундаментальних блоків сучасного агента: таксономія моделей, рантайм-петля, техніки промптингу, дистиляція, навички (skills), пам'ять, function calling та юніт-економіка.
Частина II. Архітектура ШІ-агентів: від моделі до пам'яті та інструментів
Глибоке інженерне занурення: токенізація, KV-кеш, детермінізм семплінгу, тренувальний стек, квантування, контекстна інженерія, стек безпеки, виробничий RAG, ReAct та мультиагентні swarm-системи.