Harvard запускає курс зі безпеки ШІ для аспірантів із участю OpenAI та Anthropic

Harvard цієї осені проводить курс для аспірантів із безпеки ШІ, і склад запрошених дослідників вражає.
Від OpenAI виступлять головний науковий співробітник Якуб Пачоцки та співзасновник Джон Шульман; також запланована сесія запитань і відповідей із Семом Альтманом.
Від Anthropic — Николас Карліні та Джек Ліндсі.
У програмі:
- RLHF та навчання з підкріпленням для моделей, які здатні міркувати;
- reward hacking, коли моделі знаходять способи обманювати оцінювачів;
- моніторинг ланцюжків міркувань;
- інтерпретованість, тобто вивчення внутрішньої будови моделей;
- кібернетичні та біологічні ризики ШІ;
- узгодження ШІ в ситуації, коли ШІ допомагає створювати наступне покоління ШІ;
- специфікації моделей, відкриті ваги, регулювання та вплив ШІ на ринок праці.
Лекції можна безкоштовно переглянути на YouTube. Детальніше про курс — у програмі.
Чому це важливо
АналітикаКурс показує, що безпека ШІ стає академічним мейнстримом і залучає провідних дослідників передових лабораторій. Це корисно для розуміння RLHF, reward hacking, інтерпретованості та регуляторних дискусій навколо ШІ.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
Anthropic вийшла на IPO: акції торгуються близько $100
Anthropic вийшла на IPO: акції торгуються близько $100, компанія залучила $81 млрд у IPO та $26 млрд через приватний продаж акцій великим інвесторам.
Claude Haiku (Швидкісні компактні моделі Anthropic)
Найкомпактніша та найшвидша модель у лінійці Anthropic. Створена для блискавичних відповідей, масової класифікації текстів, витягування даних та агентської маршрутизації за мінімальну вартість.
Claude Opus (Флагманська інтелектуальна модель Anthropic)
Найпотужніша важковагова модель у сімействі Anthropic. Створена для складного філософського та наукового аналізу, написання багатошарових текстів і глибокого розуміння контексту.
Математик Anthropic заявив про можливе доведення гіпотези Римана за допомогою Claude
Левент Алпеге повідомив, що спільна робота з моделлю Claude могла призвести до доведення гіпотези Римана.