Harvard запускает курс по безопасности ИИ для аспирантов с участием OpenAI и Anthropic

Harvard этой осенью проводит курс для аспирантов по безопасности ИИ (программа), и список приглашённых специалистов впечатляет.
От OpenAI выступят главный научный сотрудник Якуб Пачоцки, сооснователь Джон Шульман, а также состоится сессия вопросов и ответов с Сэмом Альтманом.
От Anthropic — Николас Карлини и Джек Линдси.
В программе:
- RLHF и обучение с подкреплением для моделей, способных рассуждать;
- взлом функции вознаграждения, когда модели находят способы обмануть проверяющих;
- мониторинг цепочек рассуждений;
- интерпретируемость, то есть изучение внутреннего устройства моделей;
- кибернетические и биологические риски ИИ;
- выравнивание ИИ в ситуации, когда ИИ помогает создавать следующее поколение ИИ;
- спецификации моделей, открытые веса, регулирование и влияние ИИ на рынок труда.
Лекции можно бесплатно посмотреть на YouTube.
Почему это важно
АналитикаКурс показывает, что безопасность ИИ становится частью академической подготовки и привлекает ведущих исследователей передовых лабораторий. Он помогает понять RLHF, reward hacking, интерпретируемость и регуляторные вопросы.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
Anthropic вышли на IPO
Акции Anthropic торгуются около $100. Компания привлекла $81 млрд в IPO и ещё $26 млрд через приватную продажу акций крупным инвесторам.
Claude Haiku (Скоростные компактные модели Anthropic)
Самая компактная и быстрая модель в линейке Anthropic. Создана для молниеносных ответов, массовой классификации текстов, извлечения данных и агентской маршрутизации при минимальных затратах.
Claude Opus (Флагманская интеллектуальная модель Anthropic)
Самая мощная тяжеловесная модель в семействе Anthropic. Создана для сложного философского и научного анализа, написания многослойных текстов и глубокого понимания контекста.
Математик из Anthropic заявил о возможном доказательстве гипотезы Римана с помощью Claude
Левент Алпеге сообщил, что совместная работа с Claude могла привести к доказательству гипотезы Римана.