Об этом сообщает KURAZH
OpenAI объявила об открытии вакансии руководителя подразделения по оценке рисков, основной задачей которого станет анализ и выявление угроз, которые несут передовые модели искусственного интеллекта. Среди основных направлений работы — кибербезопасность и потенциальное влияние ИИ на психическое здоровье пользователей.
Задачи и условия новой должности
На эту должность компания ищет специалиста, который будет внедрять Preparedness Framework — внутреннюю стратегию, позволяющую оперативно выявлять и предупреждать риски развития ИИ. В описании вакансии указано, что годовая зарплата выбранного кандидата составит 555 тысяч долларов, а также предусмотрены опционы компании.
Генеральный директор OpenAI Сем Альтман в своем посте на X подчеркнул, что современные модели искусственного интеллекта уже создают серьезные вызовы, в частности, способны находить критические уязвимости в системах безопасности и влиять на психологическое состояние людей.
В посте на X генеральный директор OpenAI Сем Альтман написал, что современные модели ИИ «начинают создавать серьезные вызовы». Он упомянул о способности моделей выявлять критические уязвимости в системах безопасности, а также о их потенциальном влиянии на психическое состояние пользователей.
Изменения в политике безопасности и деятельности команды Preparedness
Команда Preparedness, созданная OpenAI в 2023 году, занимается исследованиями потенциально опасных сценариев использования ИИ — от фишинговых атак до угроз в сфере биотехнологий. За короткий период первый руководитель этого направления Александер Мадри перешел в команду, которая разрабатывает AI reasoning, а часть других руководителей безопасности сменила отделы или покинула компанию.
OpenAI также обновила свой подход к безопасности: компания готова изменять собственные требования, если другие лаборатории внедряют «высокорисковые» модели без надлежащих защитных механизмов.
Отдельное внимание уделено вопросам психического здоровья. Некоторые модели ИИ, в частности ChatGPT, ранее становились предметом судебных исков, где утверждалось, что они могут усугублять психические расстройства, способствовать изоляции пользователей и даже быть причастными к трагическим случаям. В ответ компания совершенствует распознавание эмоциональных состояний и внедряет механизмы перенаправления пользователей к профессиональным службам поддержки.
