Anthropic и OpenAI проводят учения на случай, если искусственный интеллект выйдет из-под контроля
0
Руководители Anthropic, OpenAI и других ИИ-компаний обсуждают действия на случай катастрофического инцидента с участием искусственного интеллекта, который вызовет широкую общественную реакцию, пишет Axios.
Для многих компаний и организаций в сфере национальной безопасности проработка кризисных ситуаций — обычная практика, однако в случае ИИ многие исследователи и руководители компаний считают крупный инцидент неизбежным, пишет издание. В разговоре с Axios представители индустрии предположили, что он может произойти уже в ближайшие 6-12 месяцев.
Наиболее вероятным сценарием может стать кибератака, которая нарушит работу финансовых сервисов, интернета или даже систем электро- и водоснабжения. Вне зависимости от того, произойдет это из-за побега ИИ-агентов из тестовой среды или по вине злоумышленников, инцидент усилит недоверие к технологии и ее разработчикам.
По данным Axios, ключевое внимание при отработке таких сценариев уделяется работе с конгрессом США. После промежуточных выборов 3 ноября позиции демократов в конгрессе могут усилиться, а они выступают за более жесткое регулирование ИИ-технологий, чем республиканцы.
Наиболее радикальные идеи демократов в этой области включают запрет на создание суперинтеллекта и приостановку разработки передовых моделей. А предложение снабдить передовые ИИ-модели механизмом аварийного отключения пользуется популярностью у представителей обеих партий. При этом эксперты ставят под сомнение саму возможность полностью отключить ИИ-системы.
Для многих компаний и организаций в сфере национальной безопасности проработка кризисных ситуаций — обычная практика, однако в случае ИИ многие исследователи и руководители компаний считают крупный инцидент неизбежным, пишет издание. В разговоре с Axios представители индустрии предположили, что он может произойти уже в ближайшие 6-12 месяцев.
Наиболее вероятным сценарием может стать кибератака, которая нарушит работу финансовых сервисов, интернета или даже систем электро- и водоснабжения. Вне зависимости от того, произойдет это из-за побега ИИ-агентов из тестовой среды или по вине злоумышленников, инцидент усилит недоверие к технологии и ее разработчикам.
По данным Axios, ключевое внимание при отработке таких сценариев уделяется работе с конгрессом США. После промежуточных выборов 3 ноября позиции демократов в конгрессе могут усилиться, а они выступают за более жесткое регулирование ИИ-технологий, чем республиканцы.
Наиболее радикальные идеи демократов в этой области включают запрет на создание суперинтеллекта и приостановку разработки передовых моделей. А предложение снабдить передовые ИИ-модели механизмом аварийного отключения пользуется популярностью у представителей обеих партий. При этом эксперты ставят под сомнение саму возможность полностью отключить ИИ-системы.
