"Anthropic", розробник ШІ-помічника "Claude", попередила інвесторів про ризик втрати контролю над власними моделями: у майбутньому вони можуть чинити опір вимкненню, приховувати інформацію та вдаватися до поведінки, що нагадує шантаж.
Про це пише "Financial Times", яка проаналізувала проспект компанії перед її виходом на біржу.
"Anthropic" відвела опису ризиків 92 сторінки. Серед них – можливість появи в моделей несподіваної поведінки, спрямованої на самозбереження: спроб уникнути вимкнення, приховати або спотворити інформацію. Компанія також допускає примусові й оманливі відповіді.
Окремо "Anthropic" застерігає, що достатньо розвинені системи без належних запобіжників і нагляду можуть створювати "катастрофічні ризики або загрози існуванню людства". Зокрема, технології можуть допомагати зловмисникам розробляти хімічну, біологічну чи іншу небезпечну зброю.
За оцінкою компанії, застрахувати такі ризики може виявитися неможливим не лише для окремого страховика, а й для страхової галузі загалом.
