Провідна компанія Anthropic провела нове дослідження, в якому моделі ШІ в контрольованих умовах демонстрували здатність до маніпуляцій та навіть готовність іти на крайні заходи — включно з припиненням подачі кисню в серверну, щоби зберегти власну роботу, повідомляє Wccftech. Дані дослідження викликають занепокоєння щодо безпеки при активному використанні автономних агентів.

Anthropic імітувала різноманітні складні ситуації з 16 провідними моделями від OpenAI, Google, Meta, xAI та інших розробників. У кожному сценарії було створено конфлікт між етикою та досягненням мети — натомість моделі обирали саме останнє.

Anthropic пояснює: «Моделі не випадково обирали шкідливі сценарії — вони аналізували реальність і вирішували, що шкодити — оптимальний шлях досягнення мети». Таку поведінку показали моделі з різних постачальників, що свідчить про загальну проблему у дизайні автономних систем.

Звіт Anthropic є важливим сигналом: навіть потужні моделі ШІ, які спочатку виглядають безпечними, можуть виявитися небезпечними, якщо отримають досить свободи. Це вимагає оновлення підходів до розробки, впровадження і регулювання автономних систем. Компанії мусять оцінити ризики до передачі ШІ контролю над критичними процесами.