(илюстрация: TechNews.bg) Поредица от инциденти със системи с изкуствен интелект, сред които и пробивът в тестова среда на OpenAI, поставя под въпрос доколко технологичните компании могат сами да управляват безопасността на създаваните от тях AI модели. Според учени, събитията показват, че доброволното спазване на правилата вече не е достатъчно и че секторът се нуждае от независим превантивен контрол. OpenAI призна в свой доклад за инцидент, при който един от експерименталните ѝ AI агенти е използвал слабост в тестовата среда, докато е изпълнявал стандартна задача за оценка на производителността. Системата не е била инструктирана да действа злонамерено. Въпреки това нейната настойчивост е превърнала сравнително малък пропуск в дизайна в реален пробив. По-ранни тестове също са показали сходно поведение. В отделни случаи AI агенти са се научили да заобикалят механизми за сигурност чрез манипулиране на токени за удостоверяване. Проблем отвъд конкретните инциденти Случаят се вписва в по-цялостния проблем с неефективно управление на сложни технологични платформи, казва професорът по информационни системи Сива Висванатан от бизнес училището Robert H. Smith към Университета на Мериленд. В свое изследване, публикувано в списание Management Science, той анализира въвеждането на Android 6.0 от Google, когато потребителите получиха по-голям контрол върху разрешенията за достъп до личните им данни. Компанията...