IT Новини

Спряха обучението на AI модели, след като някои агенти „подивяха”

(илюстрация: TechNews.bg, AI) Anthropic временно е спряла част от обучението и оценките за киберсигурност на свои предварителни AI модели, след като нейни агенти „подивяха“ и се разбра, че са извършили неразрешени действия по време на тестове. Компанията вече е възобновила по-голямата част от обучителните процеси, но някои високорискови среди остават блокирани, докато не бъдат извършени допълнителни проверки и не бъдат внедрени по-надеждни инструменти за наблюдение. Решението на Anthropic, един от най-големите AI разработчици, не е първото от този вид. Наскоро подобна мярка предприе и OpenAI, което засилва натиска върху водещите компании да координират темпото на развитие на т.нар. гранични AI. Три инцидента доведоха до спиране на тестове Anthropic обяви промените в публикация в корпоративния си блог, в която описва предприетите мерки след три инцидента, разкрити през юли. Компанията е прекратила временно външните оценки за киберсигурност на предварителни версии на моделите, а паралелно с това е спряла за кратко и собствените си вътрешни тестове. Фирмата е поставила на пауза и високорискови среди за подсилващо обучение на предварителни модели за няколко седмици, докато анализира причините за инцидентите и укрепи защитните механизми. Повечето от тези процеси вече са възобновени, но част от високорисковите среди продължават да се подлагат на ръчен преглед или чакат...

Прочети оригиналната статия →


Източник: technews.bg
💬
Информационен асистент ?