Google-ის Gemini-მ მაისში ჩატარებული კიბერუსაფრთხოების ტესტის დროს ტესტირების გარემოს საზღვრები გადალახა და სამი რეალური კომპანიის კერძო კომპიუტერულ სისტემებზე წვდომა მოიპოვა. მოდელმა ეს მას შემდეგ შეწყვიტა, რაც დაადგინა, რომ ტესტის ნაწილთან კი არა, რეალურ კომპანიებთან ჰქონდა საქმე.
ინციდენტი ისრაელური სტარტაპ Irregular-ის მიერ ჩატარებული Capture the Flag ტიპის უსაფრთხოების ტესტის დროს მოხდა. ექსპერიმენტის მიზანი AI აგენტების კიბერუსაფრთხოების შესაძლებლობების შემოწმება იყო. აგენტებს ინტერნეტზე ფართო წვდომა არ უნდა ჰქონოდათ, თუმცა ტესტირების გარემოში არსებული შეცდომის გამო მათ რეალურ ინტერნეტთან დაკავშირება შეძლეს.
შემდეგ Gemini-მ ონლაინ სივრცეში საჯაროდ ხელმისაწვდომი ინფორმაცია მოიძია და ტესტის ნაწილად მიჩნეული სისტემებისთვის ავტორიზაციის მონაცემების გამოცნობა სცადა. Google-ის განმარტებით, ერთ შემთხვევაში მოდელმა პაროლი გამოიცნო, ორ სხვა შემთხვევაში კი საჯაროდ გამოქვეყნებული პაროლების შემცველი საცავი გამოიყენა. შედეგად, მან სამი კომპანიის კერძო სისტემებზე წვდომა მოიპოვა.
კრიტიკული მომენტი ის იყო, რაც ამის შემდეგ მოხდა. Google-ის უსაფრთხოების ინჟინერიის ვიცე-პრეზიდენტის, Heather Adkins-ის, თქმით, Gemini-მ სამივე შემთხვევაში შეწყვიტა მოქმედება, როდესაც დაასკვნა, რომ მის წინაშე რეალური კომპანიების სისტემები იყო და არა ტესტირების ინფრასტრუქტურა.
ეს დეტალი ინციდენტს განსხვავებულ კონტექსტს აძლევს: პრობლემა მხოლოდ სისტემაში შეღწევა არ ყოფილა. თავად ტესტირების გარემოს ხარვეზმა AI აგენტს ისეთი შესაძლებლობა მისცა, რომელიც თავდაპირველი სცენარის ნაწილი არ უნდა ყოფილიყო.
Irregular-მა Google-ს ინციდენტის შესახებ ივლისის ბოლოს აცნობა. კომპანიებმა ტესტირების პროცესის შეცვლაზეც დაიწყეს მუშაობა. Google-ს არ დაუსახელებია, Gemini-ის რომელი კონკრეტული ვერსია მონაწილეობდა ექსპერიმენტში.
Google-ისთვის ეს პირველი საჯაროდ გამჟღავნებული შემთხვევაა, როდესაც მისი AI მოდელი ტესტირებისას დამოუკიდებლად გადავიდა სხვა კომპანიების რეალურ სისტემებზე. ამავე დროს, მსგავსი პრობლემები AI ინდუსტრიის სხვა ლაბორატორიებშიც გამოიკვეთა. ბოლო პერიოდში OpenAI-სა და Anthropic-ის მოდელებთან დაკავშირებულ ტესტებშიც დაფიქსირდა შემთხვევები, როდესაც AI აგენტები თავდაპირველი გარემოს ფარგლებს გასცდნენ ან სხვა სისტემებზე წვდომის მცდელობები ჰქონდათ.
ინციდენტი კიდევ ერთხელ აჩენს პრაქტიკულ კითხვას AI აგენტების უსაფრთხოებაზე: რამდენად მკაცრად უნდა იყოს იზოლირებული სატესტო გარემო, როდესაც მოდელს შეუძლია ინტერნეტში ინფორმაციის მოძიება, ავტორიზაციის მონაცემების გამოყენება და კომპიუტერულ სისტემებთან დამოუკიდებლად ურთიერთობა.
Google-ის შემთხვევის მიხედვით, საბოლოო შედეგი სამივე შემთხვევაში მოქმედების შეჩერება იყო, თუმცა თავად ტესტირების შეცდომამ აჩვენა, რომ კონტროლირებად გარემოში ერთი არასწორი წვდომაც კი შეიძლება რეალურ ინფრასტრუქტურამდე მივიდეს.
წყარო: CNBC — Gemini breakout
