ინტერნეტში არსებული ვიდეოების ყურება რობოტისთვის შესაძლოა ისეთივე ბაზად იქცეს, როგორიც ტექსტის კითხვა დიდი ენობრივი მოდელებისთვის იყო. მესამე პირის პერსპექტივიდან გადაღებული კადრები ფიზიკური სამყაროსა და მოქმედებების შესახებ იმ ინფორმაციას შეიცავს, რომლის დახმარებითაც რობოტებს წინასწარი ცოდნის მიღება შეუძლიათ. სწორედ ამ პრინციპს ეფუძნება Praxis-1, რომლითაც კომპანია Runway გენერაციული ვიდეოების შექმნიდან ფიზიკური ხელოვნური ინტელექტისა და რობოტიკის სფეროში ინაცვლებს.
Praxis-1 Runway-ის პირველ open-weight რობოტის მართვის ტიპის world action model-ს წარმოადგენს. ტექნოლოგიურად ის იმავე მასშტაბურ ვიდეო-პრეტრეინინგზეა აგებული, რომელსაც კომპანია საკუთარ ზოგად world model-ებში იყენებს. ამ ტექნოლოგიური ხაზის წინა ეტაპებს Solaris და GWM Worlds 2 წარმოადგენენ. ამჯერად მოდელის მიზანი, კადრების გენერირების ნაცვლად, მიღებული ცოდნის რობოტების მოძრაობაში გადატანაა.
ვიდეო, როგორც საწყისი მონაცემი
რობოტიკის ინდუსტრიაში სასწავლო მონაცემების შეგროვება რთული პროცესია. Runway-ის ჰიპოთეზით, ვებვიდეოების გამოყენება მოდელს უპირატესობას აძლევს და მხოლოდ ფიზიკური მოქმედებების მონაცემებზე დაყრდნობას სჯობს. კონკრეტულ აპარატზე მოდელის მორგება უკვე შემდგომ ეტაპზე ხდება.
მოდელის ტესტირებისას ორი მიდგომა შეადარეს. ექსპერიმენტში ვებვიდეოზე წინასწარ გაწვრთნილი მოდელის საბოლოო განთავსების შეცდომამ 16.1 სანტიმეტრი შეადგინა. მეორე მხრივ, ტელეოპერაციით ჩაწერილი რობოტის ვიდეოთი გაწვრთნილი მოდელის შეცდომამ 16.0 სანტიმეტრი შეადგინა. 93 შეფასების წყვილზე დაკვირვებით დაფიქსირდა, რომ ეს სხვაობა სტატისტიკურად უმნიშვნელოა, ცდომილება კი ±1 SEM-ს შეადგენს.
რთული ამოცანები და გარემოს შეცვლა
ტესტირება რთულ პირობებში წარიმართა. Praxis-1 გაიტესტა ერთმანეთზე მიწყობილ ნივთებთან, გამჭვირვალე ობიექტებთან, დეფორმირებად მასალებსა და მრავალ თითქმის იდენტურ ნივთთან მუშაობისას. კომპანიის სადემონსტრაციო მტკიცებით, ერთი და იგივე პოლიტიკა, დამატებითი გადამზადების გარეშე, მარტივად გადაიტანეს სტუდიიდან სახლის ტიპურ სამზარეულოში.
მანამდე მსგავსი ტექნოლოგიის განვითარებისას Runway-მ დაადგინა, რომ world model-ის შიდა სიმულაციაში რობოტული პოლიტიკების მუშაობა რეალურ სამყაროში მათ შემდგომ შესრულებასთან 0.95 კორელაციას აჩვენებდა.
ადრეული ტესტირება და პარტნიორები
მოდელი საჯაროდ ჩამოსატვირთად ჯერ ხელმისაწვდომი არ არის. Praxis-1 ამჟამად სამ პარტნიორთან ერთად ადრეულ ტესტირებას გადის. Noble Machines მოდელს ორხელიანი მანიპულაციისთვის იყენებს, Standard Bots თავის RO1 6-DoF რობოტულ მკლავზე ტესტავს, Ultra კი მას მობილურ რობოტულ პლატფორმაზე ცდის. ადრეული წვდომის პროგრამა საჯარო რელიზამდე გაფართოვდება, რათა სხვადასხვა აპარატზე უსაფრთხოება და ეფექტიანობა შეფასდეს.
მომდევნო თვეებში Runway მოდელის საჯარო გამოშვებას გეგმავს. Open-weight ფორმატი დეველოპერებს საშუალებას მისცემს, Praxis-1 ჩამოტვირთონ, გაუშვან და საკუთარ საჭიროებებს მოარგონ. კომპანიის ხედვით, ეს მიდგომა უზრუნველყოფს ტექნიკის მწარმოებლებისთვის თავსებადობას, შეამცირებს დახურულ მოდელებზე დამოკიდებულებას და მხარს დაუჭერს აშშ-ის ლიდერობას ფიზიკური AI-ს მიმართულებით.
| ბოლო განთავსების შეცდომა (ვებვიდეო) | 16.1 სმ |
| ბოლო განთავსების შეცდომა (ტელეოპერაცია) | 16.0 სმ |
| შეფასების წყვილები | 93 |
| სიმულაციის კორელაცია რეალურ სამყაროსთან | 0.95 |
| Standard Bots მკლავი | 6-DoF |
ფოტო: Runway
