სამზარეულო რობოტისთვის უცნობია, დავალება კი მარტივი: დაალაგე სივრცე, შეაგროვე ყავის პაკეტები, გადააგდე გაფუჭებული პროდუქტები და, თუ საჭირო გახდა, უჯრიდან წამალი იპოვე. Stanford-ისა და Caltech-ის მკვლევრების HomeBody სწორედ ასეთ სცენარში აჩვენებს, როგორ შეიძლება GPT Astra-ს ტიპის მძლავრმა ვიზუალურ-ენობრივმა მოდელმა ჰუმანოიდი უშუალოდ მართოს.
ცვლილება არქიტექტურაშია
HomeBody-ში Unitree G1-სა და VLM-ს შორის ტრადიციული, წინასწარ ნასწავლი მოქმედებების შუალედური ფენა აღარ დგას. ამის ნაცვლად, მოდელი პირდაპირ უკავშირდება ხელმისაწვდომი უნარების ბიბლიოთეკას: გადაადგილებას, საგნის აღებასა და დადებას, უჯრის გახსნას და უჯრიდან ნივთის ამოღებას. GPT Astra თავად წყვეტს, რომელი უნარი, რომელ სამიზნეზე და რა თანმიმდევრობით გამოიყენოს.
პირველი ნაბიჯი სივრცის შესწავლაა. G1 აგროვებს 0.5x iPhone-ის ვიდეოს, D435i კამერის მონაცემებს, LiDAR-ისა და SLAM-ის ინფორმაციას, სახსრების პოზიციებსა და Astra-ს მიერ შერჩეულ ხედვის წერტილებს. ამ მონაცემებით სისტემა გარემოს საკუთარ სივრცით მეხსიერებაში ინახავს, ამიტომ ნივთის მოძებნა მაშინაც შეუძლია, როცა ის უკვე კამერის ხედვის მიღმაა.
შემდეგ მოდის Real2Sim. Astra რობოტის მიერ შეგროვებული მონაცემებიდან NVIDIA Isaac Sim-ში ციფრულ ტყუპს ქმნის. მკვლევრების მიხედვით, ეს აერთიანებს გარემოს გეომეტრიულ, ვიზუალურ და სემანტიკურ ინფორმაციას და მოდელს ოთახში მდებარეობებზე მსჯელობის საშუალებას აძლევს.
ერთ-ერთ დემოში G1 სამზარეულოში ყავის პაკეტებს კუნძულზე აგროვებს და გაფუჭებული რძისა და ფორთოხლის წვენის კოლოფებს ყრის. მეორე სცენარში რობოტი ჯერ უჯრის მდებარეობას იხსენებს, შემდეგ მარჯვენა ხელით ხსნის უჯრას, მარცხენა ხელით იღებს სხვა ნივთს და ადამიანს წამალს აწვდის. მოქმედების შედეგი VLM-ს უბრუნდება, რაც შეცდომის შემთხვევაში გეგმის გადახედვის საშუალებას იძლევა.
კოდიც GitHub-ზეა ხელმისაწვდომი, თუმცა სისტემა ჯერ მსუბუქი სახლის რობოტის დონეზე არ არის. Astra-ს პასუხებს შორის არსებული დაყოვნება მოქმედებებს აჩერებს, ხანგრძლივ სესიებში თითის სერვოები შეიძლება გადახურდეს, Real2Sim-ს დამატებითი მომზადება და API-ის ხარჯი სჭირდება, ხოლო ლოკალური კომპონენტებისთვის მკვლევრები ერთ Razer Blade-ის ლეპტოპს RTX 4090-ით იყენებენ. თავად GPT Astra დისტანციურად მუშაობს.
HomeBody-ის მთავარი იდეა სწორედ აქ ჩანს: რობოტს ყველა ახალი ამოცანისთვის ცალკე ნასწავლი ქცევა აღარ სჭირდება. უფრო მოქნილი მოდელი უკვე არსებულ ფიზიკურ უნარებს სივრცითი მეხსიერებისა და უკუკავშირის გამოყენებით აერთიანებს.
წყარო: the-decoder.com, tml.stanford.edu
