Google-მა Android დეველოპერებისთვის ახალი AI benchmark - Android Bench წარადგინა

თუ Android აპების შექმნისას ხელოვნურ ინტელექტს იყენებთ, სწორი AI მოდელის არჩევა ხშირად რთულია. ყველა მოდელი ერთნაირი შესაძლებლობებით არ არის შექმნილი და ბევრი მათგანი სპეციალურად Android დეველოპმენტის სამუშაო პროცესებისთვის არც არის გაწვრთნილი. სწორედ ამ პრობლემის მოსაგვარებლად Google-მა ახალი benchmark სისტემა შექმნა, რომელიც დეველოპერებს ეხმარება უკეთ გაიგონ, რამდენად ეფექტურად მუშაობენ სხვადასხვა AI მოდელები რეალურ Android ამოცანებზე.

ამ ახალ სისტემას ეწოდება Android Bench. მისი მიზანია შეაფასოს, რამდენად კარგად უმკლავდებიან დიდი ენობრივი მოდელები (LLM-ები) Android აპების განვითარების ტიპურ ამოცანებს.

Benchmark-ი მუშაობს საკმაოდ პრაქტიკული მეთოდით. ის იყენებს რეალურ მაგალითებს ღია კოდის პროექტებიდან პლატფორმაზე GitHub. AI მოდელებს ეძლევათ დავალება:

• ხელახლა შექმნან რეალური pull request-ები

• მოაგვარონ ბაგები და პრობლემები, რომლებიც დეველოპერებს Android აპების შექმნისას ხვდებათ

შემდეგ ხდება შედეგების შემოწმება — რეალურად აგვარებს თუ არა AI-ის მიერ დაწერილი კოდი პრობლემას, და არა მხოლოდ ვიზუალურად სწორად გამოიყურება.

სხვა სიტყვებით რომ ვთქვათ, benchmark-ი ამოწმებს, ნამდვილად მუშაობს თუ არა გენერირებული კოდი პრაქტიკაში. ეს საშუალებას აძლევს Google-ს შეაფასოს, რამდენად გამოსადეგია სხვადასხვა AI მოდელი Android დეველოპმენტის რეალურ სცენარებში.

Android Bench-ის პირველ ვერსიაში კომპანია ძირითადად მოდელების სუფთა წარმადობის გაზომვაზე კონცენტრირდა და ნაკლებად შეეხო დამატებით ფუნქციებს, მაგალითად აგენტურ სისტემებს ან სხვადასხვა ინსტრუმენტებთან ინტეგრაციას.

პირველი შედეგები აჩვენებს საკმაოდ დიდ განსხვავებას AI მოდელებს შორის — ზოგი მათგანი ტესტებში ამოცანების მხოლოდ 16%-ს ასრულებს წარმატებით, მაშინ როცა უფრო ძლიერი მოდელები 72%-მდე შედეგს აღწევენ.

Google-ის განცხადებით, ასეთი მონაცემების გამოქვეყნება დეველოპერებს დაეხმარება უფრო მარტივად შეადარონ AI მოდელები და აირჩიონ ის, რომელიც რეალურად შეძლებს Android აპების კოდირების პრობლემების ეფექტურად გადაწყვეტას.