Când modelele emblematice ale celor trei giganți AI – OpenAI, Anthropic și Google – se confruntă pe aceeași scenă, cine se descurcă mai bine la controlul roboților?
Pe 20 octombrie, RoboColiseum, arena embodied co-fondată de aproape 20 de universități, companii și instituții de cercetare din întreaga lume, printre care Mifeng Technology, Hugging Face, NVIDIA și Universitatea Tsinghua, a publicat rezultatele acestei runde de evaluare: Claude Opus 5.5 s-a clasat pe primul loc la general între cele patru modele emblematice, urmat îndeaproape de GPT-6 Astra.
Pe categorii, dintre cele patru modele emblematice, GPT-6 Astra conduce la urmărirea instrucțiunilor și adaptarea generală la perturbări, cu un scor de 99,35 la urmărirea instrucțiunilor; Opus se descurcă mai bine la înțelegerea spațială și operațiunile generale și a obținut primul loc la general în grupa emblematice cu cel mai mic consum de tokeni din toate rundele de evaluare. În testele cu perturbări ale calității imaginii, GPT-6.1 Sol a rămas vizibil în urma celorlalte trei modele, evidențiind diferențe de stabilitate între modele în fața variațiilor informațiilor vizuale.
Totuși, primele două locuri în clasamentul general al acestei runde sunt ocupate tot de modele de strategie embodied, care își mențin avantajul în special la dimensiunea operațiunilor generale.
Această confruntare pe aceeași scenă oferă industriei o referință intuitivă pentru a înțelege punctele forte și punctele slabe ale modelelor generale mari și ale modelelor de strategie embodied.
RoboColiseum lansează patru subclasamente de competențe și 78 de sarcini de evaluare în simulare de înaltă fidelitate, axate pe urmărirea instrucțiunilor, înțelegerea spațială, adaptarea la perturbări și operațiunile generale, prezentând atât performanța pe categorii a modelelor, cât și înregistrând pașii de finalizare a sarcinilor și locurile eșecurilor, pentru a ajuta dezvoltatorii să identifice rapid punctele slabe ale modelelor.
În calitate de co-fondator, Mifeng furnizează RoboColiseum active de obiecte de înaltă fidelitate și scenarii de simulare, sprijinind construirea unor medii de evaluare pentru sarcini complexe de operare robotică și oferind resurse de bază pentru testarea capacităților modelelor în diferite interacțiuni cu obiecte, configurații spațiale și condiții de mediu.
Dacă rezultatele modelelor în simulare pot reflecta performanța reală de operare este, de asemenea, esențială pentru evaluare. Conform rezultatelor reale publicate de platformă, corelația dintre evaluarea în simulare RoboColiseum și implementarea pe robot real ajunge la 89,5%, iar diferența de evaluare pentru același model între simulare și lumea reală este sub 10%, putând oferi o referință pentru selecția modelelor și localizarea problemelor înainte ca dezvoltatorii să treacă la testarea pe robot real.
Mifeng Technology oferă un sistem de furnizare de date „complet, bun și rapid”, acoperind cele trei paradigme de date: robot real, simulare și fără corp. În domeniul simulării, Mifeng oferă două categorii de resurse – active de obiecte și active de mediu – acoperind diverse obiecte de zi cu zi și scene interioare, și oferă capacități precum reconstrucția scenelor, obținerea de date de traiectorie expertă și vizualizarea rezultatelor evaluării, ajutând echipele de modelare să desfășoare antrenamente și evaluări diversificate.
Coliseum se referea inițial la arena circulară din Roma antică, iar RoboColiseum folosește această imagine pentru a construi un sistem de evaluare multidimensional, cu o evaluare în simulare highly consistentă cu performanța pe robot real, pentru a oferi modelelor de inteligență embodied o „arenă” și un „teren de antrenament” public, neutru și reproductibil. Orice universitate, instituție de cercetare sau dezvoltator enterprise își poate înscrie modelul pentru a susține un set standardizat de „examene”. De la lansarea din august, peste 100 de echipe din țară și din străinătate au desfășurat antrenamente și evaluări de modele pe platformă.
RoboColiseum este acum deschis dezvoltatorilor din întreaga lume, iar echipele de modelare sunt binevenite să participe la evaluare.
