Om een ​​robot te trainen om door een huis te navigeren, moet je hem ofwel veel realtime geven in veel echte huizen, of veel virtuele tijd in veel virtuele huizen. Dat laatste is absoluut de betere optie, en Facebook en Matterport werken samen om duizenden virtuele, interactieve digitale tweelingen van echte ruimtes beschikbaar te maken voor onderzoekers en hun vraatzuchtige jonge AI’s.

Aan de kant van Facebook bestaat de grote vooruitgang uit twee delen: de nieuwe Habitat 2.0-trainingsomgeving en de dataset die ze hebben gemaakt om dit mogelijk te maken. Misschien herinner je je Habitat nog van een paar jaar geleden; bij het nastreven van wat het ‘belichaamde AI’ noemt, dat wil zeggen AI-modellen die interageren met de echte wereld, heeft Facebook een aantal redelijk fotorealistische virtuele omgevingen samengesteld om te navigeren.

Veel robots en AI’s hebben dingen geleerd zoals beweging en objectherkenning in geïdealiseerde, onrealistische ruimtes die meer op games lijken dan op de werkelijkheid. Een echte woonkamer is iets heel anders dan een gereconstrueerde woonkamer. Door te leren bewegen in iets dat op de realiteit lijkt, zal de kennis van een AI gemakkelijker worden overgedragen naar toepassingen in de echte wereld, zoals thuisrobotica.

Maar uiteindelijk waren deze omgevingen slechts polygoondiep, met minimale interactie en geen echte fysieke simulatie – als een robot tegen een tafel botst, valt hij niet om en morst hij niet overal voorwerpen. De robot kon naar de keuken gaan, maar hij kon de koelkast niet openen of iets uit de gootsteen trekken. Habitat 2.0 en de nieuwe ReplicaCAD-dataset veranderen dat met verhoogde interactiviteit en 3D-objecten in plaats van eenvoudigweg geïnterpreteerde 3D-oppervlakken.

Gesimuleerde robots in deze nieuwe omgevingen op appartementschaal kunnen rondrollen zoals voorheen, maar wanneer ze bij een object aankomen, kunnen ze er daadwerkelijk iets mee doen. Als het bijvoorbeeld de taak van een robot is om een ​​vork van de eettafel op te pakken en deze in de gootsteen te plaatsen, zou een paar jaar geleden het oppakken en neerleggen van de vork gewoon worden aangenomen, omdat je het niet echt effectief kon simuleren . In het nieuwe Habitat-systeem wordt de vork fysiek gesimuleerd, net als de tafel waarop hij staat, de gootsteen waar hij naar toe gaat, enzovoort. Dat maakt het rekenkundig intensiever, maar ook veel nuttiger.

Ze zijn bij lange na niet de eersten die dit stadium bereiken, maar het hele veld beweegt zich in een snel tempo voort en elke keer dat er een nieuw systeem uitkomt, springt het op de een of andere manier over de anderen heen en wijst het naar het volgende grote knelpunt of kans. In dit geval is de naaste concurrent van Habitat 2.0 waarschijnlijk de ManipulaTHOR van AI2, die omgevingen op kamerschaal combineert met simulatie van fysieke objecten.

Waar Habitat het over heeft, is snelheid: volgens het artikel dat het beschrijft, kan de simulator ongeveer 50-100 keer sneller werken, wat betekent dat een robot zoveel meer training kan krijgen per seconde berekening. (De vergelijkingen zijn op geen enkele manier exact en de systemen zijn op andere manieren te onderscheiden.)

De dataset die ervoor wordt gebruikt, heet ReplicaCAD, en het zijn in wezen de originele scans op kamerniveau die opnieuw zijn gemaakt met aangepaste 3D-modellen. Dit is een nauwgezet handmatig proces, gaf Facebook toe, en ze onderzoeken manieren om het op te schalen, maar het levert een zeer nuttig eindproduct op.

De originele gescande kamer hierboven en ReplicaCAD 3D-recreatie hieronder.

Meer details en meer soorten fysieke simulatie staan ​​op de routekaart – basisobjecten, bewegingen en robotachtige aanwezigheid worden ondersteund, maar trouw moest in dit stadium wijken voor snelheid.

Matterport maakt ook een aantal grote stappen in samenwerking met Facebook. Na de afgelopen jaren een enorme platformuitbreiding te hebben doorgevoerd, heeft het bedrijf een enorme verzameling 3D-gescande gebouwen verzameld. Hoewel het al eerder met onderzoekers heeft samengewerkt, besloot het bedrijf dat het tijd was om een ​​groter deel van zijn schat beschikbaar te stellen aan de gemeenschap.

“We hebben elk type fysieke structuur die er is, of er dichtbij komt, gematteerd. Huizen, hoogbouw, ziekenhuizen, kantoorruimtes, cruiseschepen, jets, Taco Bells, McDonalds… en alle informatie die in een digitale tweeling zit, is erg belangrijk om te onderzoeken,” vertelde CEO RJ Pittman me. “We dachten zeker dat dit gevolgen zou hebben voor alles, van computervisie tot robotica tot het identificeren van huishoudelijke voorwerpen. Facebook had geen overtuigingskracht nodig… voor Habitat en belichaamde AI zit het precies in het midden van de fairway.”

Daartoe creëerde het een dataset, HM3D, van duizend minutieus 3D-vastgelegde interieurs, van de huisscans die vastgoedbrowsers kunnen herkennen tot bedrijven en openbare ruimtes. Het is de grootste van deze collectie die op grote schaal beschikbaar is gemaakt.

3D draaiende weergaven van gebouwinterieurs gescand door matterport.

Afbeeldingscredits: Matterport

De omgevingen, die worden gescand en geïnterpreteerd door een AI die is getraind op nauwkeurige digitale tweelingen, zijn dimensionaal nauwkeurig tot het punt waarop bijvoorbeeld exacte getallen voor het raamoppervlak of het totale kastvolume kunnen worden berekend. Het is een handig realistische speeltuin voor AI-modellen, en hoewel de resulterende dataset (nog) niet interactief is, weerspiegelt het de echte wereld in al zijn variantie. (Het verschilt van de interactieve dataset van Facebook, maar zou de basis kunnen vormen voor een uitbreiding.)

“Het is specifiek een gediversifieerde dataset”, zegt Pittman. “We wilden er zeker van zijn dat we een rijke groepering van verschillende echte wereldomgevingen hadden – je hebt die diversiteit aan gegevens nodig als je er het maximale uit wilt halen door een AI of robot te trainen.”

Alle gegevens zijn vrijwillig verstrekt door de eigenaren van de ruimtes, dus maak je geen zorgen dat het onethisch is opgezogen door een kleine lettertjes. Uiteindelijk, legde Pittman uit, wil het bedrijf een grotere, meer geparametriseerde dataset creëren die toegankelijk is via API – in feite realistische virtuele ruimtes als een service.

“Misschien bouw je een horecarobot voor bed & breakfasts van een bepaalde stijl in de VS – zou het niet geweldig zijn om er duizend te krijgen?” peinsde hij. “We willen zien hoe ver we vooruitgang kunnen boeken met deze eerste dataset, die lessen kunnen trekken, dan kunnen blijven werken met de onderzoeksgemeenschap en onze eigen ontwikkelaars en van daaruit verder kunnen gaan. Dit is een belangrijk startpunt voor ons.”

Beide datasets zullen open en beschikbaar zijn voor onderzoekers overal ter wereld.

LAAT EEN REACTIE ACHTER

Vul alstublieft uw commentaar in!
Vul hier uw naam in