Hoe Een Robotzwerm Omgevingen In Kaart Brengt: Q&A Met Dr. David Lary

Dr. David Lary van de Universiteit van Texas te Dallas leidt een onderzoeksgroep die een team van autonome robotische apparaten heeft ontwikkeld die gebruikt kunnen worden op gevaarlijke of moeilijk bereikbare locaties om inspecties uit te voeren en data te verzamelen — leverend meer en snellere inzichten dan mensen in staat zijn te leveren.

Tech Briefs: Wat inspireerde u om meerdere autonome apparaten te gebruiken om holistische sets van omgevingsdata te verzamelen?

Dr. David Lary: Nou, er zijn twee delen aan die reis. Het eerste is de passie die me drijft. Ik heb een diepe wens om uitgebreide holistische sensing te hebben om mensen uit gevaar te houden zodat er de juiste actiegerichte inzichten kunnen zijn om tijdige beslissingen te nemen. Dat is mijn motivatie, maar de daadwerkelijke reis voor mij tot dit punt begon een paar jaar geleden — nou ja, bijna 30 jaar geleden.

Toen ik mijn PhD deed in Cambridge, was de persoon die er echt dichtbij was, die het ozongat ontdekte, een kerel genaamd Joe Farman. Voor mijn PhD ontwikkelde ik het eerste 3-dimensionale globale model voor ozonafbraak. Het was een chemische module die een plug-in was voor het globale model dat gebruikt werd door het Europees Centrum voor Middellange Weervoorspelling. Met mijn plug-in kon ik globale simulaties doen voor ozon-gerelateerde chemie. En dus was de voor de hand liggende vraag die ik wilde stellen: hoe goed is dit model? Om het te verifiëren moest ik zoveel mogelijk databronnen bijeenbrengen: satellieten, vliegtuigen, grondgebaseerde sensoren, en ballonnen. Een van de

ondankbare dingen waar ik te maken kreeg was inter-instrument bias. Dus ik zocht naar een manier om hiermee om te gaan. Hoewel dit 30 jaar geleden was, kwam ik toevaligerwijs machine learning tegen. Dit was voordat het de grote adoptie kreeg die het vandaag heeft, en ik vond dat het een heel goed werk deed. Dat zette me aan het kijken naar wat we er nog meer mee konden doen. Op de weg waren we de eerste mensen om chemische data-assimilatie te ontwikkelen, wat nu door agentschappen over de hele wereld wordt gebruikt als onderdeel van hun luchtkwaliteitsvoorspellingssystemen.

Eén van de dingen die we in data-assimilatie doen is veel aandacht besteden aan onzekerheden. Deel van mijn werk bij NASA was het creëren van globale remote-sensing dataproducten. De manier waarop dat werkt is, je gebruikt de remote sensing informatie om een dataproduct te creëren, zeg over de samenstelling van de atmosfeer of het landoppervlak of onderwater samenstelling, zeg voor wereldwijde oceanen. Je krijgt de remote sensing data van de satelliet en vergelijk het met de in-situ grondwaarheid. Typisch het verzamelen van de training data om dat te doen kan tot een decennium of zo duren. Het is een klus omdat je in staat wilt zijn om zo veel verschillende condities en contexten te bemonsteren als je waarschijnlijk wereldwijd zult tegenkomen.

Ons autonome robotische team, in ongeveer 15 minuten, verzamelde hetzelfde datavolume als typisch gebruikt wordt om die satelliet-gebaseerde remote sensing dataproducten te creëren, hoewel voor één locatie. Dus het kan in een nieuwe omgeving gaan, een die het nog niet heeft gezien, en snel precies gecoördineerde waarnemingen maken. In dit geval was het team een boot en een luchtvaartuig. We kozen de boot omdat dat een beetje uitdagender is dan een grondgebaseerde meting vanwege de toegankelijkheidsissues.

Dit type paradigma is niet alleen nuttig om snel nieuwe producten te creëren, maar ook voor de kalibratie en validatie van satellietwaarnemingen, het is ook nuttig om mensen uit gevaar te houden. Als je een heel gecontamineerde omgeving hebt, of een omgeving waarin er dreigingen zijn voor mensen die er binnenkomen, kan het robotteam erheen gaan en op een gecoördineerde manier de juiste data verzamelen.

De studie in ons papier gebruikte een luchtvaartuig met een hyperspectrale imager die een enorm datavolume heel snel verzamelt. Dus zelfs onze snelste datapijpen nu, misschien 5G cellulaire communicatie, zijn niet snel genoeg om te dealen met de benodigde bandbreedte voor het streamen van hyperspectrale beelden. We lossen dat probleem op met on-board verwerking die ons in staat stelt deze dataproducten on the fly te creëren, met behulp van on-board machine learning, en ze dan te streamen. De uiteindelijke dataproducten, zeg de abundantie van een verontreiniging, is een veel kleinere hoeveelheid data die we gemakkelijk in real-time kunnen streamen.

Dus het is echt de mogelijkheid om snel uitgebreide data te verzamelen die gebruikt kan worden om mensen uit gevaar te houden, ecosystemen te karakteriseren, deel te zijn van een noodreactiviteit, zeg na een orkaan die inundatie heeft veroorzaakt van een wijk in de buurt van een chemische fabriek, of een willekeurig aantal van dergelijke toepassingen: schadelijke algbloeien, olielekkages, of diverse landbouwtoepassingen.

Het is ontworpen als een flexibele set componenten. Net als nu we gewend zijn een app store op onze telefoon te hebben, of Tesla auto's over-the-air updates hebben — dit zijn software-gedefinieerde sensoren met hun eigen app store die geüpdatet kunnen worden om hun mogelijkheden met de tijd te verbeteren.

Tech Briefs: Je hebt vliegende sensoren en grond-sensoren en je stuurt de informatie terug naar waar? Hoe wordt al dat verwerkt? Waar wordt het verwerkt?

Dr. Lary: Denk aan dit als een ensemble van slimme sensoren. Er is een set dingen: eerst is er een software-gedefinieerde sensor. De software-gedefinieerde sensor zou een slimme sensor-pakket zijn, wat de fysieke sensoring combineert, zeg een camera, een hyperspectrale camera, thermische camera, of een massaspectrometer. Het kan elk sensortoestel zijn met wat software/machine learning eromheen gewikkeld, wat dan de faciliteit biedt om sommige gecalibreerde en/of afgeleide dataproducten te leveren. Meeste sensoren zullen een of andere vorm van kalibratie nodig hebben.

Door de sensor te koppelen met een software/machine learning wrapper kunnen we een gecompliceerde kalibratie doen die ons een veel flexibeler systeem laat hebben. Dus die software-gedefinieerde sensor kan ook een eigen app store hebben. Één of meer van deze software-gedefinieerde sensoren kunnen op een platform zijn dat de sensor voorziet van energie en tijd- en locatiestamps voor alle data die het produceert, en ook communicatieconnectiviteit, en misschien waar relevant, mobiliteit.

Tech Briefs: Dus dit is een fysiek platform?

Dr. Lary: Ja — in dit voorbeeld hadden we twee platforms. We hadden het robotische luchtvaartuig met de hyperspectrale camera en de thermische camera en een paar andere sensoren aan boord. En dan was het tweede platform de robotische boot, die een hele reeks sensoren in het water eronder had, inclusief sonar en diverse samenstellingssensoren en op de top ervan, een ultrasoon weerstation.

De software-gedefinieerde sensor plus het platform vormt een wachter. Deze wachter is iets dat zich doorgaans kan verplaatsen, metingen kan doen, data kan verwerken en/of streamen.

Meerdere wachters die samenwerken kunnen een robotteam vormen dat met elkaar kan samenwerken om meer mogelijkheden te bieden dan elk van hen op zichzelf kan. In dit geval coöperteert de luchtrobot met zijn sensoren met de waterrobot — de robotische boot en zijn sensoren. Omdat ze op hetzelfde netwerk zitten, glijden de luchtrobots, ontworpen, over hetzelfde pad als de boot. De boot meet wat er in het water zit, terwijl de luchtrobot naar beneden kijkt naar het water met zijn remote hyperspectrale camera en, met machine learning, de mapping leert van wat onze hyperspectrale camera ziet tot de samenstelling van het water. Eenmaal het die mapping geleerd heeft, kan het nu snel over een veel breder gebied vliegen en ons leveren, zeg, een wijd-gebied samenstellingskaart van de olieconcentratie, de chlorofyl-abundantie, opgeloste organische koolstof, of welk component van het water we ook geïnteresseerd in zijn.

We kunnen dat doen, zonder die omgeving ooit te hebben gezien — het robotteam coöperteert om deze trainingdata te verzamelen. De trainingdata wordt gebruikt door de machine-learning om nieuwe dataproducten te creëren zoals de wijd-gebied samenstellingskaart. Eenmaal dat model getraind is, kan de hyperspectrale sensing gedaan worden vanuit alleen de luchtmetingen, het kan on-board van het luchtvaartuig verwerkt worden en dan de resultaten in real-time gestreamd worden. Normaal is dat zo'n groot datavolume dat het substantiële tijd kan kosten om het aantal te crunchen. Omdat je het niet in real-time kunt streamen omdat het zo groot is, geeft het kunnen edge-processen on-board en dan streamen niet alleen een nieuwe capaciteit, maar het vermindert ook de latentie, de vertraging in het kunnen uitvoeren van zo'n taak.

Tech Briefs: Het is als wat ze praten over sensoren voor edge processing om de hoeveelheid data die je moet sturen te reduceren.

Dr. Lary: Precies.

Tech Briefs: Zou je het werk dat je net gedaan hebt prototyping noemen?

Dr. Lary: Ja, we moeten ergens beginnen, dus dit is onze eerste stap.

Tech Briefs: Hoe zou je het praktisch zien gebruikt worden — zeg er is een ramp en de autoriteiten willen je systeem gebruiken, wat zouden ze doen?

Dr. Lary: Dit prototype is slechts één instantie van een veel meer uitgebreide visie, het is de minimale implementatie van wat een multi-robot team kan zijn. Hier hadden we net twee robots, de luchtrobot en de robotische boot. We kozen die twee omdat, in staat te zijn om water te voelen, toegangsuitleggen heeft. Maar dit team kan gemakkelijk veel meer leden hebben, zeg een grond-loopende robot, of een amphibisch voertuig dat het hele robotteam in een potentieel gevaarlijke omgeving kan brengen om remot te deployen.

Het kan reageren op een olielekkage als Deepwater Horizon, waar we de foto's zagen van de wildlife impact, visserijen beïnvloed, en zo verder — en olielekkages gebeuren de hele tijd. Of er kunnen chemische lekkages zijn. Bijvoorbeeld, toen orkaan Harvey Houston raakte, met zijn grote aantal verwerkingsinstallaties, was er een zware inundatie van die faciliteiten en sommige naburige wijken waren op drie kanten omringed door gecontamineerd water. Vluchtige organische verbindingen in het water eindigden in uitgassen, wat ernstige respiratoire problemen veroorzaakte — mensen wisten niet wat ze aan het inademen waren, maar ze wisten dat het hen beïnvloedde. Werkers die binnen gingen om op te schonen, werden ook beïnvloed door het gecontamineerde water.

Met ons sensoringssysteem zou je precies weten waar je mee te maken hebt, zodat je je reactie passend kunt afstemmen. Maar het kan net zo goed gelden voor andere gevallen zoals schadelijke algbloeien. Of zelfs als er geen ramp is, kan dit type capaciteit gebruikt worden om ecosystemen te karakteriseren en inspecties van infrastructuur te doen. Zeg, wegen, spoorwegen, en bruggen, waar de autonome robots met hun sensing snel gedetailleerde metingen kunnen nemen.

Nu een ander scenario. Stel je hebt de luchtrobots zoals we in dit voorbeeld hadden. Met de hyperspectrale, thermische, en zeg synthetische apertuurradar, kijken naar de textuur van een oppervlak, kan het gekoppeld worden met een grondrobot die een grondpenetrerende radar heeft om holtes of andere fouten te zoeken. Of het nu een tunnel of een weg is, caviteiten vormen zich met gebruik en verwering. Er zijn ook veel verschillende scenario's die je voor landbouw kunt gebruiken. Het is ontworpen als uitgebreide sensing, wat als Lego-blokken je samen kunt gebruiken, als plug-and-play. Je zou ze snel kunnen gebruiken voor een heel verscheidenheid aan real-life use cases, waar real-time data-gedreven beslissingen leiden tot meer transparantie, mensen uit gevaar houden.

Tech Briefs: Als iemand dit systeem wil gebruiken, zouden ze custom-gebouwde robots en drones nodig hebben, of zou je een pakket hebben dat je op een bestaand toestel kunt monteren? Hoe verbeeld je dit praktisch te worden?

Dr. Lary: Ik heb jarenlang moeten worstelen met dingen die samenwerken te krijgen. Het is een ding om de apparatuur te kopen, het is een ander ding voor de componenten om samen te werken. Alles wat we kochten was off-the-shelf, omdat ons werk in de, voor het gebrek aan een beter woord, de smarts ging, zoals de software-integratie.

Dat gezegd hebbende, een sleutelstap voor deze software-ontworpen sensoren waarvoor we machine learning gebruiken, is om te kalibreren tegen een referentie of op de vlakte te leren. We gebruiken hetzelfde type idee voor luchtkwaliteit en het distribueren van laagprijs sensoren over steden die gekalibreerd zijn tegen echt dure referentie-sensoren. We kunnen sensoren op buurtniveau deployen, wat eerder onbetaalbaar in kosten zou zijn geweest.

Door in staat te zijn de laagprijs sensoren te kalibreren tegen een referentie op veel dezelfde manier als in dit robotteam, we kalibreerden de hyperspectrale metingen gemaakt door de remote sensing capaciteit tegen de in-situ samenstelling, in dit geval van het water, en je kunt dingen bereiken die anders heel, heel uitdagend zouden zijn.

Het is echt het netwerk van sensoren, het netwerk van autonome wachters die samen coöperatief werken met machine learning, dat je in staat stelt om ver meer te doen dan elk van die componenten op zichzelf kan.

Tech Briefs: Zie je dit gecommercialiseerd worden, gebouwd door private bedrijven of zie je de overheid betrokken raken? Wat zie je vooruitgaand?

Dr. Lary: Mijn droom vooruitgaand is om een winkel te hebben waar individuen, gemeenten, of bedrijven, kant-en-klaar toegang kunnen hebben tot deze typen capaciteiten, en niet alleen de sensoren krijgen maar ook de back-end diensten. Zodat als je plug-and-play dit samen zet, het gewoon werkt, en je niet door een lange ontwikkeling hoeft te gaan. De National Science Foundation categoriseert dit als een cyber-fysiek systeem. Cyber-fysieke systemen zijn basis sensing systemen gekoppeld met algoritmes om je te helpen betere, tijdige beslissingen te nemen.

Dus mijn droom voor al dit, en waar verschillende van ons naar werken — en we welkomen partners van alle soorten — is om een cyber-fysieke sociale observatorium te hebben. Het zou een nationale faciliteit moeten zijn net als een astronomisch observatorium met een reuzetelescoop, omdat niemand anders zich iets op die schaal kan permitteren.

Stel je nu je een set sensormogelijkheden voor met meerdere componenten, die in ons project zijn luchtrobots en een robotische boot. Maar ons systeem heeft eigenlijk negen wachttypes voor diverse situaties. We kunnen remote sensing van satellieten en weerradars gebruiken. Naast luchtvoertuigen, hebben we straatniveau sensoren, 24/7 streaming luchtkwaliteit, lichtintensiteit, ioniserende straling enz. We hebben looprobots, we hebben elektrische grondvoertuigen en robotische boten, maar dan ook draagbare sensoren.

We willen ook in staat zijn multiscale sensing te hebben van het globale grote plaatje, vanuit een satelliet. Dus zeg we nu teruggaan naar het orkaan Harvey voorbeeld. Lang voordat orkaan Harvey landfall maakte, konden we het zien met de satellieten en toen het dichter bij landfall kwam, met weerradar. Maar dan de minuut dat het landfall maakt, worden de micro-omgevingsdetails kritiek. De exacte hoogte van bepaalde stromen kan een echt groot verschil maken voor de lokale omgeving. Dus we willen informatie hebben op zowel de grote schaal globale als de hyper-lokale schaal omdat jij en ik op die heel gelokaliseerde schaal leven. Om in staat te zijn om zowel grote schaal als lokale schaal tegelijkertijd te voelen, hebben we echt meerdere wachters nodig.

Maar dan is draagbare sensing ook heel belangrijk. Bijvoorbeeld, in een paar van het parallelle werk dat we doen, zie je nieuwsheaders die zeggen slechte luchtkwaliteit maakt je "dom." Maar hoe dom is dom? Welke verontreinigingen kunnen ons dommer maken dan de rest? Dus in een van onze studies gebruiken we uitgebreide biometrische sensing en meten meer dan 16.000 parameters per seconde, samen met uitgebreide omgevingsensing van ongeveer 2.000 omgevingsparameters om te zien hoe de omgevingsstaat onze autonome reactie beïnvloedt.

Al dit is ontworpen om zowel de holistische sensing te zijn om mensen uit gevaar te houden, maar ook om die onzichtbare olifant in de kamer te vinden die onze gezondheid kan beïnvloeden. Eenmaal we realiseren wat dat is en we het kunnen kwantificeren, is er normaal een voor de hand liggend pad van data-gedreven beslissingen om dingen beter te maken en dan de juiste volgende stappen te nemen om onze vooruitgang te monitoren.

Dat is echt mijn droom — een katalysator te zijn voor deze holistische sensing om mensen uit gevaar te houden: sensing in dienst van de maatschappij. We hebben veel prototypes die we proberen te brengen tot het punt dat ze bruikbaar zijn. Dus we welkomen altijd partnerschappen om dat te versnellen — van overheden, van individuen, lokale gemeenten, gemeenschapsgroepen, bedrijven. We werken met al die typen entiteiten.

Tech Briefs: Klinkt alsof je een heel nieuw soort infrastructuur uitvindt.

Dr. Lary: We proberen — het is basis gedreven door behoeften. Holistische informatie kan zo'n groot verschil maken door ons informatie te geven om passende beslissingen te nemen. Het zou niet-triviaal zijn om dat te doen zonder de juiste infrastructuur.

Tech Briefs: Het klinkt prachtig, ik hoop gewoon dat het ooit geïmplementeerd kan worden.

Dr. Lary: Ik ook, ik ook. We zijn een lange weg gekomen. Ik denk dat we de eerste stap maken.

Het andere bit is buiten het fysieke, wat ik niet aan toe kwam, is dat je dingen kunt hebben als schoolabsentie, wat dan leidt tot slechte leerresultaten. Maar het blijkt vaak dat de absentie kan zijn door dingen als astma. Het astma is door hoge stuifmeel of luchtverontreiniging, en het is eigenlijk een cascade van effecten — het sociale interageert met het environment. We willen niet dat dit een eenrichtingsding is. We willen de triggers voor de waarnemingen zijn zowel wat we zien van de sensing direct, maar ook van maatschappelijke kwesties als clusters van gezondheidsuitkomsten of algbloeien, die visserijen kunnen uitschakelen, of een olielekkage — het is een twee-richtings interactie.

Een dataplatform dat al deze omgevingsparameterlagen samen kan brengen met de maatschappelijke lagen als sterftetrends, absentie, kankerincidentie, etc. kan helpen het besluitvormingsproces om individuen te helpen, zo veel transparanter en effectiever te maken.

Tech Briefs: Wat werk je nu aan? Wat is je heel volgende stap?

Dr. Lary: De heel volgende stap voor dit specifieke robotteam met de boten plus het luchtvaartuig zou zijn om verschillende aspecten van dat autonometeam te verbeteren. En dan willen we het uitbreiden om meer teamleden te hebben. Bijvoorbeeld, om een amphibisch grondvoertuig te hebben dat misschien zowel de boot als het luchtvaartuig in een gecontamineerde omgeving kan brengen, en ze dan deployen, terwijl het ook zelf metingen doet. Ook om de robots deel te laten uitmaken van de sanering.

Het is de verschillende componenten die samenwerken. Hetzelfde type team kan ook gebruikt worden voor het kijken naar onderhoud van infrastructuur, of het nu wegen of rails of bruggen is, en ook voor andere aspecten van de omgevingskwaliteit — luchtkwaliteit, waterkwaliteit. Dus echt, dit proof of concept was gewoon een prototype om te tonen: "Hé echt dit kan gedaan worden en nu willen we het schalen in zoveel verschillende applicaties."

Ook, dit kan prototypes zijn voor satellietmissies. Je kunt een pipeline verbeelden waar je een proof of concept hebt op een luchtvaartuig. Dan kan het overgaan naar andere platforms zoals een CubeSat, bijvoorbeeld. Dit kan ook deel zijn van het validatieproces, data verzamelen voor satellietmissies, alsook data verzamelen voor elk van de verschillende doeleinden die ik heb genoemd.

Een bewerkte versie van dit interview verscheen in de juni 2021 editie van Tech Briefs.