Vraag en antwoord:Team van Robots Kaarten Samenstelling van een omgeving

Dr. David Lary van de Universiteit van Texas in Dallas leidt een onderzoeksgroep die een team van autonome robotapparaten heeft ontwikkeld die kunnen worden gebruikt op gevaarlijke of moeilijk bereikbare locaties om enquêtes uit te voeren en gegevens te verzamelen - wat meer en snellere inzichten oplevert dan mensen kunnen leveren.

Tech Briefs: Wat inspireerde je om meerdere autonome apparaten te gebruiken om holistische sets van omgevingsgegevens te verzamelen?

Dr. David Lary: Welnu, die reis bestaat uit twee delen. De eerste is de passie die mij drijft. Ik verlang sterk naar een alomvattend holistisch inzicht om mensen buiten gevaar te houden, zodat er de juiste bruikbare inzichten kunnen zijn om tijdige beslissingen te nemen. Dat is mijn motivatie, maar de eigenlijke reis naar dit punt begon een paar jaar geleden — nou ja, bijna 30 jaar geleden.

Toen ik mijn doctoraat in Cambridge deed, was de persoon die heel dichtbij was, die het ozongat ontdekte, een man die Joe Farman heette. Dus voor mijn doctoraat ontwikkelde ik het eerste driedimensionale globale model voor ozonafbraak. Het was een chemische module die een plug-in was voor het wereldwijde model dat werd gebruikt door het European Centre for Medium Range weersvoorspellingen. Met mijn plug-in kon ik wereldwijde simulaties doen voor ozongerelateerde chemie. En dus was de voor de hand liggende vraag die ik wilde stellen:hoe goed is dit model? Om het te verifiëren, moest ik zoveel mogelijk gegevensbronnen bij elkaar brengen:satellieten, vliegtuigen, grondsensoren en ballonnen. Een van de

verderfelijke dingen waarmee ik werd geconfronteerd, waren vooringenomenheid tussen instrumenten. Ik was dus op zoek naar een manier om met deze vooroordelen om te gaan. Hoewel dit 30 jaar geleden was, kwam ik bij toeval machine learning tegen. Dit was voordat het de grote adoptie bereikte die het vandaag heeft, en ik merkte dat het echt goed werk deed. Dat zette me aan het kijken wat we er nog meer mee konden doen. Ondertussen waren we de eersten die de assimilatie van chemische gegevens ontwikkelden, die nu door agentschappen over de hele wereld wordt gebruikt als onderdeel van hun voorspellingssystemen voor de luchtkwaliteit.

Een van de dingen die we doen bij data-assimilatie is veel aandacht besteden aan onzekerheden. Een deel van mijn werk bij NASA was het creëren van wereldwijde remote-sensing dataproducten. De manier waarop dat werkt, is dat je de teledetectie-informatie gebruikt om een ​​dataproduct te maken, bijvoorbeeld over de samenstelling van de atmosfeer of het landoppervlak of onderwatersamenstelling, bijvoorbeeld voor mondiale oceanen. U krijgt de teledetectiegegevens van de satelliet en vergelijkt deze met de in-situ grondwaarheid. Doorgaans kan het verzamelen van de trainingsgegevens om dat te doen tot een decennium of zo duren. Het is een hele opgave, want je wilt zoveel verschillende omstandigheden en contexten kunnen proeven als je wereldwijd kunt tegenkomen.

Ons autonome robotteam verzamelde in ongeveer 15 minuten hetzelfde datavolume als gewoonlijk wordt gebruikt om die satellietgebaseerde remote sensing-dataproducten te maken, zij het voor één locatie. Het kan dus naar een nieuwe omgeving gaan, een die het nog niet eerder heeft gezien, en snel nauwkeurig gecoördineerde waarnemingen doen. In dit geval was het team een ​​boot en een luchtvoertuig. We hebben voor de boot gekozen omdat dat een beetje uitdagender is dan een meting vanaf de grond vanwege de toegangsproblemen.

Dit type paradigma is niet alleen nuttig om snel nieuwe producten te creëren, maar ook voor de kalibratie en validatie van satellietwaarnemingen, het is ook nuttig om mensen buiten gevaar te houden. Als je een zeer vervuilde omgeving hebt, of een omgeving waarin er bedreigingen zijn voor mensen die erin komen, kan het robotteam daarheen gaan en op een gecoördineerde manier de juiste gegevens verzamelen.

De studie in onze paper maakte gebruik van een luchtvoertuig met een hyperspectrale imager die zeer snel een enorme hoeveelheid gegevens verzamelt. Dus zelfs onze snelste datapijpen op dit moment, misschien 5G mobiele communicatie, zijn niet snel genoeg om de vereiste bandbreedte aan te kunnen voor het streamen van hyperspectrale beelden. We pakken dat probleem aan met verwerking aan boord waarmee we deze gegevensproducten on-the-fly kunnen maken, met behulp van machine learning aan boord, en ze vervolgens kunnen streamen. De uiteindelijke gegevensproducten, zeg maar de overvloed aan een verontreinigende stof, zijn een veel kleinere hoeveelheid gegevens die we gemakkelijk in realtime kunnen streamen.

Het is dus echt de mogelijkheid om snel uitgebreide gegevens te verzamelen die kunnen worden gebruikt om mensen buiten gevaar te houden, om ecosystemen te karakteriseren, om deel uit te maken van een noodhulpactiviteit, bijvoorbeeld na een orkaan die een buurt in de buurt van een chemische fabriek heeft overstroomd , of een aantal van dergelijke toepassingen:schadelijke algenbloei, olielozingen of verschillende landbouwtoepassingen.

Het is ontworpen als een flexibele set componenten. Net als nu zijn we gewend aan het hebben van een app store op onze telefoon, of aan Tesla-auto's met draadloze updates - dit zijn softwaregedefinieerde sensoren met hun eigen app store die kunnen worden bijgewerkt om hun mogelijkheden met de tijd te verbeteren.

Tech Briefs: Je hebt vliegende sensoren en grondsensoren en je stuurt de informatie terug naar waar? Hoe wordt dat allemaal verwerkt? Waar wordt het verwerkt?

Dr. Lary: Zie dit als een ensemble van slimme sensoren. Er is een aantal dingen:dus eerst is er een softwaregedefinieerde sensor. De softwaregedefinieerde sensor zou een slim detectiepakket zijn, dat het fysieke detectiesysteem combineert, bijvoorbeeld een camera, een hyperspectrale camera, thermische camera of een massaspectrometer. Het kan elk detectieapparaat zijn met wat software/machine learning eromheen, die vervolgens de mogelijkheid biedt om een ​​aantal gekalibreerde en/of afgeleide dataproducten te leveren. De meeste sensoren hebben een of andere kalibratie nodig.

Door de sensor te koppelen aan een software/machine learning-wrapper kunnen we een gecompliceerde kalibratie uitvoeren waardoor we een veel flexibeler systeem hebben. Dus die softwaregedefinieerde sensor kan ook een eigen app store hebben. Een of meer van deze softwaregedefinieerde sensoren kunnen zich op een platform bevinden dat de sensor voorziet van stroom en tijd- en locatiestempels voor alle gegevens die hij produceert, en ook voor communicatieconnectiviteit en, waar relevant, mobiliteit.

Tech Briefs: Dus dit is een fysiek platform?

Dr. Lary: Ja - in dit voorbeeld hadden we twee platforms. We hadden het robotvliegtuig met de hyperspectrale camera en de thermische camera en een paar andere sensoren aan boord. En het tweede platform was de robotboot, die een hele reeks sensoren in het water eronder had, inclusief sonar en verschillende compositiesensoren, en daarbovenop een ultrasoon weerstation.

De softwaregedefinieerde sensor plus het platform vormen een schildwacht. Deze schildwacht is iets dat zich doorgaans kan verplaatsen, metingen kan doen, gegevens kan verwerken en/of kan streamen.

Meerdere schildwachten die samenwerken, kunnen een robotteam vormen dat met elkaar kan samenwerken om meer mogelijkheden te bieden dan elk van hen alleen kan. In dit geval werkt de luchtrobot met zijn sensoren samen met de waterrobot - de robotboot en zijn sensoren. Omdat ze zich op hetzelfde netwerk bevinden, glijden de luchtrobots, door hun ontwerp, over hetzelfde pad als de boot. De boot meet wat er in het water is, terwijl de luchtrobot met zijn hyperspectrale camera op afstand van bovenaf naar het water kijkt en, met behulp van machine learning, leert wat onze hyperspectrale camera in kaart brengt voor de samenstelling van het water. Als het eenmaal die mapping heeft geleerd, kan het nu snel over een veel groter gebied vliegen en ons, laten we zeggen, een wijde kaart van de samenstelling van de olieconcentratie, de overvloed aan chlorofyl, opgeloste organische koolstof of welk onderdeel van het water dan ook leveren.' ben geïnteresseerd in.

We kunnen dat doen, omdat we die omgeving nog nooit eerder hebben gezien - het robotteam werkt samen om deze trainingsgegevens te verzamelen. De trainingsgegevens worden door de machine learning gebruikt om nieuwe gegevensproducten te maken, zoals de compositiekaart voor een groot gebied. Als dat model eenmaal is getraind, kan de hyperspectrale waarneming alleen worden gedaan vanuit de luchtmetingen, het kan aan boord van het luchtvoertuig worden verwerkt en vervolgens kunnen de resultaten in realtime worden gestreamd. Normaal gesproken is dat zo'n enorme hoeveelheid gegevens dat het behoorlijk wat tijd kan kosten om de cijfers te kraken. Omdat je het niet in realtime kunt streamen omdat het zo groot is, kun je het aan boord verwerken en vervolgens streamen, wat je niet alleen een nieuwe mogelijkheid geeft, maar het vermindert ook de latentie, de vertraging bij het kunnen zelfs doe zo'n taak.

Tech Briefs: Het is net als waar ze het over hebben met sensoren voor edge-verwerking om de hoeveelheid gegevens die je moet verzenden te verminderen.

Dr. Lary: Precies.

Tech Briefs: Zou je het werk dat je zojuist hebt gedaan beschouwen als prototypen?

Dr. Lary: Ja, we moeten ergens beginnen, dus dit is onze eerste stap.

Tech Briefs: Hoe zou je verwachten dat het praktisch zou worden gebruikt - stel dat er een ramp is en de autoriteiten willen je systeem gebruiken, wat zouden ze doen?

Dr. Lary: Dit prototype is slechts één voorbeeld van een veel uitgebreidere visie, het is de minimale implementatie van wat een team met meerdere robots zou kunnen zijn. Hier hadden we net twee robots, de antenne en de robotboot. We hebben voor die twee gekozen omdat het kunnen voelen van water uitdagingen met zich meebrengt. Maar dit team zou gemakkelijk veel meer leden kunnen hebben, bijvoorbeeld een grondlopende robot, of een amfibievoertuig dat het hele robotteam naar een potentieel gevaarlijke omgeving zou kunnen brengen om op afstand te worden ingezet.

Het zou kunnen reageren op een olieramp zoals Deepwater Horizon, waar we de foto's zagen van de gevolgen van de natuur, de visserij die werd getroffen, enzovoort - en er gebeuren voortdurend olielozingen. Of er kunnen chemische lekkages zijn. Toen bijvoorbeeld de orkaan Harvey Houston trof, met zijn grote aantal verwerkingsfabrieken, was er een zware overstroming van die faciliteiten en waren sommige nabijgelegen buurten aan drie kanten omringd door vervuild water. Vluchtige organische stoffen in het water kwamen uiteindelijk uit de lucht, wat ernstige ademhalingsproblemen veroorzaakte - mensen wisten niet wat ze inademden, maar ze wisten dat het effect op hen had. Werknemers die naar binnen gingen om op te ruimen, werden ook getroffen door het verontreinigde water.

Met ons detectiesysteem weet u precies waar u mee te maken heeft, zodat u uw reactie daarop kunt afstemmen. Maar het kan net zo goed van toepassing zijn op andere gevallen, zoals schadelijke algenbloei. Of zelfs als er geen ramp is, kan dit type vermogen worden gebruikt om ecosystemen te karakteriseren en infrastructuuronderzoeken uit te voeren. Zeg, wegen, spoorwegen en bruggen, waar de autonome robots met hun detectie snel gedetailleerde metingen kunnen doen.

Stel je nu een ander scenario voor. Stel dat je de luchtrobots hebt zoals we in dit voorbeeld hadden. Met de hyperspectrale, thermische en zeg maar synthetische apertuurradar, kijkend naar de textuur van een oppervlak, zou het kunnen worden gekoppeld aan een grondrobot met een gronddoordringende radar die op zoek is naar holtes of andere fouten. Of het nu een tunnel of een weg is, holtes worden gevormd door gebruik en verwering. Er zijn ook veel verschillende scenario's die u voor landbouw kunt gebruiken. Het is ontworpen om uitgebreide detectie te zijn, die je net als Lego-blokken samen kunt gebruiken, zoals plug-and-play. Je zou ze snel kunnen gebruiken voor een hele reeks van real-life use-cases, waar real-time datagestuurde beslissingen leiden tot meer transparantie en mensen buiten gevaar houden.

Tech Briefs: Als iemand dit systeem wil gebruiken, hebben ze dan op maat gemaakte robots en drones nodig, of heb je een pakket dat je op een bestaand apparaat kunt monteren? Hoe ziet u dit praktisch worden?

Dr. Lary: Ik heb jarenlang moeten worstelen om dingen samen te laten werken. Het is één ding om de apparatuur te kopen, het is een ander ding om de componenten samen te laten werken. Alles wat we kochten was van de plank, omdat onze inspanning ging naar de, bij gebrek aan een beter woord, de slimheid, zoals de software-integratie.

Dat gezegd hebbende, is een belangrijke stap voor deze door software ontworpen sensoren waarvoor we machine learning gebruiken, om te kalibreren tegen een referentie of om on-the-fly te leren. We gebruiken hetzelfde soort idee voor luchtkwaliteit en distribueren goedkope sensoren over steden die zijn gekalibreerd met echt dure referentiesensoren. We kunnen sensoren inzetten op buurtschaal, wat voorheen onbetaalbaar zou zijn geweest.

Door de goedkope sensoren tegen een referentie te kunnen kalibreren op vrijwel dezelfde manier als in dit robotteam, hebben we de hyperspectrale metingen van de teledetectiecapaciteit gekalibreerd tegen de in-situ samenstelling, in dit geval van het water, en je kunt dingen bereiken die anders heel, heel uitdagend zouden zijn.

Het is echt het netwerk van sensoren, het netwerk van autonome schildwachten die samenwerken met behulp van machine learning, waarmee je veel meer kunt doen dan elk van die componenten alleen zou kunnen doen.

Tech Briefs: Zie je dat dit wordt gecommercialiseerd, gebouwd door particuliere bedrijven of zie je de overheid zich ermee bemoeien? Wat zie je in de toekomst?

Dr. Lary: Mijn droom voor de toekomst is om een ​​winkel te hebben waar individuen, gemeenten of bedrijven gemakkelijk toegang hebben tot dit soort mogelijkheden, en niet alleen de sensoren maar ook de back-enddiensten. Zodat wanneer je deze dingen samen aansluit en afspeelt, het gewoon werkt en je geen lange ontwikkeling hoeft door te maken. De National Science Foundation categoriseert dit als een cyberfysisch systeem. Cyber-fysieke systemen zijn in feite detectiesystemen gekoppeld aan algoritmen om u te helpen betere, tijdige beslissingen te nemen.

Dus mijn droom voor dit alles, en waar velen van ons naar toe werken - en we verwelkomen allerlei soorten partners - is om een ​​cyberfysisch sociaal observatorium te hebben. Het zou een nationale faciliteit moeten zijn, net als een astronomisch observatorium met een gigantische telescoop, want niemand anders kan het zich veroorloven om iets op die schaal te doen.

Stel je voor dat je nu een set detectiemogelijkheden hebt met meerdere componenten, die in ons project luchtrobots en een robotboot zijn. Maar ons systeem heeft eigenlijk negen soorten schildwachten voor verschillende soorten situaties. We kunnen remote sensing van satellieten en weerradars gebruiken. Naast luchtvaartuigen hebben we straatsensoren, 24/7 streaming luchtkwaliteit, lichtintensiteit, ioniserende straling en ga zo maar door. We hebben lopende robots, we hebben elektrische grondvoertuigen en robotboten, maar dan hebben we ook draagbare sensoren.

We willen ook multischaal-waarneming kunnen hebben van het globale totaalbeeld, van een satelliet. Dus, stel dat we nu teruggaan naar het voorbeeld van orkaan Harvey. Lang voordat orkaan Harvey aan land kwam, konden we het zien met de satellieten en toen het dichter bij het land kwam, met weerradar. Maar zodra het aan land komt, worden de details van de micro-omgeving van cruciaal belang. De exacte hoogte van bepaalde stromen kan een heel groot verschil maken voor de lokale omgeving. We willen dus informatie hebben over zowel de wereldwijde grootschalige als de hyperlokale schaal, omdat jij en ik op die zeer lokale schaal leven. Om zowel grootschalige als lokale schaal tegelijkertijd te kunnen voelen, hebben we echt meerdere schildwachten nodig.

Maar dan is wearable sensing ook heel belangrijk. In een deel van het parallelle werk dat we doen, zie je bijvoorbeeld krantenkoppen die zeggen dat slechte luchtkwaliteit je 'dom' maakt. Maar hoe dom is dom? Welke vervuilende stoffen kunnen ons dommer maken dan de rest? In een van onze onderzoeken gebruiken we daarom uitgebreide biometrische detectie en meten we meer dan 16.000 parameters per seconde, samen met uitgebreide omgevingsdetectie van ongeveer 2.000 omgevingsparameters om te zien hoe de omgevingstoestand onze autonome reactie beïnvloedt.

Dit alles is ontworpen om zowel het holistische gevoel te zijn om mensen buiten gevaar te houden, maar ook om die onzichtbare olifant in de kamer te vinden die onze gezondheid kan beïnvloeden. Zodra we ons realiseren wat dat is en we het kunnen kwantificeren, is er normaal gesproken een duidelijk pad van gegevensgestuurde beslissingen om dingen te verbeteren en vervolgens de juiste volgende stappen te nemen om onze voortgang te bewaken.

Dat is echt mijn droom - om een ​​katalysator te zijn voor dit holistische gevoel om mensen buiten gevaar te houden:voelen in dienst van de samenleving. We hebben veel prototypes die we zo ver proberen te brengen dat ze bruikbaar kunnen zijn. Daarom verwelkomen we altijd partnerschappen om dat te bespoedigen — van overheden, van individuen, lokale gemeenten, gemeenschapsgroepen, bedrijven. We werken met al dat soort entiteiten.

Tech Briefs: Het klinkt alsof je een geheel nieuw soort infrastructuur aan het uitvinden bent.

Dr. Lary: We proberen - het wordt in feite gedreven door behoeften. Holistische informatie kan zo'n groot verschil maken door ons informatie te geven om de juiste beslissingen te nemen. Het zou niet triviaal zijn om dat te doen zonder de juiste infrastructuur.

Tech Briefs: Het klinkt geweldig, ik hoop alleen dat het ooit kan worden geïmplementeerd.

Dr. Lary: Ik ook ik ook. We hebben een lange weg afgelegd. Ik denk dat we de eerste stap zetten.

Het andere deel is buiten het fysieke, waar ik niet aan toe ben gekomen, is dat je dingen kunt hebben zoals schoolverzuim, wat dan leidt tot slechte leerresultaten. Maar vaak blijkt het ziekteverzuim te wijten te zijn aan zaken als astma. De astma is te wijten aan veel pollen of luchtvervuiling, en het is eigenlijk een cascade van effecten - het sociale staat in wisselwerking met het milieu. We willen niet dat dit eenrichtingsverkeer is. We willen dat de triggers voor de waarnemingen zowel zijn wat we direct zien als de waarneming, maar ook van maatschappelijke problemen zoals clusters van gezondheidsresultaten of algenbloei, die de visserij kan uitschakelen, of een olieramp - het is een interactie in twee richtingen.

Het hebben van een dataplatform dat al deze milieuparameterlagen kan samenbrengen met de maatschappelijke lagen zoals sterftetrends, ziekteverzuim, kankerincidentie, enz. kan helpen om het besluitvormingsproces om individuen te helpen zoveel transparanter en effectiever te maken.

Tech Briefs: Waar werk je nu aan? Wat is je volgende stap?

Dr. Lary: De volgende stap voor dit specifieke robotteam met de boten plus het luchtvoertuig zou zijn om verschillende aspecten van dat autonome team te verbeteren. En dan willen we het uitbreiden om meer leden van het team te hebben. Bijvoorbeeld om een ​​amfibisch grondvoertuig te hebben dat misschien zowel de boot als het vliegtuig naar een verontreinigde omgeving kan brengen en vervolgens kan inzetten, terwijl hij ook zelf metingen kan doen. Ook om de robots deel te laten uitmaken van de sanering.

Het zijn de verschillende componenten die samenwerken. Hetzelfde type team kan ook worden gebruikt om te kijken naar het onderhoud van infrastructuur, of het nu gaat om wegen, rails of bruggen, en ook voor andere aspecten van de milieukwaliteit - luchtkwaliteit, waterkwaliteit. Dit proof-of-concept was eigenlijk slechts een prototype om te laten zien:"Hé, dit kan echt en nu willen we het in zoveel verschillende toepassingen schalen."

Dit kunnen ook prototypes zijn voor satellietmissies. U kunt zich een pijpleiding voorstellen waarbij u een proof of concept op een luchtvaartuig heeft. Dan zou het kunnen overgaan naar andere platforms zoals een CubeSat, bijvoorbeeld. Dit kan ook deel uitmaken van het validatieproces, het verzamelen van gegevens voor satellietmissies en het verzamelen van gegevens voor een van de verschillende doeleinden die ik heb genoemd.

Een bewerkte versie van dit interview verscheen in de Tech Briefs van juni 2021.