Waarom AI een Proactieve Veiligheidsbenadering Nodig Heeft: Lessen uit 30+ Jaar Hoogspanningselektronica Engineering

Als voormalig hoogspanningselektronica-ingenieur, ontwierp en testte ik hoogspanningsvoedingen voor een wijd scala aan toepassingen, van vroege prototype CAT-scan systemen tot deeltjesversnellers. Ik deed hetzelfde met hoogvermogen microgolfsystemen voor alles van simulatoren om de effecten van radar op gevoelige vliegtuigelektronica te testen aan de ene kant tot het verwerken van granola aan de andere. Meer dan 30 jaar hanteerde ik tientallen kilovolts DC-spanning en tientallen kilowatts microgolfvermogen.

Ed's Blog

Na decennia werk als EE, is SAE Media Group's Ed Brown goed op weg in zijn tweede carrière: Tech Editor.

'Ik realiseerde me, terugkijkend naar mijn ingenieursdagen en kijkend naar al het laatste en grootste als editor, ik heb veel gedachten over wat er nu gebeurt in het licht van mijn ingenieurservaringen, en ik wil er nu een paar delen.' .

Alles moest ontworpen worden met veiligheidsmarges zo groot als praktisch mogelijk en met het doel fail-safe te zijn. Dat betekende van tevoren nadenken over de mogelijke manieren waarop het systeem zou kunnen falen en ontwerpen om de kans te minimaliseren dat een falening letsel of schade zou veroorzaken. Bijvoorbeeld, we gebruikten elektronische 'crowbars' die de output in microseconden veilig kortsloten als een sensor signaleerde dat er een plotselinge toename in belastingstroom was. Maar dat was een actief systeem, wat niet zou werken in het geval van een stroomstoring. Dus, we gebruikten een back-up mechanische crowbar, opgehouden door een elektromagneet als fail-safe bescherming. Als de invoervoeding faalde, zou een metalen balk over de output vallen. Dit was belangrijk omdat zelfs zonder stroom er gevaarlijke hoeveelheden energie opgeslagen kunnen zijn in condensatorbanken — iets wat ik een keer ontdekte toen ik een schok kreeg van een voeding die ik dacht veilig uitgeschakeld te zijn.

Met die mindset kijk ik naar kunstmatige intelligentie (AI). Ik maak me geen zorgen dat AI de menselijke intelligentie zal verdringen en ons allemaal in robots zal veranderen. Maar ik maak me wel zorgen over te zwaar te vertrouwen op het, met name in ten minste twee gebieden: veiligheidstoepassingen in geavanceerde bestuurdersassistentiesystemen (ADAS) en autonomous voertuigen en ziekte diagnostiek.

Dus, het viel me op toen ik las over 'inherente beperkingen' in AI . Onderzoekers van de Universiteit van Cambridge en de Universiteit van Oslo beweren dat de neurale netwerken die AI verwerken, onstabiel kunnen zijn onder bepaalde condities, en dat onzekerheid niet opgelost kan worden door simpelweg meer trainingsdata toe te voegen. Volgens de onderzoekers hebben we meer theoretisch werk nodig om de wiskunde van AI-computing beter te begrijpen. Om betrouwbaardere resultaten te krijgen, moet u de specifieke bron van de fout begrijpen en de AI-methode wijzigen om het op te lossen.

Onderzoekers van de University of California, Berkeley, en de University of Texas at Austin bemerkten een issue  toen ze faalden om de veelbelovende resultaten van een medische imaging-studie te repliceren. 'Na diverse maanden werk, realiseerden we ons dat de beelddata die in het papier gebruikt was, was voorbewerkt,' zei studie-hoofdonderzoeker Michael Lustig, UC Berkeley professor elektrotechniek en informatica.

Dat was de bron van de problemen. 'We wilden bewustzijn creëren van het probleem zodat onderzoekers voorzichtiger kunnen zijn en resultaten publiceren die realistischer zijn,' zei Lustig.

Ze ontdekten dat de onnauwkeurigheid veroorzaakt werd door het gebruik van een biased publieke database voor het trainen van het systeem. De onderzoekers bedachten de term 'impliciete datacriminaliteit' om onderzoeksresultaten te beschrijven die voortkomen wanneer algoritmes ontwikkeld worden met foutieve methodologie.

In een Q&A met Billy Hurley, SAE Digital Editorial Manager, beschreef Professor Eckehard Steinbach van de Technical University of Munich (TUM) potentiëel kritieke automobiele situaties die AI-modellen 'niet in staat kunnen zijn te herkennen, of nog niet ontdekt hebben.' Bijvoorbeeld, een patroon van herhaald remmen kan normaal rijden in warm weer zijn, maar kan een aanstaande disengagement aangeven als de wegen ijs en glad zijn. Dergelijke patronen kunnen moeilijk te herkennen zijn.

Maar aan de lichte kant, ontwikkelde Steinbach's team veiligheidstechnologie die introspectief leert uit zijn eigen eerdere fouten. 'Als de auto een situatie binnenkomt waar het niet voor getraind is, kunnen problemen ontstaan,' zei Steinbach. 'Dergelijke nieuwe scènes veroorzaken menselijke interventie, wat leidt tot die scènes gebruikt worden als trainingsdata voor onze benadering. Terwijl onze methode dan kan helpen zo'n nieuwe uitdagende omgeving de volgende keer te detecteren, blijft het detecteren en correct managen van een volledig nieuwe scène de eerste keer dat het ontdekt wordt, een uitdagende taak.'

Mijn conclusie uit al dit is dat AI medische diagnostiek kan versnellen en verbeteren. Het kan ook helpen voertuigen veel veiliger op de weg te maken. Maar u moet nauwkeurig letten op uw methodes.

Het is vitaal om te denken als een hoogspanningsingenieur wanneer u een AI-systeem ontwerpt: van tevoren nadenken over de mogelijke manieren waarop het systeem kan falen en ontwerpen met het doel de kansen hiervoor te minimaliseren. En als een falening zich voordoet, streven ernaar de kansen op letsel of schade te reduceren.

Bent u het eens? Deel uw vragen en opmerkingen hieronder.

Lees meer van Ed's Blog: Ontwerpen van de Buitenkant In vs de Binnenkant Uit