Inherente beperkingen van AI roepen op tot een 'voorafgaande' veiligheidsmindset

Als voormalig high-power elektronica-ingenieur ontwierp en testte ik hoogspanningsvoedingen voor een breed scala aan toepassingen, van vroege prototypen van CAT-scansystemen tot deeltjesversnellers. Ik deed hetzelfde met krachtige microgolfsystemen voor alles, van simulatoren om de effecten van radar op gevoelige vliegtuigelektronica aan het ene uiterste te testen tot het verwerken van granola aan het andere. Al meer dan 30 jaar heb ik tientallen kilovolt gelijkspanning en tientallen kilowatt microgolfvermogen verwerkt.

Eds blog

Na tientallen jaren als EE te hebben gewerkt, is Ed Brown van SAE Media Group ver in zijn tweede carrière:Tech Editor.

"Ik realiseerde me dat, terugkijkend op mijn technische dagen en kijkend naar het nieuwste en beste als redacteur, ik veel gedachten heb over wat er nu gebeurt in het licht van mijn technische ervaringen, en ik zou er nu een paar willen delen .” .

Alles moest worden ontworpen met veiligheidsmarges zo groot als praktisch en met als doel faalveilig te zijn. Dat betekende van tevoren nadenken over de mogelijke manieren waarop het systeem zou kunnen falen en ontwerpen om de kans te minimaliseren dat een storing letsel of schade zou veroorzaken. We gebruikten bijvoorbeeld elektronische "koevoeten" die de uitgang veilig in microseconden zouden kortsluiten als een sensor signaleerde dat er een plotselinge toename van de belastingsstroom was. Maar dat was een actief systeem, dat bij stroomuitval niet zou werken. Dus gebruikten we een mechanische back-up koevoet, opgehouden door een elektromagneet als faalveilige bescherming. Als de voeding van de ingangslijn uitvalt, zou er een metalen staaf over de uitgang vallen. Dit was belangrijk omdat er zelfs zonder stroom gevaarlijke hoeveelheden energie kunnen zijn opgeslagen in condensatorbanken - iets wat ik eens eng voor mezelf ontdekte toen ik een schok kreeg van een stroomvoorziening waarvan ik dacht dat deze veilig was uitgeschakeld.

Met die instelling denk ik aan kunstmatige intelligentie (AI). Ik maak me geen zorgen dat AI de menselijke intelligentie zal verdringen en ons allemaal in robots zal veranderen. Maar ik maak me er wel zorgen over dat ik er te veel op vertrouw, vooral op ten minste twee gebieden:veiligheidstoepassingen in geavanceerde rijhulpsystemen (ADAS) en autonome voertuigen en ziektediagnose.

Het trok dus mijn aandacht toen ik las over "inherente beperkingen" in AI . Onderzoekers van de Universiteit van Cambridge en de Universiteit van Oslo beweren dat de neurale netwerken die AI verwerken onder bepaalde omstandigheden onstabiel kunnen zijn, en dat onzekerheid niet kan worden verholpen door simpelweg meer trainingsgegevens toe te voegen. Volgens de onderzoekers hebben we meer theoretisch werk nodig om de wiskunde van AI-computing beter te begrijpen. Om betrouwbaardere resultaten te krijgen, moet u de specifieke foutbron begrijpen en de AI-methode wijzigen om deze te verhelpen.

Onderzoekers van de Universiteit van Californië, Berkeley en de Universiteit van Texas in Austin hebben een probleem opgemerkt toen ze er niet in slaagden de veelbelovende resultaten van een medische beeldvormingsstudie te repliceren. "Na enkele maanden werk realiseerden we ons dat de afbeeldingsgegevens die in het papier werden gebruikt, waren voorbewerkt", zegt hoofdonderzoeker Michael Lustig, hoogleraar elektrotechniek en computerwetenschappen aan de UC Berkeley.

Dat was de bron van de ellende. "We wilden het probleem onder de aandacht brengen, zodat onderzoekers voorzichtiger kunnen zijn en resultaten kunnen publiceren die realistischer zijn", zegt Lustig.

Ze ontdekten dat de onnauwkeurigheid werd veroorzaakt door het gebruik van een bevooroordeelde openbare database voor het trainen van het systeem. De onderzoekers bedachten de term 'impliciete datacriminaliteit' om onderzoeksresultaten te beschrijven die ontstaan ​​wanneer algoritmen worden ontwikkeld met behulp van gebrekkige methodologie.

In een Q&A met Billy Hurley, SAE Digital Editorial Manager, beschreef professor Eckehard Steinbach van de Technische Universiteit van München (TUM) potentieel kritieke auto-situaties die AI-modellen "misschien niet kunnen herkennen, of nog moeten ontdekken." Een patroon van herhaaldelijk remmen kan bijvoorbeeld regelmatig rijden bij warm weer zijn, maar kan wijzen op een dreigende uitschakeling als de wegen ijzig en glad zijn. Dergelijke patronen kunnen moeilijk te herkennen zijn.

Maar aan de positieve kant ontwikkelde het team van Steinbach veiligheidstechnologie die introspectief leert van zijn eigen eerdere fouten. "Als de auto in een situatie terechtkomt waarvoor hij niet is getraind, kunnen er problemen ontstaan", aldus Steinbach. "Dergelijke nieuwe scènes veroorzaken menselijke tussenkomst, wat ertoe leidt dat die scènes worden gebruikt als trainingsgegevens voor onze aanpak. Hoewel onze methode dan kan helpen om zo'n nieuwe uitdagende omgeving te detecteren de volgende keer dat deze wordt aangetroffen, detecteren en correct beheren van een geheel nieuwe scène de eerste keer dat je het tegenkomt, blijft een uitdagende taak.”

Mijn conclusie van dit alles is dat AI de medische diagnose kan versnellen en verbeteren. Het kan ook helpen om voertuigen een stuk veiliger op de weg te maken. Maar je moet goed op je methoden letten.

Het is van vitaal belang om te denken als een hoogspanningsingenieur bij het ontwerpen van een AI-systeem:denk van tevoren na over de mogelijke manieren waarop het systeem zou kunnen falen en ontwerp het met als doel de kans dat dat gebeurt te minimaliseren. En als er toch een storing optreedt, probeer dan de kans op letsel of schade te verkleinen.

Ben je het ermee eens? Deel uw vragen en opmerkingen hieronder.

Lees meer van Ed's blog:ontwerpen van buiten naar binnen versus binnen naar buiten