Waarde visualiseren met de snelheid van het licht

De wereldwijde voedselinspectie-industrie heeft nieuwere en nauwkeurigere instrumenten nodig om te voldoen aan strenge overheidsvoorschriften. Van speciale gewassen tot zeevruchten, vlees en gevogelte, alleen al de markt voor voedselveiligheidstests wordt in 2021 geschat op maar liefst $ 19,5 miljard USD en zal naar verwachting in 2026 $ 28,6 miljard bedragen ¹ . Dit is een voorbeeld waarbij Hyperspectral Imaging (HSI) een hulpmiddel is dat vervelende en arbeidsintensieve taken kan verlichten en een nieuw niveau van consistentie kan brengen in sommige historisch subjectieve beoordelingstoepassingen.

Oorspronkelijk ontwikkeld voor remote-sensing-toepassingen met beelden van vliegtuigen en satellieten, is HSI sindsdien een commercieel haalbare techniek geworden voor geavanceerde machine vision-toepassingen. HSI-sensoren werken als duizenden of miljoenen spectrometers die de chemische handtekeningen van het gereflecteerde licht op elke pixel van een afbeelding leveren. De sensoren van Headwall kunnen worden afgestemd op golflengtebereiken die het menselijk oog niet kan onderscheiden, van ultraviolet en zichtbaar (UV en VIS) tot nabij-infrarood (VNIR, NIR en SWIR) golflengtebereiken.

Sensoren voor hyperspectrale beeldvorming kunnen onderscheid maken tussen spectrale kenmerken die het menselijk oog ontgaan en conventionele kleurenbeeldvorming. Deze functies kunnen potentieel schadelijke vreemde stoffen detecteren en een middel bieden om materiaal zoals voedselproducten te sorteren en te sorteren waarvan de waarde vaak is gekoppeld aan kenmerken die vaak beter en consistenter worden gemeten door een HSI-systeem dan een mens die onderhevig is aan vermoeidheid of de effecten van zoiets simpels als elke dag wisselende hoeveelheden koffie 2.

Systemen die HSI gebruiken, hebben te maken gehad met aanzienlijke hindernissen bij industriële implementatie vanwege de noodzaak om relatief grote hoeveelheden onbewerkte gegevens te verwerken en de relatieve complexiteit van de ontwikkeling van spectrale classificatiemodellen aan te pakken. Nieuwere HSI-platforms, zoals het Hyperspec® MV.X-beeldvormingssysteem van Headwall, combineren een krachtige beeldspectrometer met krachtige embedded computing en software om snel spectrale classificatiemodellen te creëren om bruikbare resultaten in realtime te extraheren en instructies via het lokale netwerk naar actie ondernemen of monitoring- en controlegegevens verzamelen.

Een andere manier om naar dingen te kijken

Het menselijk oog, hoe capabel het ook is, kan alleen beelden detecteren die in het zichtbare lichtspectrum tussen 400 nm en 700 nm vallen. Er zijn slechts drie kleuren binnen dit bereik die onder brede RGB-gebieden (rood, groen of blauw) vallen, en de kleurgevoeligheid en -perceptie van elke persoon varieert in grote mate. Desalniettemin is de voedselinspectie-industrie al eeuwen afhankelijk van mensen en RGB-sensoren om problemen te detecteren en producten te beoordelen. Deze omvatten vreemde voorwerpen die eerder in het oogstproces zijn gemist, en zelfs moeilijk te detecteren ziektetoestanden die grotendeels onzichtbaar zijn voor een van deze traditionele methoden. Er staat veel op het spel:de voorkeur van de consument, het vermogen om te voldoen aan nieuwe overheidsvoorschriften en de waarde voor de aandeelhouders van het bedrijf kunnen allemaal afhangen van de precisie en effectiviteit van de manier waarop inspectie wordt uitgevoerd in alle facetten van de voedingsindustrie.

‘Spectral imaging’-sensoren kunnen worden onderverdeeld in twee categorieën. Multispectrale sensoren bestaan ​​uit een handvol spectrale banden, van vier tot tientallen, terwijl hyperspectrale sensoren een veel gedetailleerder (d.w.z. hoge spectrale resolutie) uiterlijk bieden, omdat ze letterlijk honderden spectrale banden tegelijk kunnen vastleggen. Beide geven een veel completer beeld van voedsel dat wordt gecontroleerd, omdat ze veel verder gaan dan het eenvoudige RGB-paradigma dat zo algemeen en traditioneel wordt gebruikt.

Mensen zien kleur als combinaties van rood (1), groen (2) en blauw (3) in een heel klein gebied van het elektromagnetische spectrum. De toevoeging van banden 4 en 5 vertegenwoordigen een multispectraal voorbeeld, waarbij meer dan 3 gebieden van het spectrum worden vastgelegd en geanalyseerd. Hyperspectrale beeldvorming maakt gebruik van honderden banden van het spectrum in plaats van slechts enkele. Dit maakt de hoge prestaties van een spectrometer voor puntmeting mogelijk, maar bij elke pixel van een afbeelding die uit miljoenen pixels kan bestaan.

Een 'geavanceerd' machinevisiesysteem voor de doeleinden van deze discussie kan bestaan ​​uit een of meer spectrale beeldsensoren, een geschikte verlichtingsbron en een computer die de beeldgegevens verzamelt terwijl deze communiceert met stroomafwaartse robotica. De sensor presenteert beeldgegevens in realtime aan de computer en die beeldgegevens worden vervolgens doorgestuurd naar het robotsysteem. Het robotsysteem interpreteert het beeld en begrijpt direct wat te doen op basis van algoritmen en instructies. In sommige gevallen kan het gewoon een stuk vreemd materiaal pakken en verwijderen (pass/fail). In andere gevallen zou het bepaalde kleuringen van een product naar een andere lijn sturen voor verdere verwerking (product 'grading'). Voor recyclingtoepassingen kan het verschillende, maar gelijkaardige soorten kunststoffen classificeren langs hogesnelheidslijnen.

De hyperspectrale sensor is geen op zichzelf staand apparaat, maar eerder een belangrijk en zeer nauwkeurig onderdeel van een volledig geavanceerd machine vision-systeem. Met één schatting ³ , is machine vision gebruikt in minder dan 20% van de toepassingen waarvoor het potentieel nuttig is. Daarom is het verstandig om te bespreken hoe deze krachtige beeldtechnologie inspectieprocessen beter en economisch efficiënter kan maken.

De HSI-sensor kan worden gezien als een 'nieuwe set ogen' die fungeert als een schildwacht die de inspectielijnen bewaakt, hoe lang de typische productiecyclus ook duurt. Het vermogen om met andere elementen van het systeem te 'praten' is een cruciale reden waarom hyperspectrale detectie de voorkeur geniet als een nieuw hulpmiddel voor de industrie met het vermogen om RGB-eenheden ver te overtreffen.

Een "pushbroom" hyperspectrale sensor legt beelden vast door lijn voor lijn door een spleet (links) te scannen, waarbij elke lijn pixels bevat die de spectrale kenmerken van het onderwerp opslaan (midden). Naarmate de sensor beweegt ten opzichte van het te scannen gebied of object, wordt een dataset opgebouwd (rechts). De resulterende dataset kan worden gezien als een stapel waarbij elke laag een bepaalde "band" (een klein bereik van golflengten) vertegenwoordigt. Pixels worden aan elkaar genaaid om een ​​afbeelding te vormen waarbij elke pixel niet alleen conventionele RGB-waarden bevat, maar honderden waarden langs het golflengtebereik van de sensor.

De basisfunctie van een hyperspectrale sensor is om individuele segmenten van een binnenkomende scène vast te leggen via een fysieke spleet in het geval van een 'pushbroom'-ontwerp en om elk segment op te splitsen in afzonderlijke golflengtecomponenten die vervolgens worden gepresenteerd aan een focal plane array (FPA) . Een diffractierooster beheert de taak van het verspreiden van de beeldplakken in discrete golflengtecomponenten. Het rooster is ontworpen met een nauwkeurig groefprofiel om de ruimtelijke samenhang in één dimensie (de lengte van de beeldspleet) te behouden en ervoor te zorgen dat de ruimtelijke informatie (de breedte van de spleet, in microns) afbuigt. Dit diffractieproces (dispersie) zorgt ervoor dat de spectrale inhoud zich kan verplaatsen naar bekende golflengtekanalen op de sensor.

De volledig reflecterende spectrale lijnscantechnologie met duwbezem die door Headwall wordt gebruikt, legt een spectrale lijn vast (X-ruimtelijk en Z-spectraal) in elk 'frame'. Sequentiële frames bouwen de ruimtelijke Y-dimensie op. Het pushbroom-ontwerp heeft de voorkeur vanwege zijn vermogen om lage vervorming te bieden bij een zeer hoge ruimtelijke en spectrale resolutie. Hoge doorvoer betekent een hoge signaal-ruisverhouding en zeer weinig strooilicht. Omdat het een volledig reflecterend ontwerp is, worden problemen met chromatische dispersie geëlimineerd.

Als we door de spleet van de hyperspectrale sensor kijken, zien we alleen de ruimtelijke strook die de spleet doorlaat. Dit komt overeen met één kolom pixels. Je kunt nog steeds het ruimtelijke detail in de afbeelding zien, maar slechts één strook tegelijk. In elke spleet zijn er veel kleuren. Het HSI-systeem scheidt het licht in elke ruimtelijke pixel in de verschillende kleuren in die pixel. Elke keer dat de camera een foto van de spleet maakt, krijgt deze een volledig frame van spectrale gegevens voor elke pixel. Door elk spectraal beeld van de spleet op te stapelen terwijl we de scène oversteken, bouwen we de hyperspectrale gegevenskubus op. Terwijl de sensor van links naar rechts over het tafereel beweegt, kan geavanceerde hyperspectrale verwerkingssoftware een reeks foto's maken en deze aan elkaar hechten om een ​​volledige 'gegevenskubus' te verkrijgen.

Een kenmerk van spectrale beeldvorming dat het perfect maakt voor geavanceerde machine vision-toepassingen, is beweging. Omdat sensoren beeldgegevens frame voor frame vastleggen, zijn ze natuurlijk afhankelijk van de beweging die optreedt. De sensor moet ofwel over het gezichtsveld bewegen (zoals bij bevestiging aan een drone of vliegtuig in remote-sensing-toepassingen), of het gezichtsveld moet onder de sensor bewegen (zoals bij een geavanceerde machine vision-implementatie ).

De precisielandbouwgemeenschap heeft zowel hyperspectrale als multispectrale sensoren gebruikt als nuttige lading voor drones en vliegtuigen die boven akkers vliegen. Deze sensoren leggen een schat aan vitale landbouwgegevens vast, met betrekking tot indices zoals NDVI, PRI, WBI, Red Edge Ratio en nog veel meer. Vitaliteit van gewassen, bemesting en irrigatie-effectiviteit, en vroege tekenen van invasieve soorten en ziekten zijn allemaal te zien binnen de honderden banden van een Visible-Near-Infrared (VNIR)-sensor die tussen 400 nm en 1000 nm 'ziet'.

Hyperspectrale sensoren kunnen langs de productielijn worden geplaatst en worden aangesloten op robots die de juiste actie ondernemen op basis van realtime analyse die wordt uitgevoerd in de embedded processors in de sensorsystemen zelf.

Langs een hogesnelheidstransportband kan hetzelfde niveau van zinvolle gegevens worden verzameld om het inspectieproces positief te beïnvloeden. De beeldsnelheid en gezichtsveldkenmerken zijn zodanig dat de sensoren meer dan in staat zijn om brede lijnen te bewaken die met hoge snelheden werken. De hoge mate van discriminatie die HSI biedt, betekent dat zelfs moeilijk te onderscheiden afwijkingen worden gezien en beheerd. Een bosbes in een veld met aardbeien is gemakkelijk te herkennen, maar hoe zit het met minieme kleur- of chemische verschillen binnen hetzelfde gewas of binnen gelijkaardige gerecyclede materialen? Alleen hyperspectraal kan deze onmogelijk te zien verschillen onderscheiden.

HSI-sensorontwerp

Lichtstralen die de spleet van een hyperspectrale sensor van een duwbezem binnenkomen, worden gescheiden in een kleurenspectrum zoals in een regenboog, in dit geval door een holografisch rooster van zeer fijne groeven. Het spectrum valt op een 2D-fotosensor. Software zet het signaalniveau op elke lichtgevoelige pixel om in een spectrale curve bij elke pixel van het beeld terwijl de sensor beweegt ten opzichte van het object dat wordt gescand.

Hoewel HSI-sensoren soms 'camera's' worden genoemd, zijn ze in werkelijkheid een combinatie van spectrometers en camera's. De sensoren van Headwall zijn gebaseerd op een volledig reflecterend ontwerp zonder bewegende delen of mogelijk storende doorlatende optica. Dit wordt bereikt door gebruik te maken van holografische diffractieroosters die het binnenkomende licht beheren dat door de beeldspleet gaat. De roosters zijn niet alleen bijzonder nauwkeurig, maar ook klein en licht. Hierdoor kunnen de instrumenten zelf klein en licht zijn, zodat ze overal gemakkelijk kunnen worden ingezet.

Headwall is de enige fabrikant van spectrale sensoren die ook zijn eigen diffractieroosters maakt. Elk rooster is 'master quality', dat wil zeggen identieke groefprofielen van de ene naar de andere voor een bepaalde toepassing. Aangezien de fundamentele optische prestatie van de sensor een functie is van het rooster, vertegenwoordigt dit vermogen echte differentiatie. Hyperspectrale sensoren zijn ontworpen en 'afgestemd' op specifieke spectrale bereiken. Binnen elk bereik worden letterlijk honderden spectrale banden verzameld, wat een zeer nauwkeurig en zeer duidelijk beeld geeft van alles dat langs de inspectielijn beweegt...zowel spectraal als ruimtelijk.

Het zichtbare-nabij-infraroodbereik (VNIR) bestrijkt 400 nm tot 1000 nm en het uitgebreide VNIR-bereik dekt 550 nm tot 1700 nm. Het Near-Infrared-bereik (NIR) verzamelt beeldgegevens van 900 nm tot 1700 nm, terwijl het Shortwave-Infrared-bereik (SWIR) 900 nm tot 2500 nm beslaat. Omdat materiaal op bepaalde punten binnen deze bereiken ‘licht reflecteert’, is het belangrijk om eerst de handtekeningen zelf te definiëren. Vervolgens kan de sensor door middel van algoritmen materiaal karakteriseren of iets detecteren dat niet precies als 'goed' is gedefinieerd, niet alleen met betrekking tot vreemd materiaal, maar ook moeilijk te onderscheiden verschillen in 'classificatie' van de ene bes tot de andere of van de ene noot tot de andere. een ander. Dit is een zeer waardevol kenmerk van hyperspectrale beeldvorming, omdat het een niveau van specificiteit heeft dat veel verder gaat dan meer traditionele RGB-sensoren.

Licht is belangrijk

Omdat HSI-sensoren gereflecteerd licht meten en analyseren, is verlichting een belangrijke overweging. Het algemene doel is om het gezichtsveld van de sensor te voorzien van een extreem uniforme, consistente vorm van verlichting die tegelijkertijd robuust en economisch is.

Voor het VNIR-spectrale bereik vertegenwoordigt Quartz Tungsten Halogen (QTH) een dergelijke verlichtingstechnologie, terwijl nieuwere LED-lichtbronnen kunnen worden gezien als een ander, zij het minder volwassen alternatief. Gebundelde optische vezels bieden ook een uniforme lichtbron. Veel van wat de voedselinspectie-industrie interesseert, 'reflecteert' op afstanden buiten het zichtbare, die uitsnijdt bij ongeveer 700 nm. Het is dus van vitaal belang om een ​​lichtbron aan beide kanten van dit punt te hebben.

De lichtbron moet niet alleen zo koel mogelijk, robuust en uniform zijn, maar ook de breedte van de inspectielijn doorlopen. Deze edge-to-edge-mogelijkheid maakt gebruik van het brede gezichtsveld van de sensor, waardoor het geïnspecteerde product niet alleen direct onder de sensor zelf, maar ook tot aan de randen kan worden gezien. Er is geen regelgeving in een supersnelle voedselinspectielijn, omdat het product overal kan zijn... langs de randen of samengebundeld op de transportband. De levensduur van de lichtbron is ook belangrijk, aangezien veel voedselinspectielijnen de klok rond draaien.

Aangezien de sensor een 'kubus' van beeldgegevens één plak tegelijk bouwt en de verlichting zelf een zeer dunne strook is, is het interessegebied (het 'spleetbeeld') wat moet worden verlicht. Een wit reflectiedoel wordt gebruikt om de sensor te kalibreren voordat deze daadwerkelijk wordt gebruikt. Dit is een cruciale stap omdat de sensor beeldgegevens verzamelt die een stroomafwaarts robotsysteem (bijv. vacuüm, luchtmessen, plukklauw) zal gebruiken om 'goed' van 'slecht' te scheiden. Het doel is altijd om de juiste soort licht met de juiste intensiteit, precies waar het nodig is. Het is ook belangrijk dat er documentatie bestaat die golflengten en intensiteit van licht over het projectieveld, uniformiteit van het licht en degradatie over standaardafstanden aangeeft. Op deze manier kan de exacte positionering van de sensor ten opzichte van de lijn worden bepaald, mocht er enige aanpassing aan de architectuur van de lijn nodig zijn.

Robotica

Robotsubsystemen zijn een natuurlijk onderdeel van veel geavanceerde machine vision-verwerkingslijntoepassingen. Het vermogen om te discrimineren en te elimineren hangt af van het vermogen van de sensor en het robotsysteem om snel en getrouw te communiceren, in realtime. Hyperspec®-sensoren kunnen honderden frames per seconde uitvoeren, wat betekent dat ze zowel vanuit operationeel als economisch oogpunt zeer geschikt zijn om te werken met hogesnelheidslijnen en de daarin ingebouwde robotsystemen.

De machine vision-industrie begrijpt dat de middelen om een ​​breed scala aan subsystemen te integreren in een naadloze en continu lopende lijn vereisen dat communicatieprotocollen industriestandaard en snel zijn. Gigabit Ethernet wordt vaak gebruikt om alles met elkaar te verbinden vanuit een datastroomperspectief. De HSI-systemen en computers die de inkomende gegevens beheren, werken allemaal met Gigabit Ethernet, maar ook met andere zeer snelle communicatieverbindingen zoals CameraLink.

Gegevensverzameling en -verwerking

Bij het inspecteren van speciale gewassen, zoals noten en bessen, moet worden gekeken naar sterk gelijkaardige items met een kleine mate van variabiliteit. Daarom is het opdelen van het signaal of beeld in honderden hyperspectrale 'kanalen' een voordeel voor de industrie.

Omdat gebruiksgemak voorop staat en steile maar snelle leercurven noodzakelijk zijn, is de software van Headwall intuïtief en bevat deze functies waarmee gebruikers hun inspectieprocessen kunnen aanpassen en aanpassen op basis van wat de sensoren zien. Het op algoritmen gebaseerde proces lokaliseert de spectrale kenmerken die gebruikers kunnen tegenkomen. Zo zijn amandelen met insectenschade bijna niet te onderscheiden van 'goede' amandelen onder RGB-analyse. Maar dezelfde scène geclassificeerd met HSI zal de aandacht vestigen op de beschadigde, die kunnen worden geëlimineerd door het stroomafwaartse robotsysteem.

De combinatie van innovatieve sensoren, software en workflow geeft een groeiend aantal gebruikers toegang tot HSI met echte oplossingen die spectrale gegevens gebruiken om niet alleen verontreiniging te detecteren, maar ook om producten te 'graden' zodat er minder verspild wordt en meer wordt omgezet in inkomsten. Hyperspectrale beeldvorming ontsluit die mogelijkheid binnen de machine vision-industrie.

Bronnen

1. “Voedselveiligheidstestmarkt per getest doel (pathogenen, pesticiden, GGO's, mycotoxinen en allergenen), technologie (traditioneel en snel), getest voedsel (vlees, gevogelte, zeevruchten, zuivel, bewerkte voedingsmiddelen en fruit &Groenten) en Regio - Voorspelling tot 2026 ”, Markten en markten, markt voor voedselveiligheidstests, gepubliceerd in mei 2021
2. “Het effect van cafeïne op de kleuronderscheidende functie van het netvlies bij vrijwilligers ”, Ovanesov KB. Vliianie. Eksp Klin Farmakol. 1998 nov-dec; 61 (6):17-9. PMID:9929810
3. “Multispectrale versus hyperspectrale beelden uitgelegd ”, GISGeography, 16 februari 2018
4. “Handboek Machine Vision ”, Alexander Hornberg, Wiley-VCH. p. 694, 2006. ISBN 978-3-527-40584-8

Dit artikel is geschreven door Christian Felsheim, directeur Headwall Photonics EMEA, en Dr. Will Rock, Senior Application Engineer, Headwall Photonics (Bolton, MA). Ga voor meer informatie naar hier .