Voedselveiligheid gerevolutioneerd: Snelle, accurate waardevisualisatie met hyperspectrale imaging

De wereldwijde voedselinspectie-industrie heeft nieuwere en nauwkeurigere tools nodig om aan strikte overheidsregelgeving te voldoen. Van specialiteitsgewassen tot zeevlees, vlees en pluimvee, de markt voor voedselveiligheidstesten alleen werd gewaardeerd op een staggerende $19,5 miljard USD in 2021 en wordt verwacht $28,6 miljard te bereiken in 2026¹. Dit is een voorbeeld waar Hyperspectrale Imaging (HSI) een tool kan zijn die vervelende en arbeidsintensieve taken verlicht, alsook een nieuw niveau van consistentie brengt bij historisch subjectieve graderingstoepassingen.

Ontwikkeling van HSI

Oorspronkelijk ontwikkeld voor remote-sensing toepassingen met beelden van vliegtuigen en satellieten, is HSI sindsdien een commercieel haalbare techniek geworden voor geavanceerde machine vision-toepassingen. HSI-sensoren fungeren als duizenden of miljoenen spectrometers die de chemische handtekeningen leveren van het gereflecteerde licht bij elke pixel van een afbeelding. Headwall's sensoren kunnen afgestemd worden op golflengtebereiken buiten de mogelijkheden van het menselijk oog, van ultraviolett en zichtbaar (UV en VIS) tot nabij-infrarood (VNIR, NIR en SWIR) golflengtebereiken.

Voordelen boven traditionele methoden

Hyperspectrale imaging-sensoren kunnen spectrale kenmerken onderscheiden die het menselijk oog en conventionele kleurenimaging missen. Deze kenmerken kunnen potentiële schadelijke vreemde stoffen detecteren en een middelen bieden om materialen te sorteren en te graden zoals voedselproducten wiens waarde vaak gebonden is aan kenmerken die beter en consistent gemeten worden door een HSI-systeem dan door een mens die onderhevig is aan vermoeidheid of effecten van zoiets simpels als variërende hoeveelheden koffie per dag 2.

Systemen die HSI gebruiken, hebben significante hürdens in industriële implementatie ondervonden vanwege de noodzaak om comparatief grote hoeveelheden rauwe data te verwerken en de relatieve complexiteit van spectrale-classificatie modelontwikkeling aan te pakken. Echter, nieuwere HSI-platforms zoals Headwall's Hyperspec® MV.X imaging systeem combineren een hoogpresterende imaging-spectrometer met krachtige embedded computing en software om snel spectrale-classificatie modellen te creëren om actionable resultaten in realtime te extraheren en instructies via het lokale netwerk te sturen om actie te ondernemen of monitoring- en controlegegevens te verzamelen.

Een andere manier van kijken naar dingen

Het menselijk oog, zo capabel het ook is, kan alleen beelden detecteren die vallen in het zichtbare-lichtspectrum tussen 400 nm en 700 nm. Er zijn slechts drie kleuren binnen deze reeks die onder brede RGB (rood, groen of blauw) gebieden vallen, en ieders kleurgevoeligheid en perceptie varieert in hoge mate. Niettemin heeft de voedselinspectie-industrie voor eeuwen gestaagd op mensen en RGB-sensoren om problemen te detecteren en producten te graden. Deze omvatten vreemde objecten die eerder in het oogstproces gemist zijn, en zelfs moeilijk te detecteren ziektecondities die grotendeels onzichtbaar kunnen zijn voor een van deze traditionele methoden. De inzet is hoog: consumentenvoorkeur, de mogelijkheid om aan nieuwe overheidsregelgeving te voldoen, en corporatie aandeelhouderswaarde kunnen allemaal afhangen van de precisie en effectiviteit van hoe inspectie geïmplementeerd wordt over alle facetten van de voedselindustrie.

‘Spectrale imaging’ sensoren kunnen onderverdeeld worden in twee categorieën. Multispectrale sensoren omvatten een handvol spectrale banden, van vier tot tientallen, terwijl hyperspectrale sensoren een veel meer granulair (d.w.z. hoge spectrale resolutie) kijk bieden, aangezien ze letterlijk honderden spectrale banden tegelijk kunnen vastleggen. Beide bieden een veel completer beeld van voedsel onder inspectie omdat ze ver buiten het eenvoudige RGB-paradigma gaan dat zo algemeen en traditioneel gebruikt wordt.

Mensen zien kleur als combinaties van rood (1), groen (2), en blauw (3) in een heel klein gebied van het elektromagnetische spectrum. De toevoeging van banden 4 en 5 vertegenwoordigt een multispectraal voorbeeld, waar meer dan 3 gebieden van het spectrum vastgelegd en geanalyseerd worden. Hyperspectrale imaging gebruikt honderden banden van het spectrum in plaats van slechts een paar. Dit maakt de hoge prestaties van een puntmeting-spectrometer mogelijk maar dan bij elke pixel van een afbeelding die uit miljoenen pixels kan bestaan.

Een ‘geavanceerd’ machine-vision-systeem voor de doeleinden van deze discussie kan bestaan uit een of meer spectrale imaging-sensoren, een geschikte verlichtingsbron, en een computer die de afbeeldingsdata verzamelt terwijl het communiceert met downstream robotica. De sensor presenteert afbeeldingsdata aan de computer in realtime, en die afbeeldingsdata wordt dan doorverstuurd naar het robotica-systeem. Het robotica-systeem interpreteert de afbeelding en begrijpt onmiddellijk wat te doen op basis van algoritmen en instructies. In sommige gevallen kan het simpelweg een stuk vreemd materiaal grijpen en verwijderen (pass/fail). In andere gevallen zou het bepaalde kleurvariaties van een product naar een andere lijn sturen voor verdere verwerking (product ‘grading’). Voor recycling-toepassingen kan het verschillende maar vergelijkbare typen kunststoffen classificeren langs high-speed lijnen.

De hyperspectrale sensor is geen standalone-apparaat maar wel een belangrijk en zeer nauwkeurig onderdeel van een heel geavanceerd machine vision-systeem. Volgens één schatting³ is machine vision in minder dan 20% van de toepassingen waarvoor het potentiëel nuttig is, ingezet. Daarom is het zinvol om manieren te bespreken waarop deze krachtige imaging-technologie inspectieprocessen beter en economisch efficiënter kan maken.

De HSI-sensor kan gezien worden als een ‘nieuwe set ogen’ die fungeert als een wachtpost over inspectielijnen, hoe lang de typische productiecyclus ook duurt. Zijn vermogen om te ‘praten’ met andere elementen van het systeem is een cruciale reden waarom hyperspectrale sensing favoriet is als een nieuw hulpmiddel voor de industrie met een vermogen om RGB-eenheden ver te overstijgen.

Een „pushbroom” hyperspectrale sensor vangt beelden door lijn voor lijn te scannen door een spleet (links), elke lijn bevat pixels die de spectrale kenmerken van het onderwerp bewaren (midden). Naarmate de sensor beweegt ten opzichte van het te scannen gebied of object, wordt een dataset opgebouwd (rechts). De resulterende dataset kan gezien worden als een stapel waar elke laag een bepaalde „band” vertegenwoordigt (een klein golflengtebereik). Pixels worden samengevoegd om een afbeelding te vormen waarin elke pixel niet alleen conventionele RGB-waarden bevat maar honderden waarden langs het golflengtebereik van de sensor.

De basisfunctie van een hyperspectrale sensor is om individuele plakken van een binnenkomend scene vast te leggen door een fysieke spleet in het geval van een ‘pushbroom’ ontwerp en elke plak te splitsen in discrete golflengtecomponenten die vervolgens gepresenteerd worden aan een focal plane array (FPA). Een diffractieroster beheert de taak om de afbeeldingsplakken in discrete golflengtecomponenten te disperseren. Het rooster is geëngineerd met een precies groefprofiel om ruimtelijke coherentie in één dimensie (de lengte van de afbeeldingsspleet) te behouden en de ruimtelijke informatie (de breedte van de spleet, in micron) te diffracteren. Dit diffractieproces (dispersie) stelt de spectrale inhoud in staat om naar bekende golflengtekanaalen op de sensor te transverseren.

De all-reflectieve push broom spectrale lijn-scan technologie die door Headwall gebruikt wordt, vangt een spectrale lijn (X ruimtelijk en Z spectraal) in elk ‘frame’. Opeenvolgende frames bouwen de Y ruimtelijke dimensie op. Het pushbroom-ontwerp wordt bevorzugd omwille van zijn vermogen om lage vervorming te bieden bij zeer hoge ruimtelijke en spectrale resolutie. Hoge doorvoer betekent een hoge signaal-ruisverhouding en zeer lage stray light. Omdat het een all-reflectief ontwerp is, worden chromatische dispersieproblemen geëlimineerd.

Wanneer bekeken door de spleet van de hyperspectrale sensor, zien we alleen de ruimtelijke strip die de spleet doorlaat. Dit zou equivalent zijn aan één kolom pixels. Je kunt nog steeds de ruimtelijke details in de afbeelding zien, maar slechts één strip tegelijk. In elke spleet zitten veel kleuren. Het HSI-systeem scheidt het licht in elke ruimtelijke pixel in de verschillende kleuren in die pixel. Elke keer dat de camera een foto neemt van de spleet, krijgt het een volledig frame van spectrale data voor elke pixel. Door elke spectrale afbeelding van de spleet te stapelen terwijl we het scene overkruisen, bouwen we de hyperspectrale data-cube op. Naarmate de sensor links naar rechts over het scene beweegt, kan geavanceerde hyperspectrale verwerkingssoftware een set foto's nemen en ze samenvoegen om een volledige ‘data-cube’ te verkrijgen.

Een kenmerk van spectrale imaging dat het perfect maakt voor geavanceerde machine vision-toepassingen is beweging. Aangezien sensoren afbeeldingsdata frame voor frame vastleggen, zijn ze van nature afhankelijk van beweging. De sensor moet ofwel over het zichtveld bewegen (zoals het zou als het aan een drone of vliegtuig bevestigd was in remote-sensing toepassingen), of het zichtveld moet onder de sensor bewegen (zoals het in een geavanceerde machine vision-implementatie zou).

Hyperspectrale sensoren kunnen langs de productielijn geplaatst worden en verbonden met robots die passende actie ondernemen op basis van realtime-analyse uitgevoerd in de embedded processors in de sensor-systemen zelf.

Langs een high-speed band kan hetzelfde niveau van betekenisvolle data verzameld worden om het inspectieproces positief te beïnvloeden. Frame-rate en field-of-view kenmerken zijn zodanig dat de sensoren meer dan in staat zijn om brede lijnen die met hoge snelheid opereren te monitoren. Het hoge discriminatieniveau dat HSI biedt betekent dat zelfs moeilijk te onderscheiden afwijkingen gezien en beheerd worden. Een bosbes in een veld van aardbeien is makkelijk te zien, maar wat over minieme kleur- of chemische verschillen binnen dezelfde gewas of binnen vergelijkbaar ogende gerecycled materialen? Alleen hyperspectraal kan deze onmogelijk-te-zien verschillen onderscheiden.

HSI-sensor ontwerp

Lichtstralen die de spleet van een pushbroom hyperspectrale sensor binnengaan, worden gescheiden in een spectrum van kleuren als in een regenboog, in dit geval door een holografisch rooster van zeer fijne groeven. Het spectrum valt op een 2D-fotosensor. Software converteert het signaalniveau bij elke gevoelige pixel in een spectrale curve bij elke pixel van de afbeelding naarmate de sensor beweegt ten opzichte van het gescande object.

Hoewel HSI-sensoren soms als ‘camera's’ aangeduid worden, zijn ze in feite een huwelijk van spectrometers en camera's. Headwall's sensoren zijn gebaseerd op een all-reflectief ontwerp zonder bewegende delen of potentiël storende transmissieve optica. Dit wordt bereikt door holografische diffractieroosters te gebruiken die het binnengaan licht door de afbeeldingsspleet managen. De roosters zijn niet alleen uitzonderlijk precies, maar ze zijn ook klein en licht. Dit stelt de instrumenten in staat om klein en licht te zijn voor eenvoudige implementatie overal.

Headwall is de enige spectrale sensorfabrikant die ook zijn eigen diffractieroosters maakt. Elk rooster is ‘master quality’, wat betekent identieke groefprofielen van de ene naar de andere voor een gegeven toepassing. Aangezien de fundamentele optische prestaties van de sensor een functie is van het rooster, vertegenwoordigt deze capaciteit echte differentiatie. Hyperspectrale sensoren zijn ontworpen en ‘afgestemd’ op specifieke spectrale bereiken. Binnen elk bereik worden letterlijk honderden spectrale banden verzameld, wat een zeer nauwkeurig en hoogopgelost beeld geeft van alles wat langs de inspectielijn beweegt... zowel spectraal als ruimtelijk.

Het Visible-Near-Infrared bereik (VNIR) dekt 400 nm tot 1000 nm en het Extended VNIR bereik dekt 550 nm tot 1700nm. Het Near-Infrared bereik (NIR) verzamelt afbeeldingsdata van 900 nm tot 1700nm, terwijl het Shortwave-Infrared bereik (SWIR) dekt van 900 nm tot 2500 nm. Aangezien materiaal ‘licht reflecteert’ op bepaalde punten binnen deze bereiken, is het belangrijk om eerst de handtekeningen te definiëren. Vervolgens kan de sensor door algoritmen materiaal karakteriseren of alles detecteren wat niet precies gedefinieerd is als ‘goed’, niet alleen met betrekking tot vreemd materiaal, maar ook moeilijk te onderscheiden ‘grading’ verschillen van de ene bosbes tot de andere of van de ene noot tot de andere. Dit is een zeer waardevol kenmerk van hyperspectrale imaging, aangezien het een specificiteitsniveau heeft dat ver buiten traditionele RGB-sensoren gaat.

Licht is van belang

Aangezien HSI-sensoren gereflecteerd licht meten en analyseren, is verlichting een belangrijke overweging. Het algehele doel is om het zichtveld van de sensor te voorzien van een extreem uniform, consistent type verlichting dat tegelijkertijd robuust en economisch is.

Voor het VNIR-spectrale bereik vertegenwoordigt Quartz Tungsten Halogen (QTH) een dergelijke verlichtingstechnologie terwijl nieuwere LED-lichtbronnen gezien kunnen worden als een andere, maar minder volwassen alternatief. Gebundelde optische vezel presenteert ook een uniforme lichtbron. Veel van wat de voedselinspectie-industrie interesseert ‘reflecteert’ op bereiken buiten het zichtbare, dat op ongeveer 700 nm stopt. Dus een lichtbron die aan beide kanten van dit punt dekt, is vitaal.

Naast zo cool mogelijk, robuust en uniform, moet de lichtbron de breedte van de inspectielijn volledig doorslaan. Deze rand-tot-rand capaciteit profiteert van het brede zichtveld van de sensor, waardoor geïnspecteerd product niet alleen direct onder de sensor maar ook aan de randen gezien kan worden. Er is geen regimentering in een high-speed voedselinspectielijn omdat product overal kan zijn... langs de randen of samengeklonken op het transportband. Levensduur van de lichtbron is ook belangrijk aangezien veel voedselinspectielijnen non-stop draaien.

Aangezien de sensor een ‘kubus’ van afbeeldingsdata opbouwt snee voor snee en de verlichting zelf een zeer dunne strip is, is het interessant gebied (de ‘spleetafbeelding’) wat geïllumineerd moet worden. Een wit reflectiedoelwit wordt gebruikt om de sensor te kalibreren vóór de daadwerkelijke operatie. Dit is een cruciale stap omdat de sensor afbeeldingsdata verzamelt dat een downstream robotica-systeem (bijv. vacuüm, airmessen, plukklauw) zal gebruiken om ‘goed’ van ‘slecht’ te scheiden. Het doel is altijd om het juiste type licht met de juiste intensiteit precies waar het nodig is te presenteren. Ook is het belangrijk dat documentatie bestaat die golflengtes en intensiteit van licht over het projectieveld, uniformiteit van het licht, en degradatie over standaafstanden verschaft. Op die manier kan de exacte positionering van de sensor ten opzichte van de lijn bepaald worden indien enige aanpassing op de architectuur van de lijn noodzakelijk is.

Robotica

Robotische subsystemen zijn een natuurlijk element van veel geavanceerde machine vision-verwerkingslijnen. Het vermogen om te discrimineren en elimineren hangt af van het vermogen van de sensor en het robotica-systeem om snel en betrouwbaar te communiceren, in realtime. Hyperspec® sensoren kunnen honderden frames per seconde draaien, wat betekent dat ze zowel van een operationeel als economisch oogpunt goed geschikt zijn om met high-speed lijnen en de in hen ingesloten robotica-systemen te werken.

De machine vision-industrie begrijpt dat de vaardigheid om een breed scala aan subsystemen in een naadloze en continu draaiende lijn te integreren vereist dat communicatieprotocollen industrie-standaard en snel zijn. Gigabit Ethernet wordt vaak gebruikt om alles te koppelen vanuit een dataflow-perspectief. De HSI-systemen en computers die de binnenkomende data managen werken allemaal met Gigabit Ethernet, maar ook met andere heel snelle communicatielinks zoals CameraLink.

Dataverzameling & verwerking

Inspecteren van specialiteitsgewassen zoals noten en bessen omvat het bekijken van grootschalig vergelijkbare items met kleine gradaties van variabiliteit. Daarom is het delen van het signaal of de afbeelding in honderden hyperspectrale ‘kanalen’ een voordeel voor de industrie.

Aangezien gebruiksgemak de hoogste prioriteit is en steile maar snelle leercurven nodig zijn, is Headwall's software intuïtief en bevat functies die gebruikers in staat stellen hun inspectieprocessen aan te passen op basis van wat de sensoren zien. Het algoritme-gebaseerde proces identificeert de spectrale kenmerken die gebruikers kunnen tegenkomen. Bijvoorbeeld, amandelen met insectenschade zijn bijna ononderscheidbaar van ‘goede’ amandelen onder RGB-analyse. Maar dezelfde scène geclassificeerd met HSI zal de beschadigde ervan benadrukken, die door het downstream robotica-systeem geëlimineerd kunnen worden.

De combinatie van innovatieve sensoren, software en workflow stelt een groeiend aantal gebruikers in staat HSI te benutten met echte oplossingen die spectrale data gebruiken om niet alleen contaminatie te detecteren, maar ook producten te ‘graden’ zodat minder verspild wordt en meer omgezet wordt in omzet. Hyperspectrale imaging ontgrendelt die mogelijkheid binnen de machine vision-industrie.

Bronnen

1. “Food Safety Testing Market by Target Tested (Pathogens, Pesticides, GMOs, Mycotoxin, and Allergens), Technology (Traditional and Rapid), Food Tested (Meat, Poultry, Seafood, Dairy, Processed Foods, and Fruits & Vegetables), and Region - Forecast to 2026”, Markets and Markets, Food Safety Testing Market, Gepubliceerd mei 2021
2. “The effect of caffeine on the color-discriminating function of the retina in volunteers”, Ovanesov KB. Vliianie. Eksp Klin Farmakol. 1998 Nov-Dec ; 61 ( 6 ):17-9. PMID: 9929810
3. “Multispectral vs Hyperspectral Imagery explained”, GISGeography, 16 feb 2018
4. “Handbook of Machine Vision”, Alexander Hornberg, Wiley-VCH. p. 694, 2006. ISBN 978-3-527-40584-8

Dit artikel is geschreven door Christian Felsheim, Director Headwall Photonics EMEA, en Dr. Will Rock, Senior Application Engineer, Headwall Photonics (Bolton, MA). Voor meer informatie, bezoek hier .