Gegevens herstellen:NIST's neurale netwerkmodel vindt kleine objecten in dichte afbeeldingen

In pogingen om automatisch belangrijke gegevens uit wetenschappelijke artikelen vast te leggen, hebben computerwetenschappers van het National Institute of Standards and Technology (NIST) een methode ontwikkeld om kleine, geometrische objecten zoals driehoeken nauwkeurig te detecteren in dichte plots van lage kwaliteit in beeldgegevens. Door gebruik te maken van een neurale netwerkbenadering die is ontworpen om patronen te detecteren, heeft het NIST-model veel mogelijke toepassingen in het moderne leven.

Het neurale netwerkmodel van NIST legde 97% van de objecten vast in een gedefinieerde set testbeelden, waarbij de middelpunten van de objecten werden gelokaliseerd binnen een paar pixels van handmatig geselecteerde locaties. De onderzoekers namen de gegevens van tijdschriftartikelen die dateren uit de vroege jaren 1900 in een database van metallische eigenschappen bij NIST's Thermodynamics Research Center (TRC). Vaak werden de resultaten alleen in grafisch formaat gepresenteerd, soms met de hand getekend en gedegradeerd door scannen of fotokopiëren. De onderzoekers wilden de locaties van gegevenspunten extraheren om de originele, onbewerkte gegevens te herstellen voor aanvullende analyse. Tot nu toe werden dergelijke gegevens handmatig geëxtraheerd.

De afbeeldingen presenteren gegevenspunten met een verscheidenheid aan verschillende markeringen, voornamelijk cirkels, driehoeken en vierkanten, zowel gevuld als open, van verschillende grootte en helderheid. Dergelijke geometrische markeringen worden vaak gebruikt om gegevens in een wetenschappelijke grafiek te labelen. Tekst, cijfers en andere symbolen, die ten onrechte als gegevenspunten kunnen lijken, werden handmatig uit een subset van de figuren verwijderd met grafische bewerkingssoftware voordat de neurale netwerken werden getraind.

Het nauwkeurig detecteren en lokaliseren van de datamarkers was om verschillende redenen een uitdaging. De markeringen zijn inconsistent in duidelijkheid en exacte vorm; ze kunnen open of gevuld zijn en zijn soms wazig of vervormd. Sommige cirkels lijken bijvoorbeeld extreem rond, terwijl andere niet genoeg pixels hebben om hun vorm volledig te definiëren. Bovendien bevatten veel afbeeldingen zeer dichte stukken van overlappende cirkels, vierkanten en driehoeken.

De onderzoekers probeerden een netwerkmodel te maken dat plotpunten minstens zo nauwkeurig identificeerde als handmatige detectie - binnen 5 pixels van de werkelijke locatie op een plot ter grootte van enkele duizenden pixels per zijde.

NIST-onderzoekers hebben een netwerkarchitectuur gebruikt die oorspronkelijk door Duitse onderzoekers is ontwikkeld voor het analyseren van biomedische beelden, genaamd U-Net. Eerst worden de afbeeldingsdimensies samengetrokken om ruimtelijke informatie te verminderen, en vervolgens worden er lagen met functie- en contextinformatie toegevoegd om nauwkeurige resultaten met een hoge resolutie op te bouwen.

Om het netwerk te helpen bij het trainen van markervormen en het lokaliseren van hun middelpunten, experimenteerden de onderzoekers met vier manieren om de trainingsgegevens met maskers te markeren, waarbij voor elk geometrisch object verschillende maten middenmarkeringen en contouren werden gebruikt.

De onderzoekers ontdekten dat het toevoegen van meer informatie aan de maskers, zoals dikkere contouren, de nauwkeurigheid van het classificeren van objectvormen verhoogde, maar de nauwkeurigheid van het lokaliseren van hun locaties op de plots verminderde. Uiteindelijk hebben de onderzoekers de beste aspecten van verschillende modellen gecombineerd om de beste classificatie en de kleinste locatiefouten te krijgen. Het veranderen van de maskers bleek de beste manier om de netwerkprestaties te verbeteren, effectiever dan andere benaderingen zoals kleine veranderingen aan het einde van het netwerk.

De beste prestaties van het netwerk - een nauwkeurigheid van 97% bij het lokaliseren van objectcentra - waren alleen mogelijk voor een subset van afbeeldingen waarin plotpunten oorspronkelijk werden weergegeven door zeer duidelijke cirkels, driehoeken en vierkanten. De prestaties zijn goed genoeg voor de TRC om het neurale netwerk te gebruiken om gegevens te herstellen van plots in nieuwere tijdschriftartikelen.