NIST's neurale netwerk detecteert kleine geometrische vormen in dichte beelden met 97% nauwkeurigheid

Automatische data-extractie uit wetenschappelijke publicaties

In pogingen om automatisch belangrijke data uit wetenschappelijke artikelen te vangen, hebben informatici van het National Institute of Standards and Technology (NIST) een methode ontwikkeld om nauwkeurig kleine, geometrische objecten zoals driehoeken te detecteren in dichte, lage-kwaliteit plots vervat in beelddata. Door een neurale netwerk benadering te gebruiken ontworpen om patronen te detecteren, heeft het NIST-model veel mogelijke toepassingen in modern leven.

Prestaties van het model

NIST's neurale netwerk model vangt 97% van objecten in een gedefinieerde set testbeelden, de objecten centra lokaliserend tot binnen een paar pixels van handmatig geselecteerde locaties. De onderzoekers namen de data uit tijdschriftartikelen dating terug tot de vroege 1900er jaren in een database van metaaleigenschappen bij NIST's Thermodynamics Research Center (TRC). Vaak werden de resultaten alleen in grafisch formaat gepresenteerd, soms handgetekend en gedegradeerd door scannen of fotokopiëren. De onderzoekers wilden de locaties van datapunten extraheren om de originele, ruwe data te herstellen voor additionele analyse. Tot nu toe is zo'n data handmatig geëxtraheerd.

Uitdagingen bij detectie

De beelden presenteren datapunten met een verscheidenheid aan verschillende markers, voornamelijk cirkels, driehoeken en vierkanten, zowel gevuld als open, van variërende grootte en helderheid. Dergelijke geometrische markers worden vaak gebruikt om data in een wetenschappelijke grafiek te labelen. Tekst, nummers en andere symbolen, die vals kunnen lijken op datapunten, werden handmatig verwijderd uit een subset van de figuren met graphics bewerkingssoftware voordat de neurale netwerken getraind werden.

Nauwkeurig detecteren en lokaliseren van de datamarkers was een uitdaging om verschillende redenen. De markers zijn inconsistente in helderheid en exacte vorm; ze kunnen open of gevuld zijn en zijn soms vaag of vervormd. Sommige cirkels lijken extreem cirkelvormig, bijvoorbeeld, terwijl anderen niet genoeg pixels hebben om hun vorm volledig te definiëren. Bovendien bevatten veel beelden heel dichte plakken overlappende cirkels, vierkanten en driehoeken.

U-Net architectuur en training

De onderzoekers wilden een netwerkmodel creëren dat plotpunten ten minste zo nauwkeurig identificeerde als handmatige detectie — binnen 5 pixels van de daadwerkelijke locatie op een plot van de grootte van enkele duizend pixels per zijde.

NIST-onderzoekers adopteerden een netwerkarchitectuur oorspronkelijk ontwikkeld door Duitse onderzoekers voor het analyseren van biomedische beelden, genaamd U-Net. Eerst worden de afbeeldingsdimensies gecontracteerd om ruimtelijke informatie te reduceren, en dan worden lagen van kenmerk- en contextinformatie toegevoegd om nauwkeurige, hoge-resolutie resultaten op te bouwen.

Om het netwerk te helpen trainen om markervormen te classificeren en hun centra te lokaliseren, experimenteerden de onderzoekers met vier manieren om de trainingsdata te markeren met maskers, met verschillende grote centrummarkeringen en outlines voor elk geometrisch object.

De onderzoekers vonden dat het toevoegen van meer informatie aan de maskers, zoals dikker outlines, de nauwkeurheid van het classificeren van objectvormen verhoogde, maar de nauwkeurheid van het lokaliseren van hun locaties op de plots verminderde. Uiteindelijk combineerden de onderzoekers de beste aspecten van verschillende modellen om de beste classificatie en kleinste locatiefouten te krijgen. Het aanpassen van de maskers bleek de beste manier om de netwerkprestaties te verbeteren, effectiever dan andere benaderingen zoals kleine wijzigingen aan het einde van het netwerk.

De beste prestaties van het netwerk — een nauwkeurigheid van 97% in het lokaliseren van objectcentra — was alleen mogelijk voor een subset van beelden waarin plotpunten oorspronkelijk vertegenwoordigd waren door heel duidelijke cirkels, driehoeken en vierkanten. De prestaties zijn goed genoeg voor het TRC om het neurale netwerk te gebruiken om data uit plots in nieuwere tijdschriftartikelen te herstellen.