Hvorfor fotos af bogsider fejler OCR (og hvordan få graders hældning ødelægger nøjagtigheden)

Hvis du nogensinde har prøvet at konvertere et foto af en bogside til tekst online og fået en mur af forvrøvlet nonsens tilbage, har du sandsynligvis givet det forkerte skylden. Det er fristende at antage, at gammelt, gulnet papir eller dårlig belysning er synderen — men i test rykkede ingen af delene nævneværdigt ved noget. Den egentlige årsag er næsten altid noget, du ikke kan se bare ved at kigge på fotoet: en lille kamerahældning.

Testen: samme side, fire betingelser

For at finde ud af, hvad der faktisk ødelægger OCR (optical character recognition) på fotos af rigtige bøger, kørte vi den samme tekstblok gennem Tesseract — den open source-OCR-motor — under fire betingelser: en ren, flad scanning, en gulnet/falmet side, et foto vippet cirka 12 grader, og et vippet foto med et tilføjet blænklyspunkt.

Betingelse	Ordnøjagtighed
Ren, flad scanning	100%
Gulnet, falmet side (ingen hældning)	100%
Vippet ~12° (ingen misfarvning)	67,7%
Vippet ~8° + blænk	71,0%

Den gulnede side scorede identisk med den pletfrie — fuld score. I samme øjeblik en hældning blev introduceret, kollapsede nøjagtigheden med en tredjedel, hvilket producerede præcis den slags output, alle der har prøvet “scan lærebog til tekst”-værktøjer, har set: "brow," i stedet for “brown”, "Chapte,." i stedet for “Chapter.”, "hidde,," i stedet for “hidden”.

Hvorfor en lille hældning forårsager så meget skade

OCR-motorer læser tekst ved at scanne billedrækker og lede efter konsistente horisontale bånd af blæk — det er den mekanisme, de bruger til at skelne én tekstlinje fra den næste. På en helt plan scanning ligger hver tekstlinje pænt i et horisontalt bånd, og motoren adskiller rent linje 1 fra linje 2 fra linje 3.

Vip siden bare 10 grader, og det pæne horisontale bånd bliver til et diagonalt udtværet område, der spænder over snesevis af pixelrækker. Motorens linje-segmenteringslogik begynder at sammenblande tegn fra det, der burde være to separate linjer, eller opdele et enkelt tegn på tværs af det, den tror er to forskellige linjer. Resultatet er ikke “en smule mindre nøjagtigt” — det er kategorisk anderledes output, fordi den grundlæggende enhed, motoren læser (en linje), ikke længere svarer til det, der faktisk står i billedet.

Det er også grunden til, at et foto, der ser helt læseligt ud for dig, stadig kan give ulæseligt OCR-output. Dit visuelle system kompenserer for en 10-graders hældning helt uden bevidst anstrengelse — du registrerer det ikke engang som vippet. En naiv OCR-pipeline har ingen sådan kompensation indbygget og læser præcis de pixels, den får.

Løsningen: ret op, før du genkender, ikke bagefter

Den praktiske konklusion er ikke “hold din telefon mere forsigtigt” — en smule hældning, når man fotograferer en åben bog, er næsten uundgåelig, fordi du ikke presser siden fladt mod en scanner. Løsningen er automatisk: registrer hældningsvinklen og ret den før du kører tekstgenkendelse, ikke bagefter.

En pålidelig måde at registrere vinklen på uden nogen tung maskinlæringsmodel er projektionsprofil-metoden: roter billedet gennem en række kandidatvinkler, og for hver enkelt måler man, hvor “spids” den række-for-række blækfordeling er. Ved den korrekte vinkel stiller tekstlinjer sig op i skarpe bånd (høj varians mellem rækker); ved enhver anden vinkel udtværes blækket på tværs af rækker (lav varians). Vinklen, der giver den højeste varians, er de-skew-vinklen.

At køre denne korrektion først og derefter genkende tekst bragte hver eneste af vores vippede testcases tilbage til 100% ordnøjagtighed — samme side, samme OCR-motor, den eneste forskel var at rette den op først.

Hvad det betyder, hvis du digitaliserer en bog

• Bekymr dig ikke om papirtilstand. Gulning, mild falmning og let kontrasttab fra ældet papir rykker næsten ikke ved nøjagtigheden på egen hånd. En gammel paperback digitaliserer omtrent lige så godt som en ny.
• Bekymr dig om vinklen. Selv en hældning, du ikke ville lægge mærke til med det blotte øje, kan være hele forskellen mellem brugbar tekst og volapyk.
• Blænk fra et flash betyder mindre end hældning, men skader stadig. Et lyst lyspunkt på glittet papir kan udslette hvad end tekst der er under det — vinkelkorrektion løser ikke et sted, hvor der ikke er noget læseligt blæk at læse i første omgang.
• Et værktøj der retter hældning automatisk løser det egentlige problem. Vores book page to text tool kører præcis dette registrerings- og korrektionstrin i din browser, før den genkender — ingen upload, ingen server, og det er bygget specifikt omkring hældningsproblemet i stedet for at antage, du fodrer det med en flad scanning.

Hvis du har prøvet OCR på et bogfoto før og opgivet, fordi resultatet var ulæseligt, var siden sandsynligvis ikke problemet — nogle få graders kameravinkel var det næsten helt sikkert.