Dlaczego zdjęcia stron książki zawodzą OCR (i jak kilka stopni przechylenia niszczy dokładność)

Jeśli kiedykolwiek próbowałeś zamienić zdjęcie strony książki na tekst online i dostałeś w zamian ścianę bełkotu, prawdopodobnie obwiniłeś niewłaściwą rzecz. Kusi, by uznać za winnego stary, zżółkły papier lub złe oświetlenie — ale w testach żadne z nich niemal nic nie zmieniło. Prawdziwą przyczyną niemal zawsze jest coś, czego nie widać, po prostu patrząc na zdjęcie: niewielkie przechylenie aparatu.

Test: ta sama strona, cztery warunki

Aby ustalić, co naprawdę psuje OCR (optyczne rozpoznawanie znaków) na rzeczywistych zdjęciach stron książek, przepuściliśmy ten sam blok tekstu przez Tesseract — open-source’owy silnik OCR — w czterech warunkach: czysty płaski skan, zżółkła/wyblakła strona, zdjęcie przechylone o około 12 stopni oraz przechylone zdjęcie z dodanym odblaskiem.

Warunek	Dokładność słów
Czysty, płaski skan	100%
Zżółkła, wyblakła strona (bez przechylenia)	100%
Przechylenie ~12° (bez odbarwienia)	67,7%
Przechylenie ~8° + odblask	71,0%

Zżółkła strona osiągnęła identyczny wynik co nieskazitelna — pełną punktację. W momencie wprowadzenia przechylenia dokładność zawaliła się o jedną trzecią, dając dokładnie taki wynik, jaki widział każdy, kto próbował narzędzi „zeskanuj podręcznik na słowa”: "brow," zamiast „brown”, "Chapte,." zamiast „Chapter.”, "hidde,," zamiast „hidden”.

Dlaczego drobne przechylenie powoduje tak duże szkody

Silniki OCR czytają tekst, skanując wiersze obrazu w poszukiwaniu spójnych poziomych pasm atramentu — to mechanizm, którego używają, aby odróżnić jedną linię tekstu od następnej. Na idealnie poziomym skanie każda linia tekstu siedzi w schludnym poziomym pasie, a silnik czysto oddziela linię 1 od linii 2 od linii 3.

Przechyl stronę choćby o 10 stopni, a to czyste poziome pasmo staje się ukośną smugą rozciągającą się na dziesiątki rzędów pikseli. Logika segmentacji linii silnika zaczyna łączyć znaki z tego, co powinno być dwiema osobnymi liniami, albo dzieli pojedynczy znak między tym, co uznaje za dwie różne linie. Wynik nie jest „nieco mniej dokładny” — jest kategorycznie innym wynikiem, ponieważ podstawowa jednostka, którą czyta silnik (linia), nie odpowiada już temu, co faktycznie jest na obrazie.

To także wyjaśnia, dlaczego zdjęcie, które tobie wygląda na całkowicie czytelne, wciąż może dać nieczytelny wynik OCR. Twój układ wzrokowy kompensuje przechylenie o 10 stopni bez żadnego świadomego wysiłku — nawet nie rejestrujesz go jako przechylonego. Naiwny potok OCR nie ma wbudowanej takiej kompensacji i czyta dokładnie te piksele, które dostaje.

Naprawa: wyprostuj przed rozpoznaniem, nie po nim

Praktyczny wniosek to nie „trzymaj telefon ostrożniej” — pewne przechylenie przy fotografowaniu otwartej książki jest niemal nieuniknione, skoro nie przyciskasz strony płasko do skanera. Naprawa jest automatyczna: wykryj kąt przechylenia i skoryguj go przed uruchomieniem rozpoznawania tekstu, nie po nim.

Jednym niezawodnym sposobem wykrycia kąta bez żadnego ciężkiego modelu uczenia maszynowego jest metoda profilu projekcji: obróć obraz przez zakres kandydujących kątów i dla każdego zmierz, jak „spiczasty” jest rozkład atramentu wiersz po wierszu. Przy prawidłowym kącie linie tekstu układają się w ostre pasma (wysoka wariancja między wierszami); przy każdym innym kącie atrament rozmazuje się między wierszami (niska wariancja). Kąt dający najwyższą wariancję to kąt korekty przechylenia.

Uruchomienie tej korekty najpierw, a dopiero potem rozpoznanie tekstu, przywróciło każdy z naszych przechylonych przypadków testowych do 100% dokładności słów — ta sama strona, ten sam silnik OCR, jedyną różnicą było wcześniejsze wyprostowanie.

Co to oznacza, jeśli digitalizujesz książkę

Nie martw się o stan papieru. Zżółknięcie, lekkie wyblaknięcie i niewielka utrata kontrastu ze starzenia się papieru same w sobie ledwie wpływają na dokładność. Stary miękki paperback digitalizuje się niemal tak samo dobrze jak nowy.
Martw się o kąt. Nawet przechylenie, którego nie zauważyłbyś okiem, może być całą różnicą między użytecznym tekstem a bełkotem.
Odblask z lampy błyskowej ma mniejsze znaczenie niż przechylenie, ale nadal szkodzi. Jasny prześwit na błyszczącym papierze może wygasić cokolwiek tekstu jest pod nim — korekta kąta nie naprawi miejsca, gdzie od początku nie ma czytelnego atramentu do odczytania.
Narzędzie, które automatycznie koryguje przechylenie, rozwiązuje rzeczywisty problem. Nasze narzędzie do zamiany strony książki na tekst wykonuje dokładnie ten krok wykrywania i korekty w przeglądarce przed rozpoznaniem — bez przesyłania, bez serwera, i jest zbudowane specjalnie wokół problemu przechylenia, zamiast zakładać, że podajesz mu płaski skan.

Jeśli kiedyś próbowałeś OCR na zdjęciu książki i poddałeś się, bo wynik był nieczytelny, strona prawdopodobnie nie była problemem — niemal na pewno był nim kilkustopniowy kąt aparatu.