OCR revolutionerar automatisk textigenkänning av fordonsregistrering

MOSOLF Group är en av Europas ledande systemleverantörer till fordonsindustrin. Deras tjänster täcker hela värdekedjan för fordonslogistik: från transportbandets slut till återvinning. Förutom fordonstransporter (personbilar, lätta transportfordon och tunga fordon) erbjuder MOSOLF även verkstadstjänster, specialfordonsbyggnation, industrilackering, mobilitetstjänster, logistiklösningar, elfordonstjänster samt fordonsskrotning. MOSOLF erbjuder heltäckande och integrerade lösningar inom området för fordonsindustrin, vagnparksoperatörer och bilhandlare (allt från samma leverantör) inklusive hantering av dataflöden med hjälp av moderna mjukvarulösningar.

Inom fordons- och logistikbranschen är manuell datainsamling en daglig uppgift, där en stor del av informationen hämtas från fordonets registreringsbevis. I praktiken måste denna information skrivas in manuellt, eftersom registreringsbeviset inte innehåller några maskinläsbara fält i likhet med andra officiella dokument, till exempel tyska ID-kort. Denna process är inte bara tidskrävande utan även felbenägen. Projektet gick ut på att med hjälp av OCR-teknik (optisk teckenigenkänning) påskynda processen och minska risken för fel vid datainsamlingen.

Dessutom bestod utmaningen i att det tyska registreringsbevisets utseende och uppbyggnad inte förändrats sedan oktober 2005, och att det kan skilja sig åt mellan olika förbundsländer vad gäller typsnitt och layout.

De mörkgröna rutnäten hjälper visserligen läsaren att navigera mellan fälten, men försvårar maskinell tolkning. Särskilt problematiskt är så kallad tryckförskjutningen, det vill säga text som sticker ut utanför linjerna, vilket hindrar automatiserad teckenigenkänning. OCR-algoritmer som bygger på kantigenkänning har svårt att hantera detta, eftersom rutnätet ofta förbinder tecknen. Färgseparering för att isolera svart text från gröna linjer fungerar dåligt, eftersom färgnyansen påverkas starkt av bildkvalitet och typ av inspelningsenhet.

ETECTURE-teamet utvecklade ett OCR-system specifikt för tyska registreringsbevis som ursprungligen byggde på en algoritm för textigenkänning baserad på malljämförelse. För att uppnå detta skapades prototyper av varje tecken som kan förekomma på ett fordonsregistreringsbevis. Algoritmen beräknade korrelationen mellan bilden och prototypen vid varje position, och ett tecken identifierades om korrelationen var hög.

I praktiken visade sig variationerna i dokumentens utseende vara för stora för att mallen skulle fungera tillförlitligt. Därför togs steget över till neurala nätverk, som visade sig fungera betydligt bättre när det kom till hantering av olika typsnitt och bildkvalité.

Processen gick till på följande sätt: Först identifieras och lokaliseras registreringsbeviset på bilden. Därefter klipps enskilda textfält ut, vilket resulterar i små bildasektioner med tillhörande text. Dessa tolkas därefter av det neurala nätverket.

För att säkerställa kvalitén infördes regler för vilka tecken som är tillåtna i varje fält, så kallade valideringsregler. Exempelvis får ett datumfält bara innehålla siffror och punkter, medan ett chassinummer (VIN) bara får innehålla siffror och versaler. Det avlästa chassinumret kan även verifieras med hjälp av en kontrollsumma som finns tryckt på fordonsregistreringsbeviset. Denna ytterligare verifiering bidrar till att minimera fel vid avläsningen av chassinumret.

För andra fält finns listor över möjliga värden som kan anges i fältet. Till exempel anges fordonsklasser och konstruktionstyper i förteckningen för klassificering av motorfordon och deras släpvagnar.

Det tolkade innehållet visas tydligt tillsammans med varje motsvarande bildsektion, vilket gör det enkelt att jämföra och manuellt korrigera vid behov. Kontrollsiffran i chassinumret markeras i färg.

Användaren kan granska och korrigera maskinens tolkning direkt i gränssnittet. Därefter kan informationen exporteras i CSV- eller JSON-format. Andra format eller direktintegration mot interna system är också möjligt.

Tekniken bakom

Utvecklingsteamet implementerade algoritmen för textigenkänning i Python (med hjälp av TensorFlow och OpenCV). Algoritmen är paketerad i en Flask-webbserver som hanterar inmatning av bilder och returnerar ett JSON-objekt med textvärden per fält. Frontend-delen byggdes med hjälp av HTML, CSS och ren JavaScript. Användaren kan ladda upp en tidigare tagen bild via filinmatning. Bilden skickas sedan till backend, bearbetas och resultatet visas i frontend.

Tekniken lämpar sig inte bara för registreringsbevis utan kan användas för andra dokument, så länge som dokumentationen följer ett återkommande och standardiserat mönster. Exempel på användningsområden är identitetshandlingar, fraktsedlar, följesedlar och fakturor.

Algoritmen visar sin kapacitet genom att den utnyttjar förkunskaper och tränas med hjälp av artificiellt genererade data. Detta möjliggjorde betydligt bättre resultat i våra experiment och testkörningar jämfört med generiska verktyg som Tesseract eller Google Mobile Vision. Båda verktygen kan i teorin läsa i stort sett vilket dokument som helst, men när det gäller registreringsbeviset lyckades de inte leverera bra resultat, utan gav istället undermåliga resultat.