W genealogii niemal każdy prędzej czy później trafia na swój brick wall. Wiesz, że szukana osoba istnieje gdzieś w archiwach. Wiesz nawet, w których zespołach akt czy spisach warto jej szukać. Problem tkwi w skali.
Gdy chodzi o kilkadziesiąt akt, da się je jeszcze przejrzeć ręcznie. Gdy chodzi o tysiące stron, poszukiwania zamieniają się w miesiące, a nawet lata pracy.
Problem
Mam jednego przodka — mojego prapraprapradziadka — którego szukam już ponad rok. Znam jego imię. Mam nawet teorię, że może być powiązany z rodziną, która jest już nieźle zbadana. Ale żeby tę hipotezę potwierdzić albo odrzucić, muszę poznać imię jego ojca.
Problem w tym, że w żadnym z późniejszych dokumentów — z czasów pierwszej niepodległej Republiki Łotewskiej — imię ojca nigdzie nie jest podane. Muszę więc znaleźć go w spisie ludności z 1897 roku. I właśnie to bezskutecznie robię od ponad roku.
Dodatkową trudność stwarza jego stan. Początkowo należał do drobnej szlachty, później został przypisany do mieszczan. W odróżnieniu od chłopów, tacy ludzie dość często się przeprowadzali, więc szukanie ich po konkretnej miejscowości jest dużo trudniejsze.
Pomysł
Z zawodu jestem programistą. W pewnym momencie złapałem się na myśli: dlaczego ręcznie wykonuję pracę wyszukiwarki? Dlaczego przewracam tysiące zeskanowanych stron w poszukiwaniu kilku nazwisk?
Tak narodził się pomysł, by automatycznie rozpoznawać archiwalne arkusze spisowe i zbudować indeks wyszukiwania po dokumentach historycznych.
Szukanie odpowiedniej metody rozpoznawania
Najpierw poszedłem oczywistą drogą i wypróbowałem standardowe narzędzia do rozpoznawania tekstu. Dość szybko okazało się jednak, że dokumenty archiwalne to zupełnie coś innego niż współczesne skany książek czy papierów biurowych. Tabele trzeba wyprostować, strony przyciąć, a dla różnych typów dokumentów potrzebne są różne ustawienia. I nawet wtedy wynik mocno zależy od jakości skanów i charakteru pisma.
Głównym problemem było to, że takie podejście słabo się skalowało. Rozwiązanie, które działało dla jednego typu dokumentów, zwykle trzeba było niemal od zera dostrajać do innego.
Wtedy zacząłem eksperymentować z bardziej zaawansowanymi metodami rozpoznawania. One też nie są idealne: mylą się i wymagają stałej kontroli jakości. Ale przy właściwym podejściu pozwalają pracować nie tylko z tekstem, lecz z całym kontekstem dokumentu.
System i postprocessing
Stopniowo prosty eksperyment przekształcił się w pełnoprawny system przetwarzania dokumentów archiwalnych. Oprócz rozpoznawania wykonuje on automatyczne kontrole, wykrywa podejrzane rekordy, poprawia część błędów i łączy różne warianty zapisu tych samych nazwisk.
Nie mam złudzeń, że istnieje idealny sposób rozpoznawania dokumentów archiwalnych. Bez względu na metodę, błędy zawsze się zdarzą. Jakość skanów, cechy charakteru pisma, uszkodzenia dokumentów i historyczne warianty zapisu nazwisk sprawiają, że stuprocentowa dokładność jest praktycznie nieosiągalna.
Dlatego właśnie w projekcie kładę nacisk nie tylko na samo rozpoznawanie, ale i na postprocessing wyników. Znacznie ważniejsze niż "idealne" rozpoznanie jest dla mnie stworzenie systemu, który potrafi znajdować błędy, wykrywać podejrzane rekordy, zestawiać dane z różnych źródeł i stopniowo podnosić jakość bazy.
W przyszłości rozważam też wprowadzenie elementów crowdsourcingu, aby badacze i genealodzy mogli sami uczestniczyć w poprawianiu i uściślaniu danych. Wciąż zastanawiam się, jak dokładnie to zrealizować i jakie zachęty zaproponować uczestnikom, ale zbiorowa weryfikacja danych może okazać się jednym z najskuteczniejszych sposobów podnoszenia jakości bazy.
W efekcie zamiast tysięcy zdjęć stron powstaje baza wyszukiwania, w której odnalezienie osoby zajmuje sekundy.
Co dalej
Czy znalazłem swojego prapraprapradziadka? Jeszcze nie.
Ale po drodze udało się już znaleźć kilka nieoczekiwanych zbieżności, w tym kolejną rodzinę o dość rzadkim nazwisku, która całkiem możliwe, że jest powiązana z moją własną linią. Nawet jeśli ta hipoteza się nie potwierdzi, projekt już zaczął przynosić rezultaty, których ręcznie najprawdopodobniej nigdy bym nie zobaczył.
Obecnie głównym punktem zainteresowania jest spis ludności z 1897 roku w Łatgalii. To właśnie od niego zaczęły się moje własne poszukiwania, więc logiczne było zacząć właśnie tutaj.
W przyszłości chcę stopniowo rozszerzać bazę — najpierw na inne regiony Łotwy, a potem na nowe typy dokumentów archiwalnych.
Może nie znajdę swojego prapraprapradziadka jutro ani nawet za rok. Ale jeśli ten projekt kiedyś pomoże przełamać ten sam brick wall — nie tylko mnie, ale i innym badaczom — to wszystko nie było na próżno.