Kādā brīdī gandrīz katrs genealogs atsitās pret savu brick wall. Tu zini, ka vajadzīgais cilvēks kaut kur ir arhīvu dokumentos. Saproti, kādos fondos vai tautas skaitīšanas materiālos viņu vērts meklēt. Bet problēma ir apjomā.
Kad runa ir par desmitiem lietu — tās vēl var apskatīt manuāli. Kad runa ir par tūkstošiem lappušu — meklēšana pārvēršas mēnešos vai pat gados.
Problēma
Man ir viens senčs — mans priekštēvs ceturtajā paaudzē, kuru meklēju jau vairāk nekā gadu. Zinu viņa vārdu. Turklāt man ir teorija, ka viņš varētu būt saistīts ar kādu ģimeni, kas jau ir diezgan labi izpētīta. Taču, lai apstiprinātu vai atspēkotu šo hipotēzi, man jāuzzina viņa tēva vārds.
Problēma ir tā, ka visos vēlākā perioda dokumentos — Pirmās Latvijas Republikas laikā — tēva vārds nekur nav norādīts. Tāpēc man viņš jāatrod 1897. gada tautas skaitīšanā. Tieši ar to es nesekmīgi nodarbojos jau vairāk nekā gadu.
Papildu sarežģījumus rada viņa kārta. Sākotnēji viņš piederēja sīkajai muižniecībai, vēlāk tika ierakstīts pilsoņos. Atšķirībā no zemniekiem, šādi cilvēki diezgan bieži pārcēlās, tāpēc meklēt viņus pēc konkrētas apdzīvotas vietas ir daudz grūtāk.
Ideja
Pēc profesijas esmu programmētājs. Un kādā brīdī pieķēru sevi pie domas: kāpēc es veicu meklētājprogrammas darbu? Kāpēc manuāli pārlūkoju tūkstošiem lappušu, meklējot dažus uzvārdus?
Tā radās ideja automātiski atpazīt arhīvu skaitīšanas lapas un veidot meklēšanas indeksu vēsturiskiem dokumentiem.
Piemērotas atpazīšanas metodes meklējumi
Sākumā devos acīmredzamajā ceļā un izmēģināju standarta teksta atpazīšanas rīkus. Tomēr diezgan drīz izrādījās, ka arhīvu dokumenti nav tas pats, kas mūsdienu grāmatu vai biroja papīru skenējumi. Tabulas jāizlīdzina, lapas jāapcērp, un dažādiem dokumentu veidiem nepieciešamas atšķirīgas iestatījumi. Un pat tad rezultāts ļoti atkarīgs no skenējumu kvalitātes un rokraksta īpatnībām.
Galvenā problēma bija tā, ka šāda pieeja slikti mērogojās. Risinājums, kas darbojās vienam dokumentu veidam, bieži vien bija gandrīz no jauna jākonfigurē citam.
Tad sāku eksperimentēt ar progresīvākām atpazīšanas pieejām. Arī tās nav ideālas: kļūdās un prasa pastāvīgu kvalitātes kontroli. Taču ar pareizu pieeju ļauj strādāt ne tikai ar tekstu, bet arī ar dokumenta kontekstu kopumā.
Sistēma un pēcapstrāde
Pakāpeniski vienkāršs eksperiments pārtapa par pilnvērtīgu arhīvu dokumentu apstrādes sistēmu. Papildus atpazīšanai tā veic automātiskas pārbaudes, identificē aizdomīgus ierakstus, izlabo daļu kļūdu un apvieno dažādus viena uzvārda rakstības variantus.
Turklāt neuzturos ilūzijās, ka pastāv ideāla metode arhīvu dokumentu atpazīšanai. Neatkarīgi no izmantotās atpazīšanas metodes — kļūdas būs vienmēr. Sākotnējo skenējumu kvalitāte, rokraksta īpatnības, dokumentu bojājumi un uzvārdu vēsturiskie rakstības varianti padara simtprocentīgu precizitāti praktiski nesasniedzamu.
Tieši tāpēc projekta galvenais uzsvars tiek likts ne tikai uz atpazīšanu, bet arī uz rezultātu pēcapstrādi. Man daudz svarīgāk ir nevis iegūt "ideālu" atpazīšanu, bet izveidot sistēmu, kas prot atrast kļūdas, identificēt aizdomīgus ierakstus, salīdzināt datus no dažādiem avotiem un pakāpeniski uzlabot bāzes kvalitāti.
Nākotnē arī apsvertu iespēju ieviest kolektīvās pārbaudes elementus, lai pētnieki un genealogi varētu piedalīties datu labošanā un precizēšanā. Vēl domāju, kā tieši to realizēt un kādus stimulus piedāvāt dalībniekiem, taču kolektīvā datu pārbaude varētu kļūt par vienu no efektīvākajiem bāzes kvalitātes uzlabošanas veidiem.
Rezultātā tūkstošu lappušu attēlu vietā parādās meklēšanas bāze, kurā cilvēkus var meklēt sekundēs.
Kas tālāk?
Vai esmu atradis savu priekštēvu ceturtajā paaudzē? Pagaidām nē.
Taču pa ceļam jau esmu atklājis vairākas negaidītas sakritības — tostarp vēl vienu ģimeni ar diezgan retu uzvārdu, kas varētu būt saistīta ar manas dzimtas zaru. Pat ja šī hipotēze neapstiprināsies, projekts jau tagad ir devis atklājumus, kurus, visticamāk, manuāli nekad nebūtu pamanījis.
Šobrīd galvenā uzmanība ir pievērsta 1897. gada Latgales tautas skaitīšanas datiem. Tieši ar tiem sākās mans paša pētījums, tāpēc bija loģiski sākt tieši šeit.
Turpmāk plānoju datubāzi pakāpeniski paplašināt — vispirms aptverot citus Latvijas reģionus, bet pēc tam pievienojot arī citu veidu arhīvu dokumentus.
Iespējams, savu priekštēvu ceturtajā paaudzē neatradīšu ne rīt, ne pēc gada. Taču, ja šis projekts kādreiz palīdzēs pārvarēt tieši to pašu brick wall — ne tikai man, bet arī citiem dzimtas pētniekiem —, viss ieguldītais darbs būs bijis tā vērts.