Producent opisuje przypadek znalezienia pamiętnika, z tekstem którego można się zapoznać tylko w ciągu dwóch minut. Czy w tym przypadku chodzi o czytanie od podstaw? Czy w ciągu dwóch minut można zgłębić tajemnice zawarte w pamiętniku? Nie jest to możliwe. Jednak będzie to osiągalne dzięki wykorzystaniu specjalistycznego narzędzia firmy Provalis Research do wydobywania tekstu, które może przetworzyć i przeanalizować cały dziennik w czasie krótszym, niż dwie minuty i poprzez modelowanie tematów, wyodrębni z niego wiele informacji.

Techniki wyszukiwania tekstowego mogą szybko czerpać cenną wiedzę i spostrzeżenia z dużych zestawów danych (niestrukturalnych) opartych na tekście, np. książek, czasopism, artykułów, przemówień, dokumentów cyfrowych i e-maili.

Co to jest modelowanie tematu?

Modelowanie tematu jest formą wydobywania tekstu, wykorzystującą nienadzorowane i nadzorowane statystyczne techniki uczenia maszynowego, w celu identyfikacji wzorców w korpusie lub dużej ilości tekstu niestrukturalnego.

Możliwe jest wybranie ogromnej kolekcji dokumentów i pogrupowanie słów w klastry, identyfikowanie tematów poprzez wykorzystanie procesu podobieństwa. Informacje technicznie wydają się skomplikowane, więc aby uprościć proces modelowania tematów zapraszamy do zapoznania się z następującym poniższym przykładem.


Załóżmy, że czytamy gazetę w wersji drukowanej i mamy w dłoni zestaw kolorowych zakreślaczy. Czytając wyróżniamy interesujące nas słowa kluczowe. Załóżmy, że użyjemy innego koloru do wyróżniania słów kluczowych z różnych tematów. Następnie grupujemy słowa kluczowe w oparciu o przypisany kolor i tematy.

Każda lista słów określona przez konkretny kolor jest listą słów kluczowych dla danego tematu. Liczba odrębnych kolorów, które zostały wykorzystane reprezentuje liczbę tematów. Jest to najbardziej podstawowe modelowanie tematu. Ułatwia to zrozumienie, organizowanie i podsumowanie ogromnych zestawów danych tekstowych. Należy pamiętać, że aby było to przydatne, zautomatyzowane modele tematów potrzebują dużego zbioru tekstów. Jeśli dokument jest krótki, lepiej używać kolorowych zakreślaczy. Pomocne będzie także poświęcenie czasu, by lepiej poznać dane. W ten sposób można zyskać ogólny pogląd, co spodziewamy się odkryć poprzez modelowanie tematu.
Na przykład, wspomniany pamiętnik może być poświęcony bieżącym i wcześniejszym związkom, dlatego oczekujemy, że narzędzie do wyszukiwania tekstu utworzy podobne tematy. Pomoże to lepiej ocenić jakość znalezionych tematów i poprawić zestawy słów kluczowych, jeśli to konieczne.