Poruszone tematy:
Charakterystyka danych
W dzisiejszych czasach dane stanowią kluczowy zasób dla firm z niemal każdej branży. Niezależnie od tego, czy są to dane fizyczne, takie jak dokumenty papierowe czy cyfrowe, jak pliki elektroniczne, umiejętne pozyskiwanie, przetwarzanie i centralizacja tych informacji może dać organizacjom bardziej wydajne działanie, a co za tym idzie - realną przewagę konkurencyjną. Niestety, wiele przedsiębiorstw wciąż boryka się z chaosem danych i brakiem skutecznych narzędzi do ich efektywnego importowania i scrapowania - nie potrafią w pełni wykorzystać możliwości, jakie dzisiaj daje nowoczesna technologia.
Na szczęście, nieustanny postęp w dziedzinie sztucznej inteligencji (AI) umożliwia rozwiązanie tych problemów. Nowoczesne techniki AI rewolucjonizują sposób, w jaki firmy pozyskują, przetwarzają i wykorzystują dane, czyniąc ten proces bardziej wydajnym, dokładnym i zautomatyzowanym niż kiedykolwiek wcześniej. Jednocześnie, techniki te nie wymagają tak dużych nakładów prac, jak wcześniej, czyniąc je o wiele tańszym rozwiązaniem, aniżeli poprzednie metody.
Problemy z tradycyjnym importowaniem danych
Zanim omówimy nowatorskie rozwiązania importowania danych opartych o AI, warto przyjrzeć się wyzwaniom związanym z tradycyjnymi metodami importowania danych. Jednym z głównych problemów jest brak standaryzacji formatów danych. Dane mogą być przechowywane w różnych formach, takich jak papierowe dokumenty, pliki elektroniczne (CSV, XML, PDF) czy nawet obrazy cyfrowe - źródeł danych może być naprawdę nieskończona liczba.
Co więcej, dane fizyczne często są nieczytelne lub niekompletne, co utrudnia ich dokładne przetwarzanie. W przeszłości pracownicy musieli ręcznie przepisywać informacje z dokumentów papierowych, co było żmudne, czasochłonne i podatne na błędy. Wraz z pojawieniem się technologii OCR, proces ten został znacznie uproszczony, ale i on nie zawsze był dokładny (gdy jakość dokumentów była bardzo słaba).
Nawet w przypadku danych cyfrowych, ich importowanie wymagało często skomplikowanych procesów, takich jak tworzenie niestandardowych parserów dla każdego źródła danych, a następnie kontrolowanie, czy te źródła nie wprowadziły modyfikacji w zwracaniu danych.
Warto również dodać, że importowanie danych to jedno, drugim problemem jest docelowe składowanie danych. Dane muszą zostać odpowiednio przetworzone i zwrócone w formacie docelowego systemu - tutaj również pojawia się wiele wyzwań, jak np. niekompletność czy walidacja danych.
Tradycyjne techniki importowania danych z wykorzystaniem AI
Sztuczna inteligencja oferuje szereg innowacyjnych rozwiązań, które umożliwiają bardziej wydajne i dokładne importowanie danych z różnych źródeł. Poniżej zestawienie tradycyjnych metod, wraz z uzupełnieniem, jak AI może przyczynić się do ich lepszego działania:
Skanowanie dokumentów fizycznych za pomocą OCR
Technologia optycznego rozpoznawania znaków (OCR) umożliwia cyfryzację dokumentów papierowych poprzez automatyczne odczytywanie i konwertowanie ich treści do postaci cyfrowej. Technologia OCR zaczęła być rozwijana zanim komputery osobiste pojawiły się na rynku, a pomimo tego do tej pory nie zawsze jej działanie było prawidłowe. Wydaje się jednak, że dzięki rozwijaniu AI, problem odczytu fizycznych danych został w końcu rozwiązany. Nowoczesne systemy OCR, wzbogacone o algorytmy uczenia maszynowego, są w stanie radzić sobie z różnymi rodzajami czcionek, formatowaniem, a nawet brakiem wszystkich danych czy nieczytelnym pismem odręcznym.
Parsery danych ze stron internetowych
Scrapowanie danych ze stron internetowych jest kluczowe dla wielu firm, które pozyskują informacje z różnych źródeł online, gdzie dostawca nie dostarcza publicznego API. Tradycyjne parsery oparte na regułach parsowania często wymagały skomplikowanej konfiguracji, obszernych testów i były podatne na niewłaściwe działanie w przypadku zmian struktury strony (czy też technologii, które prezentowały dane na stronie). Dzięki AI, parsery mogą teraz dynamicznie dostosowywać się do zmian na stronach www i efektywnie wydobywać potrzebne dane. Od teraz nie musimy się martwić, aby na bieżąco weryfikować ich działanie i obserwować, czy doszło do zmian w strukturze danej strony www - parsery AI, jeśli tylko nie doszło do drastycznych zmian (np. dane zostały całkowicie usunięte), w elastyczny sposób podejdą do przeanalizowania struktury HTML strony i pobiorą potrzebne dane.
Import za pomocą plików CSV, XML i innych formatów
Wiele systemów bazuje na imporcie danych z plików CSV czy XML. Tutaj również istnieje ryzyko zmian w strukturze tych plików - zwłaszcza, gdy bazujące na nich systemy nie są na bieżąco rozwijane. Po czasie pojawia się problem, że dany system zwraca pliki w innej strukturze niż początkowo został przygotowany (dodanie dodatkowych danych, zmiana konwencji) lub drugi system wymaga innej struktury (zazwyczaj po większej aktualizacji). W efekcie systemy nie są w stanie ze sobą dalej współpracować. Tutaj z pomocą przychodzą specjalne konwertery plików w oparciu o AI, które mogą dynamicznie modyfikować importowane/eksportowane pliki i zapisywać je w kompatybilnej strukturze danych, tak aby systemy nadal były w stanie się komunikować.
Drugim, dużym problemem jest niekompletność danych - zdarza się, że dany system nie zawsze zwróci wszystkie dane, jakich oczekujemy w pliku csv/xml. Tutaj z pomocą również przychodzi AI, który wykryje takie przypadki i uzupełni puste lub niewłaściwie wypełnione miejsca określonymi danymi i dostosuje je na nasze potrzeby.
Niezależnie od formatu danych, importery oparte o technologie AI są w stanie automatycznie rozpoznawać strukturę plików i importować ich zawartość. W trakcie tego procesu walidują dane i dostosowują je do docelowego formatu - i to wszystko bez pisania specjalnych reguł i wyjątków dla poszczególnych przypadków.
Stwórz z nami swoje rozwiązanie oparte o AI.
Dodatkowe możliwości w importowaniu danych za pomocą AI
AI w znaczący sposób wspomaga tradycyjne techniki importowania danych. Oprócz omówionych wcześniej sposobów, wykorzystanie AI otwiera nam całkowicie nowe możliwości w zakresie importowania danych, które wcześniej nie były dostępne.
Pobieranie informacji zawartych w plikach graficznych
Tradycyjne metody importowania danych często nie radziły sobie z informacjami zawartymi w plikach graficznych, takich jak zdjęcia dokumentów czy screenshoty stron internetowych. Jednak dzięki zaawansowanym technikom rozpoznawania obrazów, systemy AI mogą efektywnie odczytywać i przetwarzać dane z takich źródeł. Oprócz tekstu pisanego, możemy wykorzystać AI do wyciągania danych wizualnych, jak np. odczytanie wartości z wykresów, czy zaawansowanych diagramów.
Rozszerzanie ubogich informacji za pomocą AI
Wiele źródeł danych zawiera ubogie lub niekompletne informacje, co utrudnia ich efektywne wykorzystanie. Jednak systemy oparte o AI mogą wzbogacać te dane, uzupełniając brakujące elementy na podstawie kontekstu i innych dostępnych informacji (np. pobierać dodatkowe informacje z internetu). Dzięki czemu na pozór prosta informacja, może zostać rozbudowana, aby spełniać określone kryteria systemu.
Dokładniejsze zwracanie jednolitego formatu
Jedną z głównych zalet systemów AI jest ich zdolność do standaryzacji i ujednolicania formatów danych. Niezależnie od źródła, systemy te mogą automatycznie i elastycznie konwertować dane do wspólnego, spójnego formatu, co ułatwia ich dalsze przetwarzanie i analizę. Tradycyjne importery danych często wymagały dostosowywania i dopisywania obsługi dla każdego nowego źródła danych. Jednak systemy oparte na AI są znacznie bardziej elastyczne i wszechstronne, umożliwiając importowanie danych z różnych źródeł bez potrzeby skomplikowanej konfiguracji.
Znacząco skraca to czas na pisanie dedykowanych reguł dla każdego źródła danych.
Interpretacja importowanych danych
Sztuczna inteligencja może dodatkowo wzbogacić importowane dane o wnioski czy inne interpretacje. Dzięki temu, już na podstawie importowania danych, po przeanalizowaniu i wyciągnięciu wniosków przez AI, system może w całkowicie inny sposób podejść do ich dalszego przetwarzania. Przykładowo algorytmy uczenia maszynowego mogą nadać odpowiednie priorytety importowanych danych, czy nadać im odpowiednie etykiety i w zależności od tego, w całkowicie inny sposób poprowadzić ich dalszy zapis.
Z naszego podwórka
W WebMakers również wykorzystujemy importowanie danych za pomocą AI. W codziennej pracy znacząco uprościliśmy scrapowanie danych ze stron internetowych, zwłaszcza, gdy jest to jednorazowa czynność dla określonej strony i pisanie dedykowanego parsera byłoby zbyt czasochłonne. W ostatnim czasie dział marketingu potrzebował pobrać informacje o firmach, które wezmą udział w wydarzeniu. Strona była napisana w taki sposób, że kod html był renderowany w locie, za pomocą technologii javascriptowych, a sam dostęp do strony wymagał autoryzacji (zalogowanego użytkownika). Dodatkowym utrudnieniem był fakt, że na listingu nie było nazw firm, tylko same logotypy tych firm. Pisanie parsera byłoby niezwykle trudne, a interpretacja firm wymagałaby dopisania kolejnych zagnieżdżeń w scraperze, który przechodziłby po określonych podstronach i wyciągał dodatkowe informacje. Do problemu podeszliśmy w możliwie najprostszy sposób. Wystarczyło zrobić screenshot całej strony (za pomocą specjalnej wtyczki w przeglądarce), a następnie zapisana grafika została przesłana do ChatGPT 4o, z odpowiednim promptem, który za zadanie miał zidentyfikować nazwy firm ze screenshota, a dodatkowo pobrać dodatkowe informacje na ich temat (adres url, krótka charakterystyka itp.). Otrzymaliśmy dokładnie te dane, których oczekiwaliśmy, a całość zajęła kilka minut, zamiast prawdopodobnie co najmniej kilku godzin, które należałoby poświęcić na napisanie dedykowanego scrapera. Dodatkowo, pozyskane dane mogliśmy od razu skonwertować do określonego formatu, konfigurując odpowiednio prompta przesłanego do LLM.
Przyszłość importowania danych za pomocą AI
Postęp w dziedzinie sztucznej inteligencji zapowiada jeszcze bardziej zaawansowane i zautomatyzowane rozwiązania służące do importowania i scrapowania danych. W przyszłości, specjalne modele AI będą w stanie samodzielnie określać, jakie dane są potrzebne i w jaki sposób należy je pozyskać i przetworzyć. Importery danych będą działać w uniwersalny sposób i nie będą potrzebne dedykowane rozwiązania w tym zakresie. Taki uniwersalny importer będzie trzeba tylko odpowiednio skonfigurować, a całą reszta, czyli sposób zaciągania danych i ich przetwarzanie, będzie tworzona już bez ingerencji ludzkiej (pisania kodu źródłowego). Wszystkim zajmą się algorytmy AI, które wywnioskują, w jaki sposób pobrać pożądane dane z danego źródła, a następnie jak je odpowiednio zwalidować, uzupełnić (gdy będą niekompletne lub niepoprawne) i zwrócić w docelowym formacie.
Dzięki rozwijającym się technikom uczenia maszynowego, systemy AI będą stawać się coraz bardziej inteligentne i w pełni dostosowywalne, umożliwiając firmom efektywne pozyskiwanie i wykorzystywanie danych z niemal każdego źródła.
Podsumowanie
Rewolucja w importowaniu i scrapowaniu danych za pomocą sztucznej inteligencji jest już w toku. Nowoczesne techniki AI, takie jak zaawansowane OCR, dynamiczne parsowanie stron internetowych, rozpoznawanie obrazów i wzbogacanie danych, umożliwiają firmom bardziej wydajne i dokładne pozyskiwanie informacji z różnych źródeł.
Możliwości AI dają firmom dokładniejsze i w zasadzie nieograniczone (co do źródeł danych), warunki na centralizowanie i wykorzystywanie swoich zasobów danych. W efekcie umożliwia to na niskokosztowe uporządkowanie swoich zasobów informacji, dzięki czemu organizacja działa stabilniej, bazując na solidnych danych. W miarę postępu w dziedzinie AI, importowanie i scrapowanie danych stanie się jeszcze bardziej zautomatyzowane i inteligentne, umożliwiając firmom pełne scentralizowanie i wykorzystanie potencjału swoich danych.
