Data quality management. Jak zadbać o jakość danych w firmie

Czy zdarzyło Ci się kiedykolwiek dostać po wysyłce e-maila zwrotkę z informacją, że taki adres nie istnieje, albo usłyszeć od klienta, że już korzysta z usługi, którą właśnie promujesz? A może nie reklamowałeś produktów w miejscach, w których były już dostępne? Jeśli odpowiedź na jedno z powyższych pytań brzmi „tak”, to zachęcamy do przeczytania tego artykułu.

Z tego artykułu dowiesz się:

czym jest data quality i jak zadbać o jakość danych w firmie,
czym charakteryzują się dane wysokiej jakości,
jak sprawdzić jakość bazy danych klientów i jak ją zwiększyć,
co prowadzi do pogorszenia jakości bazy odbiorców i jak tego uniknąć,
jak zautomatyzować zarządzanie jakością danych.

Od kilku lat mówi się o erze cyfrowej – danych 2.0 czy nawet już 3.0 – która przejawia się w większości obszarów funkcjonowania firm. Ten trend w sposób oczywisty zaznacza swoją obecność także w sektorze marketingu. Trudno dzisiaj wyobrazić sobie działania marketingowe, które nie opierałyby się na analizie danych. Dotyczy to zwłaszcza rynku B2C, na którym wręcz skokowo rośnie ilość informacji o klientach i o interakcjach z nimi w różnych kanałach komunikacyjnych. Jeśli nałożysz na to zmienność tych danych w czasie oraz możliwe zniekształcenia, które mogą się pojawić w różnych systemach, otrzymasz od kilku do wręcz kilkudziesięciu (w skrajnych przypadkach) wersji klienta oraz interakcji z nim.

O tym, jak potężnym narzędziem w marketingu może być baza danych klientów, nikogo nie trzeba przekonywać. Podobnie jak o tym, że wraz z powiększaniem się jej będzie rosła efektywność prowadzonych działań marketingowych. Z narzędziami bywa jednak tak, że o ich skuteczności – a niekiedy wręcz przydatności decyduje nie tylko ich liczba, lecz także jakość. I dane nie są tu wyjątkiem.

Słuchaj „Marketer+” Podcast

Co to jednak znaczy: „dane dobrej jakości”? Gdybyśmy chcieli odpowiedzieć na to pytanie najkrócej jak się da, moglibyśmy po prostu powiedzieć, że chodzi o dane prawidłowe. Ma to jednak wiele znaczeń. Zrozumienie danych posiadanych przez marketera i zapewnienie ich wysokiej jakości wymaga więc zastosowania odpowiednich procedur, które w informatyce określa się jako data quality management – czyli zarządzanie jakością danych – lub w uproszczeniu data quality, a skrótowo po prostu: DQ.

Czym jest data quality

Wspomniane już warunki prawidłowości danych nazywane niekiedy wymiarami ich jakości – są podstawą jej mierzenia, poprawy i monitorowania. Aby móc bardziej wyczerpująco odpowiedzieć na pytanie: czym jest jakość danych, w ramce 1 omawiamy kilka takich wymiarów na przykładach.

Jak dbać o jakość danych w firmie

Utrzymywanie higieny bazy danych klientów to zadanie, do którego musisz podejść kompleksowo. Ze względu na to, że obieg danych w organizacji może być złożonym procesem, warto, żebyś przyswoił jedną zasadę: dane powinny być kontrolowane i – w razie potrzeby – korygowane na jak najwcześniejszym etapie ich gromadzenia.

Jeśli dane wprowadzane są do systemu A, a z niego przesyłane automatycznie do systemu B, aby następnie trafić do systemu C, to im wcześniej ulegną przekłamaniu, tym trudniej będzie to wychwycić, a tym bardziej – naprawić. Najłatwiej zrozumiesz ten problem na przykładzie unikatowości. Jeśli wprowadzasz do systemu dane klienta, powinieneś najpierw sprawdzić, czy nie widnieje on już w bazie. Najlepszą sytuacją jest ta, w której oprogramowanie samo potrafi to wychwycić. Można się spodziewać, że większość systemów transakcyjnych nie pozwoli Ci wprowadzić od nowa klienta o danych identycznych z istniejącymi już w bazie.

Co jednak, jeśli dane różnią się w sposób pokazany na przykładzie unikatowości z ramki 1?

W wielu systemach istnieją udogodnienia, które pozwalają świadomemu operatorowi na wychwycenie takiej sytuacji. Jeżeli np. system już po wpisaniu pierwszego znaku podpowiada nazwę ulicy, uniknięcie rozbieżności w nazwie wydaje się banalne. Oczywiście pod warunkiem, że operator – np. przez roztargnienie – takiej sugestii nie zlekceważy. Niekiedy oprogramowanie wręcz wymusza wprowadzenie nazwy zgodnej z określonym słownikiem. To jednak może prowadzić do tego, że nie będzie np. możliwe umieszczenie w bazie adresu klienta zamieszkałego przy ulicy, której dopiero co nadano lub zmieniono nazwę, dopóki system nie zostanie pod tym kątem zaktualizowany.

Tak czy inaczej, nie zawsze możemy być pewni, że dane, które otrzymujemy, są odpowiedniej jakości. Oczywiście w przypadku niedużej bazy możesz pokusić się o ich ręczne przejrzenie i poprawienie, w czego wyniku duplikaty znajdą się same. Powiedzmy sobie jednak szczerze: musiałby to być niezwykle mały zbiór, a w dodatku taki, do którego nowe dane nie napływają zbyt często. Co ma jednak zrobić średniej wielkości firma, której baza klientów liczy tysiące, dziesiątki lub setki tysięcy rekordów?

Automatyzacja zarządzania jakością danych

Z pomocą takim organizacjom przychodzą narzędzia informatyczne klasy DQ. Dają one wiele możliwości przetwarzania, analizowania i porównywania danych – są to również opcje dostosowane do szczególnych ich typów, takich jak dane osobowe.

Narzędzia te pozwalają przeanalizować zbiór danych – i praktycznie nie ma znaczenia jego wielkość – wykryć błędy oraz, o ile system źródłowy to dopuszcza, automatycznie wprowadzić poprawki. Najbardziej zaawansowane z tych rozwiązań mają możliwość podłączenia nie tylko do uniwersalnych baz, czy też plików, lecz także do typowych systemów klasy CRM czy ERP. Pozwala to w praktyce wręcz na rozbudowę tych systemów właśnie o mechanizmy kontroli jakości danych.

Narzędzia DQ nie mają większego problemu z ujednoliceniem zapisów: „3-go Maja”, „3 Maja” i „Trzeciego Maja”, uzupełnieniem kodów pocztowych na podstawie pozostałych elementów adresu czy zmianą zniekształconych imion. W tym ostatnim przypadku pamiętaj jednak o tym, że klient może mieć nietypowe imię, a wtedy taka „standaryzacja” nie tylko nie poprawi jakości danych, ale wręcz ją pogorszy. To kwestia odpowiedniego wdrożenia narzędzia i jego dostosowania do charakteru danych, a nawet ich źródła, np. tego, czy są one wpisywane przez operatora ręcznie czy pochodzą z zewnętrznych systemów. Mogą też występować i jedne, i drugie.

Hybrydowe podejście do poprawy jakości danych

Kiedy nie jest możliwe automatyczne usunięcie błędu w danych lub wiąże się to z ryzykiem ich przekłamania, narzędzia DQ wciąż mogą być dla Ciebie przydatne.

Typowym elementem procesu poprawy jakości danych jest obsługa wyjątków, często określana anglojęzycznym terminem „exception management”. Narzędzie DQ za pomocą wbudowanych algorytmów może stwierdzić, że dane wykazują cechy niepoprawności – lub wręcz są jednoznacznie niepoprawne – nawet jeśli nie jest w stanie ustalić, jak powinny one zostać zmienione. Takie dane mogą zostać skierowane do ręcznej poprawy, a osobę odpowiedzialną za tę czynność określa się niekiedy mianem data stewarda. Ma ona za zadanie przede wszystkim zweryfikować ocenę dokonaną przez narzędzie ponieważ może się zdarzyć, że masz do czynienia z wyjątkowym przypadkiem i dane, choć niezgodne z określonymi regułami, nie zawierają błędów. Jeśli jednak potwierdzi się podejrzenie ich nieprawidłowości, data steward może na podstawie swojej wiedzy i posiadanych źródeł wprowadzić poprawki. Wówczas takie dane mogą być dalej przetwarzane wraz z tymi, które zostały automatycznie skorygowane przez narzędzie DQ.

Wdrożenie narzędzia DQ musi zostać poprzedzone wnikliwą analizą posiadanych danych i określeniem wyznaczników ich jakości, tak aby skuteczność wprowadzania poprawek mogła być weryfikowana. Taka weryfikacja powinna być procesem ciągłym lub przynajmniej cyklicznym – dlatego też jedną z funkcji rozwiązań DQ jest generowanie raportów dotyczących jakości danych. Pozwalają one udoskonalać procedury – czy to w celu osiągnięcia jak najwyższego poziomu posiadanej bazy, czy też np. dostosowania jej do zmieniającej się jakości danych wejściowych.

Zaawansowane zarządzanie danymi – MDM

Jeśli baza danych klientów jest bardzo duża i zróżnicowana pod kątem jakości, a przede wszystkim jeżeli jest w szybkim tempie zasilana nowymi bądź aktualizowanymi informacjami, warto wspomnieć o jeszcze jednej, bardziej wyspecjalizowanej klasie systemów informatycznych, mianowicie MDM (master data management, co zwykle tłumaczy się jako zarządzanie danymi podstawowymi). Służą one do utrzymywania bazy danych określonego typu, np. danych osobowych czy produktowych, w jak najlepszej jakości. System taki ma z założenia być źródłem czegoś, co po angielsku określa się potocznie jako single version of truth. Chodzi więc o to, aby z informacji, które mogą pochodzić z różnych źródeł, być niekompletne, zaprzeczające same sobie, a także nieaktualne, wywnioskować, jak powinna wyglądać „najlepsza wersja” danych każdego z klientów. Najlepsza, czyli najbardziej wiarygodna i użyteczna.

Wdrożenie takiego systemu i w miarę możliwości zintegrowanie go z narzędziami istniejącymi już w Twojej organizacji pozwoli na utrzymanie optymalnej jakości danych i uniknięcie wielu problemów i nieporozumień, a w kontekście działań marketingowych – na osiągnięcie maksymalnej skuteczności.

Podsumowanie

W życiu mówimy, że czas to pieniądz. W marketingu możemy śmiało powiedzieć: dane to pieniądz. Jakość danych stanowi zagadnienie często niedoceniane, które wpływa bezpośrednio na ich wartość. Dlatego zwróć na to uwagę, zwłaszcza że niekiedy stosowanie prostych zasad potrafi dać wymierne rezultaty – odczuwalne nawet finansowo.