Konstruowanie narzędzi do badań online na przykładzie serwisu eBadania.pl

Magdalena Szpunar

Artykuł podejmuje kwestię badań sondażowych realizowanych przez internet. Zaprezentowane zostały doświadczenia związane z prowadzeniem badań w sieci na podstawie autorskiego Systemu Zarządzania Badaniami eBadania.pl. Przedstawiono korzyści wynikające z realizacji badania kwestionariuszowego drogą online, jak i obalone mity związane z prowadzeniem badań w internecie.

Internet jest medium pozwalającym w nowy sposób rejestrować, a w związku z tym poddawać analizie zarejestrowane ludzkie przekazy. Analizie poddawane mogą być strony WWW, listy elektroniczne, wiadomości na listach dyskusyjnych czy też mailingowych, pamiętniki internetowe zwane blogami. Życie społeczne coraz częściej przenosi się do internetu, a w związku z tym, coraz trudniej pozostawać obojętnym wobec tego medium. Kwestionariusze wypełniane drogą online stają się coraz częściej alternatywą dla pracochłonnych i kosztownych ankiet czy wywiadów prowadzonych metodą face-to-face1. Internet staje się prawdziwym polem eksploracji dla badacza.

Socjologowie polscy coraz częściej zdają sobie sprawę, iż dla rozwoju badań sondażowych niemal koniecznością wydaje się być wyjście poza utarte schematy badań. Kazimierz Słomczyński wskazuje, iż internet oraz telefony komórkowe,s dzięki temu, że stają się coraz bardziej popularnymi środkami komunikowania, pozwalają metodologom na korzystanie z nowych możliwości zbierania materiału o respondentach2. Jednocześnie podkreśla się, że badacze w wielu przypadkach nie są przygotowani do wykorzystywania możliwości, jakie daje wywiad wspomagany komputerowo3. Mimo iż liczba badań prowadzonych z wykorzystaniem internetu ciągle rośnie, niewiele jest solidnych opracowań metodologicznych traktujących o tym nowym badawczym wyzwaniu4.

Przygotowywanie badań jest procesem złożonym, wymagającym gruntownej wiedzy z zakresu metodologii, jak i metod badawczych. Osoba niemająca styczności z badaniami społecznymi, nierzadko jest przekonana, że przygotowanie dobrej ankiety to kwestia kilkunastu minut. Otóż nic bardziej mylnego! Oczywiście, można takie badanie przygotować nawet w kwadrans, ale o jakości i rzetelności uzyskanych w ten sposób wyników nie trzeba chyba długo dyskutować. Najistotniejszą sprawą, jaką należy ustalić w momencie projektowania badania, jest określenie, czego chcemy się dowiedzieć i na jakie pytanie uzyskać odpowiedź. Jeśli dokładnie wiadomo, co stanowi przedmiot naszego zainteresowania, musimy odpowiedzieć sobie na pytanie, w jaki sposób to zrobić? Inaczej mówiąc, jaka metoda czy technika badawcza byłaby w danym przypadku najodpowiedniejsza, aby można było uzyskać jak najbardziej kompleksową odpowiedź na nurtujące nas pytanie. Tak naprawdę już w momencie projektowania procesu badawczego musimy przewidzieć efekt końcowy, tj. uświadomić sobie, jaki jest cel badań. W metodologii badań socjologicznych występują trzy główne cele badań5:

  • eksploracyjny: uzyskanie odpowiedzi na pytania: Jaki jest zasięg mojego produktu? Jacy użytkownicy kupują najczęściej moje produkty? Czy moja reklama jest skuteczna?

  • opisowy: uzyskanie odpowiedzi na pytania: Co moi użytkownicy sądzą o mojej stronie internetowej? Skąd wywodzą się użytkownicy mojego produktu?

  • wyjaśniający: uzyskanie odpowiedzi na pytanie: Dlaczego moi pracownicy nie są zadowoleni z warunków pracy w firmie?

Istotnym elementem w fazie formułowania problemu badawczego jest udzielenie odpowiedzi na pytanie, dlaczego ludzie działają tak, a nie inaczej. Problem badawczy to bodziec inicjujący badania naukowe. Oczywiście, nie każdy bodziec intelektualny, może stać się podstawą do przeprowadzenia badań empirycznych. Problemy, których empirycznie nie można uzasadnić, bowiem mają charakter subiektywnych preferencji, wierzeń, upodobań itp., nie poddają się badaniom empirycznym6. Aby problem mógł być uznany za naukowy, powinien7:
  • dotyczyć obiektywnego stanu niewiedzy;

  • być wyrażony w języku naukowym;

  • być sformułowany w taki sposób, aby wiadomo było, jakie podjąć działania, by móc udzielić odpowiedzi na to pytanie.

Generalnie problem powinien przybierać formę pytania. Stosuje się trzy podstawowe rodzaje pytań8:
  • Czy zjawisko zachodzi?

  • Jak zjawisko zachodzi?

  • Dlaczego zjawisko zachodzi?

Rysunek 1. Etapy procesu badawczego


Źródło: Ch. Frankfort-Nachmias, D. Nachmias, Metody badawcze w naukach społecznych, Zysk i S-ka, Poznań 2001

Na początek warto wskazać na zalety badań ankietowanych prowadzonych przez internet9:
  1. szybsze zbieranie danych, jak i szybki zwrot wypełnionych ankiet w pierwszych dniach po wysyłce;

  2. krótszy czas realizacji całego projektu badawczego (szybkie zbieranie danych, natychmiastowe i automatyczne ich wprowadzenie);

  3. niższy koszt prowadzenia badań (eliminacja kosztu druku ankiet, opłat pocztowych, szkolenia ankieterów, ręcznego wprowadzania danych);

  4. wyższa jakość zebranych danych uzyskiwana dzięki:

    1. redukcji błędu odpowiedzi (możliwość zastosowania mechanizmów wymuszających na respondencie pełne wypełnienie ankiety),

    2. redukcji błędów ludzkich, np. powstałych przy wprowadzaniu danych,

    3. redukcji efektów ankieterskich;

  5. wysoki procent zwrotu wypełnionych ankiet;

  6. możliwość wzbogacenia kwestionariusza o animowaną grafikę, elementy audio i wideo;

  7. dogodność dla respondenta, możliwość wypełnienia w dowolnej chwili;

  8. możliwość dotarcia do specyficznych grup docelowych, osób trudno dostępnych;

  9. niemal nieograniczony zasięg;

  10. możliwość indywidualizacji kwestionariusza (dostosowanie go do różnych kategorii respondentów);

  11. możliwość szybkiej reakcji na wypełnioną ankietę.

Mimo niewątpliwych zalet, badania ankietowe realizowane drogą online mają wiele ograniczeń10:
  1. częsta samoselekcja respondentów (próba składa się głównie z ochotników, którzy zechcieli wziąć udział w badaniu);

  2. możliwość wielokrotnego udziału w badaniu tych samych osób11;

  3. brak reprezentatywności populacji użytkowników internetu dla populacji generalnej, nawet w najbardziej spenetrowanych przez internet krajach świata (z reguły internauci są młodsi, lepiej wykształceni, bardziej zamożni od osób niekorzystających z internetu);

  4. krótszy czas koncentracji podczas uczestniczenia w badaniu online - zmęczenie respondenta następuje po ok. 25-30 pytaniach;

  5. obniżający się w długim okresie realizacji badania odsetek wypełnień.

Podstawowe zastrzeżenie dotyczące badań realizowanych drogą internetową (online) dotyczy ich reprezentatywności. Poddaje się w wątpliwość hipotezę, iż ludzie poddani badaniom sondażowym mogą stanowić odzwierciedlenie jakiejś populacji. Earl Babbie zauważa, iż jeszcze do niedawna ten sam rodzaj krytyki dotyczył sondaży telefonicznych, których rzetelności nikt dzisiaj nie poddaje w wątpliwość. H. Taylor i G. Terhanian próbowali w roku 1998 oszacować wyniki wyborów na gubernatora i do senatu USA. W tym celu przeprowadzili cztery sondaże internetowe12. Uzyskane przez nich wyniki mogą zaskakiwać - trafnie wytypowano 21 z 22 zwycięzców (95%), a wyniki sondaży online odbiegały średnio od faktycznych wyników średnio o 6,8% (dla porównania sondaże telefoniczne odbiegały od faktycznych wyników średnio o 6,2%).

W przypadku internetu powstają dwa problemy metodologiczne - pierwszy z nich dotyczy przystosowania znanych technik badawczych do nowego, interaktywnego środowiska, drugi - dotyczy wypracowania zupełnie nowych, unikalnych narzędzi, swoistych jedynie dla tego medium. System Zarządzania Badaniami eBadania.pl13 stara się wyjść naprzeciw temu wyzwaniu, oferując unikalne narzędzie do badań sondażowych. Narzędzie eBadania bazuje na solidnych standardach badań socjologicznych. W odróżnieniu od serwisów oferujących przygotowanie prostej sondy w trzech krokach staraliśmy się nie wmawiać użytkownikom, że stworzenie ankiety jest banalnie proste. Dla osób nieposiadających wiedzy z zakresu metodologii badań empirycznych stworzono prosty w obsłudze komponent "pomoc", umożliwiający postawienie pierwszych kroków w badaniach kwestionariuszowych i skonstruowanie poprawnej ankiety. Socjologom lub zaawansowanym badaczom narzędzie umożliwia przygotowanie kwestionariusza zgodnie z regułami metodologicznymi obowiązującymi przy standardowych ankietach.

Aplikacja pozostaje otwarta na sugestie innych badaczy, które z pewnością pozwolą ją udoskonalać i rozwijać.

Prace nad aplikacją trwały sześć miesięcy. Projektując System Zarządzania Badaniami zadbano przede wszystkim o to, aby miał on charakter jak najbardziej uniwersalny i umożliwiał prowadzenie badań online wielu badaczom. Pozwala on na:
  • przygotowanie narzędzia badawczego: edycję pytań kwestionariuszowych, edycję zaproszenia do udziału w badaniu, publikację ankiety;

  • realizację badania: pilotaż badania oraz badanie zasadnicze (możliwość określenia terminów badania); respondent wchodzi na stronę z określonym kwestionariuszem, na której znajduje się zaproszenie do udziału w badaniu, a następnie przechodzi do kwestionariusza, wypełnia go i wysyła;

  • eksport wyników badania; system obsługuje pliki POR (SPSS, Statistica), XLS (MS Excel), CSV (MS Excel, OpenOffice);

  • załączanie raportów z badań.

Aplikacja została zaprojektowana w sposób zapewniający dużą dostępność14, szybkość oraz pewność otrzymanych danych. Warto odnotować, iż aplikacja to efekt pracy dwóch osób: socjologa oraz informatyka - wydaje się, że dopiero takie połączenie umiejętności i wiedzy z zakresu metodologii badań empirycznych, jak i programowania, owocować może optymalnym narzędziem do prowadzenia badań online. Takie rozwiązanie ma zdecydowaną przewagę nad projektami realizowanymi wyłącznie przez informatyków, niezaznajomionych ze specyfiką metodologii kwestionariuszy online. Niestety, w przypadku wielu narzędzi do ankietowych badań online głównym mankamentem są braki w zakresie metodologii badań empirycznych. Nie wystarczy bowiem przejrzeć kilku ankiet, by projektować i konstruować poprawne narzędzie do badań online. W Polsce funkcjonuje już kilka serwisów umożliwiających prowadzenie badań ankietowych w internecie, jednakże oferowane przez nich funkcjonalności mają niewiele wspólnego z rzetelną metodologią badawczą. O wiele lepiej prezentuje się sytuacja na zachodnim rynku badawczym, gdzie badacze mają możliwość skorzystania z kilku serwisów bardzo dobrej jakości, niestety, najczęściej korzystanie z nich jest płatne.

Serwis eBadania składa się z dwóch części (modułów). Jedna z nich to część respondenta, który zapraszany jest do udziału w ankiecie, ma możliwość jej wypełnienia oraz wysłania.

Rysunek 2. Moduł Respondenta
zobacz podgląd

Źródło: opracowanie własne

Z kolei część ankieterska systemu eBadania składa się z panelu umożliwiającego edycję wszystkich typów pytań, tj. zamkniętych, otwartych, półotwartych, skali oraz rangi. Badacz ma możliwość ustalenia charakteru pytania (jednokrotnego lub wielokrotnego wyboru), ustalenia zakresu odpowiedzi (liczby minimalnej i maksymalnej dopuszczalnych odpowiedzi). Badacz ma również możliwość "wymuszenia" na respondencie konieczności udzielenia odpowiedzi według ustalonego schematu, dzięki pojawiającym się alertom, co pozwala eliminować braki odpowiedzi. System Zarządzania Badaniami eBadania umożliwia również dodawanie, usuwanie i zmianę kolejności pytań, dołączanie instrukcji do pytań, dodawanie, usuwanie i zmianę kolejności odpowiedzi, wprowadzanie reguł przejścia, które umożliwiają "przefiltrowanie" respondentów, którzy nie powinni odpowiadać na dane pytanie lub np. zadeklarowali brak wiedzy w określonym temacie itp. Dużą zaletą eBadań jest szeroki wachlarz możliwości eksportu wyników do programów służących do statystycznej analizy danych (SPSS, Statistica) oraz do najpopularniejszego programu analityczno-kalkulacyjnego MS Excel. Pozwala to eliminować żmudny proces wprowadzania danych, a co się z tym wiąże, częstych na tym etapie błędów, związanych z czynnikiem ludzkim. Warto odnotować, iż inne narzędzia służące do prowadzenia badań kwestionariuszowych w internecie oferują głównie sumaryczne zestawienie danych, bez możliwości ich dalszej analizy statystycznej. Badacz ma również możliwość załączania na stronie eBadań raportów z przeprowadzonych przez siebie badań. System Zarządzania Badaniami generuje unikalny link do strony z ankietą. Badacz może go wklejać na innych stronach WWW promujących jego badanie lub załączać do maili, zachęcając potencjalnych respondentów do wypełnienia ankiety.

Rysunek 3. Moduł Ankietera
zobacz podgląd
zobacz podgląd


Źródło: opracowanie własne


Na rysunku 4 zaprezentowano zrzut ekranu panelu edycyjnego ankietera (badacza). Ma on tutaj możliwość zdefiniowania typu pytania, dołączenia do niego instrukcji, określenia zakresu możliwych odpowiedzi czy też wprowadzenia reguł przejścia. W każdej chwili ankieter ma możliwość skorzystania z rozbudowanego systemu pomocy, zawierającego odpowiedzi na zasadnicze pytania (m.in. dotyczące rodzajów pytań kwestionariuszowych, błędów występujących w pytaniach oraz podstawowych terminów związanych z realizacją badań empirycznych).

Rysunek 4. Panel edycyjny badacza
zobacz podgląd
zobacz podgląd


Źródło: opracowanie własne


Panel respondenta rozpoczyna się zaproszeniem do udziału w ankiecie, gdzie respondent jest zaznajamiany z tematyką badania i innymi informacjami, jakie ma mu do przekazania badacz. Część respondenta jest zrealizowana w ten sposób, aby przypominać użytkownikowi o nieprawidłowym wypełnieniu danego pytania. W dole ekranu respondent widzi pasek nawigacyjny, który ma za zadanie informować o postępach w wypełnieniu ankiety oraz umożliwić nawigację zarówno do przodu (po wypełnieniu aktualnego pytania), jak i powrót do wcześniejszych pytań. Narzędzie eBadania jest skonstruowane w ten sposób, że badacz musi dołączyć do każdego pytania instrukcję (z wyjątkiem pytania otwartego), która dodatkowo pokazuje się użytkownikowi w przypadku niespełnienia jej warunków.

Rysunek 5. Panel respondenta
zobacz podgląd
zobacz podgląd


Z pewnością warto realizować badania kwestionariuszowe przy pomocy narzędzi do badań online, jednak musimy posiadać świadomość ograniczeń, które wiążą się z tego typu badaniami. Niestety, nie mamy możliwości ekstrapolować wyników uzyskanych na próbie internautów na całą populację Polaków, bowiem internauci stanowią specyficzną kategorię społeczną (są młodsi, lepiej wykształceni, mieszkają w większych miejscowościach)15. Aby niwelować problemy związane z reprezentatywnością danych, możemy stosować ważenie obserwacji, należy jednak pamiętać, iż w takim przypadku powinniśmy dysponować odpowiednio dużą próbą. Warto więc badania prowadzone w internecie traktować raczej w kategoriach eksploracyjnych niż opisowo-wyjaśniających. Aby uzyskiwać pełną odpowiedź na pytanie badawcze, dobrze jest stosować triangulację metod badawczych, co pozwala uzyskać szerszy kontekst badanego zjawiska.

Jednakże ankietowe badania online są doskonałym sposobem na dotarcie do specyficznych grup respondentów, z którymi kontakt jest utrudniony bądź w ogóle niemożliwy. Kwestionariusze online świetnie sprawdzają się więc przy próbach celowych, gdzie interesuje nas określona kategoria respondentów, posiadająca pewne interesujące nas cechy np. niepełnosprawni, samotne matki, uczestnicy tematycznych grup dyskusyjnych, uczestnicy gier fabularnych. Internet w znaczący sposób ułatwia dotarcie do tych grup, gdzie jednostki skupione są wokół interesujących ich kwestii, wspólnych pasji i zainteresowań.

Bibliografia

  • E. Babbie, Badania społeczne w praktyce, PWN, Warszawa 2004.

  • G. Babiński, Etapy procesu badawczego, [w:] M. Malikowski, M Niezgoda (red.), Badania empiryczne w socjologii. Wybór tekstów, WSSG, Tyczyn 1997.

  • D. Batorski, M. Olcoń-Kubicka, Prowadzenie badań przez Internet - podstawowe zagadnienia metodologiczne, "Studia Socjologiczne" 2006, nr 3.

  • Ch. Frankfort-Nachmias, D. Nachmias, Metody badawcze w naukach społecznych, Zysk i S-ka, Poznań 2001.

  • R. Mącik, Wykorzystanie Internetu w badaniach marketingowych, UMCS, Lublin 2005.

  • Z. Sawiński, Źródła rozwoju metodologii badań marketingowych, [w]: P. Sztabiński, F. Sztabiński, Z. Sawiński (red.), Nowe metody, nowe podejścia badawcze w naukach społecznych, IFiS PAN, Warszawa 2004.

  • K. Słomczyński, Polska metodologia socjologicznych badań empirycznych na tle międzynarodowym, [w]: P. Sztabiński, F. Sztabiński, Z. Sawiński (red.), Nowe metody, nowe podejścia badawcze w naukach społecznych, IFiS PAN, Warszawa 2004.

  • K. Sobieszek, Problem błędu braku odpowiedzi w badaniach internetowych - rozważania teoretyczne, [w]: Ł. Jonak, P. Mazurek, M. Olcoń i in. (red.), Re: internet - społeczne aspekty medium. Polskie konteksty i interpretacje, WAiP, Warszawa 2006.

  • M. Szpunar, Realizowanie badań drogą online na przykładzie Systemu Zarządzania Badaniami eBadania.pl, [w]: A. Szewczyk (red.), Problemy społeczeństwa informacyjnego, t. II, Szczecin 2007.


Informacje o autorze

zobacz podgląd
MAGDALENA SZPUNAR
Autorka jest doktorantką Uniwersytetu Jagiellońskiego. Jest autorką kilkudziesięciu artykułów oraz kilku projektów badawczych, współautorką Systemu Zarządzania Badaniami eBadania.pl. W roku akademickim 2006/2007 otrzymała stypendium Uniwersytetu Jagiellońskiego dla doktorantów za osiągnięcia naukowe.

Komentarze

Nie ma jeszcze komentarzy do tego artykułu.

dodaj komentarz dodaj komentarz

Przypisy

1 Por. M. Szpunar, Realizowanie badań drogą online na przykładzie Systemu Zarządzania Badaniami eBadania.pl, [w:] A. Szewczyk (red.) Problemy społeczeństwa informacyjnego, Szczecin, 2007, t. II, s. 873.

2 K. Słomczyński, Polska metodologia socjologicznych badań empirycznych na tle międzynarodowym, [w:] P. Sztabiński, F. Sztabiński, Z. Sawiński (red.) Nowe metody, nowe podejścia badawcze w naukach społecznych, IFiS PAN, Warszawa 2004, s. 20.

3 Z. Sawiński, Źródła rozwoju metodologii badań marketingowych, [w:] P. Sztabiński, F. Sztabiński, Z. Sawiński (red.), Nowe metody, nowe podejścia badawcze w naukach społecznych, IFiS PAN, Warszawa 2004, s. 25.

4 K. Sobieszek, Problem błędu braku odpowiedzi w badaniach internetowych -rozważania teoretyczne, [w:] Ł. Jonak, P. Mazurek, M. Olcoń i in. (red.), Re: internet -społeczne aspekty medium. Polskie konteksty i interpretacje, WAiP, Warszawa 2006

5 E. Babbie, Badania społeczne w praktyce, PWN, Warszawa 2004, s. 110-113.

6 Ch. Frankfort-Nachmias, D. Nachmias, Metody badawcze w naukach społecznych, Zysk i S-ka, Poznań 2001, s. 67.

7 G. Babiński, Etapy procesu badawczego, [w:] M. Malikowski, M. Niezgoda (red.), Badania empiryczne w socjologii. Wybór tekstów, WSSG, Tyczyn 1980, s. 19-34.

8 Tamże.

9 R. Mącik, Wykorzystanie Internetu w badaniach marketingowych, UMCS, Lublin 2005, s. 108.

10 Tamże, s. 109.

11 Tę niedogodność próbuje się niwelować stosując tzw. cookies bądź poprzez użycie unikalnych haseł lub dynamicznie generowanego adresu URL dla każdego respondenta. Jednakże obie metody mają niewielką skuteczność, cookies może być bowiem usunięte, a adresy IP są często przydzielane dynamicznie, co powoduje, że ten sam komputer podczas kolejnych sesji internetowych otrzymuje różne adresy.

12 E. Babbie, dz. cyt., s. 299.

13 Aplikacja dostępna pod adresem: www.eBadania.pl.

14 Dostępność modułu ankietera to ponad 98% użytkowników, natomiast dostępność modułu respondenta to ponad 99,5% użytkowników (według www.ebadania.pl).

15 D. Batorski, M. Olcoń-Kubicka, Prowadzenie badań przez Internet -podstawowe zagadnienia metodologiczne, "Studia Socjologiczne" 2006, nr 3, s. 106.