Tipps / Hilfe bei der Erstellung eines Fragebogens

Oberstes Gebot, damit eine Befragung ein Erfolg wird, ist ein sehr gewissenhaftes Vorgehen, denn eine bloße Aneinanderreihung von Fragen ergibt noch keinen guten Fragebogen.

Sortierung / Reihenfolge der Fragen

Aus der Klärung der Ziele und der Inhalte der Mitarbeiterbefragung ist bereits bekannt, zu welchen Themen Fragen gestellt werden sollen. Diese Themengebiete müssen nun sinnvoll sortiert werden. Dabei gelten zwei grundsätzliche Regeln:

1. Vom Allgemeinen zum Konkreten
2. Vom Einfachen zum Abstrakten

Diese Regeln gelten auch für die Sortierung der Fragen innerhalb der Themengebiete.

Ein Beispiel:
Die Frage „Wie zufrieden sind Sie mit der Telefon-Hotline “ sollte erst im Anschluss an die Frage “Wie zufrieden sind Sie allgemein mit dem Kundenservice“ folgen, da die Telefon-Hotline ein Spezialfall des Kundenservice ist. Wäre die Fragenabfolge anders könnte ein Teilnehmer schließen, dass die Telefon-Hotline nicht zum Kundenservice gehört.

Formulierung der Fragen (Itemformulierung)

Bei der Erstellung von Fragen (auch Fragebogenitems genannt) gibt es zwei Möglichkeiten:

1. direkte Fragen formulieren (z.B. „Welche weiteren Serviceleistungen würden Sie sich von uns wünschen?“)
   geeignet für: Ermittlung von Fakten und Wünschen
2. Aussagen bzw. Feststellungen formulieren (z.B. „Die Anwendung des Produktes X ist einfach“) und diese bewerten lassen (stimme sehr zu – stimme zu – teils/teils – stimme nicht zu – stimme gar nicht zu).
   geeignet für: Ermittlung von Einstellungen, Wahrnehmungen und Meinungen

Bei der Formulierung der einzelnen Fragen (oft auch Items genannt) ist es wichtig, die folgenden Punkte zu beachten:

• Formulieren Sie klar und unmissverständlich
  Ein Teilnehmer kann nicht nachfragen,  was mit einer Frage gemeint ist
• Formulieren Sie Ihre Fragen so kurz wie möglich, aber so lang wie nötig
• Vermeiden Sie, so weit es geht, Fachwörter und Fremdwörter
• Passen Sie sich der Sprache der Teilnehmer an
• Vermeiden Sie Abkürzungen
  Nicht jedem Teilnehmer sind Abkürzungen, die Ihnen selbstverständlich erscheinen geläufig, dies kann zu Irritationen führen
• Beziehen Sie Ihre Fragen immer nur auf einen Sachverhalt
  Wenn eine Frage zwei Dinge gleichzeitig abfragt (Wie bewerten Sie die Qualität der Produkte und den Service?) ist nicht klar, worauf sich die Antwort bezieht
• Vermeiden Sie Suggestivfragen
  Eine Frage ist suggestiv, wenn sie dem Teilnehmer bereits eine Bewertung vermittelt. Die neutrale Frage "Wie finden Sie unser Firmenlogo?" könnte zu anderen Ergebnissen führen als die Suggestivfrage "Finden Sie das neue Logo nicht auch sehr gut?", da hier bereits eine Bewertung vorweg genommen wird. Der Befragte könnte das Gefühl haben, er muss das neue Logo gut finden
• Vermeiden Sie doppelte Verneinungen
  Formulierungen wie z.B. „nicht unzufrieden“ können zu Verwirrungen führen
• Vermeiden Sie absolute Begriffe wie „immer“ oder „nie“. Verwenden Sie stattdessen Formulierungen wie „im Allgemeinen“ oder „meistens“.
  

Inhaltliche Relevanz von Fragen

Neben der Formulierung der einzelnen Items spielt die inhaltliche Relevanz der Fragen eine wichtige Rolle, Dazu sollte jede der folgenden Fragen für jedes einzelne Item mit „ja“ beantwortet sein:

• Trifft die Frage für jeden Befragten zu?
• Hat jeder Befragte die Informationen zur Hand, die man braucht, um die Frage zu beantworten?
• Bezieht sich die Frage auf einen Zeitraum, an den sich der Kunde gut erinnern kann?
• Ist die Frage einfach genug, um nicht die Motivation negativ zu beeinflussen?
  

Fragetypen

Offene vs. geschlossene Fragen
Es gibt eine Vielzahl von Fragetypen und Darstellungsmöglichkeiten. Wofür man sich entscheidet hängt maßgeblich davon ab, welche Aussagen und Schlussfolgerungen man aufgrund der Antwort treffen möchte.

Bevor man sich für ein bestimmtes Format entscheidet, sollte man sich fragen, wie die Antworten dabei aussehen und ob man aus diesen Antworten die nötigen Schlussfolgerungen ziehen kann. Grundsätzlich unterscheidet man zwischen offenen und geschlossenen Fragen.

Offene Frage
Offene Fragen sind Fragen, bei denen keinerlei Antwortmöglichkeiten vorgegeben werden. Der Befragte kann frei antworten.

Beispiel:

Dieser Fragetyp eignet sich besonders wenn man eine Vielzahl unterschiedlicher Einschätzungen haben möchte und bei explorativen Fragestellungen, d.h. wenn nicht bekannt ist welche Antwortmöglichkeiten es gibt.
Offene Fragen sind besonders sinnvoll, wenn Meinungen, Einstellungen, Vorschläge usw. interessieren, wo die wahrscheinlichen Antworten vorher schwer einschätzbar sind.

Offene Fragen eignen sich nicht bei Umfragen mit großen Teilnehmerzahlen. Die Datenmenge, die man dabei erhält, ist zu umfassend. So ergeben sich Schwierigkeiten bei der Auswertung, da die Antworten bei offenen Fragen kaum vergleichbar sind und eine geeignete Aufbereitung sehr viel Zeit in Anspruch nehmen würde.

 
Geschlossene Fragen (siehe unten) sind meist schneller und leichter zu beantworten und auch auszuwerten als offene Fragen, insbesondere bei einem großen Teilnehmerkreis, so dass diese für groß angelegte Kundenbefragungen meist besser geeignet sind.

Oft ist es sinnvoll offene Fragen in Voruntersuchungen zur Umfrage zu verwenden, um herauszufinden, welche Antworten es überhaupt gibt. Daraus können Antwortkategorien für geschlossene Fragen generiert werden, die in der Hauptuntersuchung verwendet werden können

Geschlossene Frage
Geschlossene Fragen sind Fragen bei denen die Antwortalternativen vorgegeben sind. Sie sind vom Teilnehmer schnell und leicht zu beantworten. Dieser Fragetyp bietet den Vorteil, dass er die Auswertung sehr einfach macht. Die Teilnehmer können in Gruppen zusammengefasst werden.

Die einfachste Form einer geschlossenen Frage ist eine dichotome Frage, bei der es genau zwei Antwortmöglichkeiten (in der Regel ja / nein) gibt.

Beispiel:

Bei einer geschlossenen Frage kann ein Teilnehmer aus mehreren Antwortmöglichkeiten die für ihn passende Antwort auswählen.

Beispiel:

Die Antwortkategorien geschlossener Fragen müssen den Anforderungen an Klassifikationen (Vollständigkeit, Ausschließlichkeit, Eindeutigkeit) genügen, d.h. das gesamte Antwortspektrum muss abgedeckt sein, es sollten also alle interessanten Antwortalternativen gelistet sein und möglichst kein Bedarf bestehen zusätzliche Antworten zu erhalten.

Falls man sich dessen nicht sicher ist gibt es die Möglichkeit eine Antwortmöglichkeit „sonstige“ oder „weiß nicht“ einzuführen.

Die Anzahl vorgegebener Antwortalternativen hängt davon ab, wie detailliert man auswerten möchte. Oft kann es sinnvoll sein mehrere Alternativen anzugeben und später, wenn nötig, Gruppen zusammen zu fassen z.B. „stimme sehr zu“ und „stimme zu“ beide als Zustimmung zu werten.

Geschlossene Fragen sind einfach auszuwerten, dadurch eignen sie sich besonders für Umfragen mit großen Teilnehmerzahlen.

Weitere Darstellungsformen von Fragen

Neben der oben beschriebenen offenen und geschlossenen Frage kann die Darstellung der Fragen weitere unterschiedlichste Formen annehmen. 2ask bietet eine Vielzahl von Möglichkeiten, die nicht alle in diesem Dokument aufgeführt werden können. Folgende weitere Darstellungen werden häufig verwendet.

Tabellen / Matrizen
Man kann Fragen in Tabellen oder Matrizen anordnen. Dies ist insbesondere dann sinnvoll, wenn für ein Themengebiet mehrere Aspekte eine Rolle spielen oder wenn sich wenn sich Antwortkategorien oft wiederholen.

Dieser Fragetyp wird benutzt, wenn mehrere Aussagen zu einem Thema bewertet werden sollen. Die Darstellung wird dadurch übersichtlicher und einfacher zu handhaben.

Allerdings sollten die Tabellen nicht zu lang werden (zu viele Aussagen enthalten), da dies beim Ausfüllen ermüdend sein kann.

Semantische Differentiale / Polaritätenprofile
Semantische Differentiale oder Polaritätsprofile sind Fragen bei denen der Teilnehmer sich entscheiden muss, welcher von zwei gegensätzlichen Aussagen er (eher) zustimmt.

Sie eignen sich besonders gut um Einstellungen abzufragen. Bei der Konstruktion gilt es darauf zu achten, dass die beiden Pole wirklich gegensätzlich sind.

Rangliste / Hierarchie
Fragen bei denen eine Rangliste oder Hierarchie gebildet wird eignen sich für Vergleiche zwischen verschiedenen Antwortmöglichkeiten.

Wenn beispielsweise geklärt werden soll wie verschiedene Maßnahmen oder (Konkurrenz-)Produkte im Verhältnis zueinander bewertet werden kann es sehr sinnvoll sein diese in eine Rangfolge bringen zu lassen.

Durch diesen Fragetyp können Folgefragen nach der zweitwichtigsten, drittwichtigsten Maßnahmen usw. eingespart werden.

Graphische Skalen
Bei graphischen Skalen werden die Antworten nicht als Text präsentiert sondern als Zahlenstrahl oder ähnliches.

Da im Unterschied zu verbalen Skalen nur die beiden Pole beschriftet und damit eindeutig definiert sind ist beispielsweise unklar, worin der Bedeutungsunterschied zwischen einem Kreuz bei 7 und einem bei 8 liegt. Bei graphischen Skalen ist es daher sehr wichtig eindeutig zu definieren, was die einzelnen Positionen auf dem Zahlenstrahl bedeuten. In der Praxis ist es aber oftmals nicht möglich jede einzelne Position genau zu definieren, daher kann man den Teilnehmerantworten keine eindeutige Aussage zuordnen.

Graphische Skalen können aber hilfreich sein, um grobe Tendenzen (eher Zustimmung, eher Ablehnung) zu erfassen.

Fragen zu demographischen Daten

Fragen zu demographischen Daten wie z.B. Alter, Geschlecht, Ausbildung usw. werden in vielen Kundenbefragungen mit erhoben, um am Ende der Umfrage differenzierte Auswertungen vornehmen zu können.
Bei Kundenbefragungen spielt die Anonymität meist keine große Rolle, denn Kunden ist es oft wichtig persönlich bekannt zu sein, um schnell von Ergebnissen profitieren zu können.

Eine umstrittene Frage betrifft die Platzierung demographischer Fragen. Zwei Varianten sind verbreitet:

1. demographische Fragen an den Anfang eines Fragebogens stellen
   Begründung: sie sind sehr einfach und schnell zu beantworten.
   Nachteil: Kritiker dieser Variante vermuten die Teilnehmer könnten abgeschreckt werden, wenn man so mit der „Tür ins Haus“ fällt, insbesondere wenn sensible Daten abgefragt werden.
   
   
2. demographische Fragen an das Ende eines Fragebogens  stellen
   Begründung: bis die Teilnehmer hier angekommen sind haben sie sich bereits ein Bild von den Inhalten der Umfrage gemacht und sind eher bereit persönliche Details anzugeben.
   Nachteil: Kritiker dieser Variante vermuten, dass die Teilnehmer so die demographischen Daten vergessen könnten.

Demographische Fragen ermöglichen differenzierte Auswertungen. Es ist beispielsweise wichtig zu wissen, ob sich jüngere Kunden anders verhalten als ältere oder weibliche anders als männliche.

Antwortvorgaben / Antwortkategorien

Bei der Festlegung der Anzahl und Art der vorgegebenen Antwortkategorien sollte man sehr bewusst vorgehen. Man unterscheidet zwei grundsätzliche Vorgehensweisen:

gerade Anzahl von Kategorien
Beispiel:

Hier gibt es keine Mittelposition, die als neutrale Ausweichfläche benutzt werden kann. Die Befragten werden gezwungen zumindest eine Tendenz im Urteil abzugeben.

Vorteil: die Antworten lassen sich später dichotomisieren, d.h. man kann eine Reduktion in der Information der Daten auf zwei Kategorien (z.B. Zustimmung – Ablehnung) vornehmen.

Nachteil: eine Person, die die Frage tatsächlich neutral beantworten möchte („teils…teils“ oder „weder…noch“) wird hier gezwungen zu  einer Seite zu tendieren. Der Befragte könnte sich in seinem Antwortverhalten eingeengt fühlen und deshalb häufiger die Beantwortung verweigern.

Lösung: es empfiehlt sich eine neutrale „weiß nicht“ - Möglichkeit zusätzlich vorzugeben, um Auslassungen vorzubeugen.

ungerade Anzahl von Kategorien
Beispiel:

Eine ungerade Anzahl an Stufen impliziert die Existenz einer “Mittelkategorie?.

Vorteil:  der Befragte kann eine unentschiedene Meinung ausdrücken

Nachteil: Ungerade Skalen bergen die Gefahr, dass überdurchschnittlich häufig der mittlere Wert angekreuzt wird, also keine positive oder negative Tendenz erkennbar ist. Außerdem geht eine ungerade Anzahl von Antwortkategorien mit dem Nachteil einher, dass die Mittelkategorie auch dann gewählt wird, wenn der Befragte die Frage gar nicht beantworten will oder kann.

Lösung: Dieser Nachteil lässt sich durch das Anbieten einer Enthaltungsmöglichkeit (Kategorie „weiß nicht“) umgehen

Die Teilnehmer benutzen die Bezeichnung der Antwortkategorien oft als Anker. Eine mittlere Position wird oft als Teiler oder Durchschnitt benutzt. Dies ist unproblematisch bei Antworten, in denen dies den Tatsachen entspricht. Man sollte darauf achten, dass die Anzahl an Kategorien rechts und links der Mitte gleich ist, um Verzerrungen zu vermeiden.

Falls Antwortkategorien inhaltliche Gruppen repräsentieren, sollte man im Vorfeld die ungefähre Verteilung dieser Inhalte kennen, um sinnvolle Gruppen und Abstufungen bilden zu können.

Ein berühmtes Beispiel hierfür ist die Frage nach der Anzahl der Stunden, die eine Person pro Tag fernsieht. Gibt man als Auswahlmöglichkeiten „0,5 Stunden“, „0,5 – 1,5 Stunden“ und „mehr als 1,5 Stunden“ an, werden die Teilnehmer schließen, dass die mittlere Kategorie dem Durchschnitt entspricht und die Mehrheit wird sich dort einordnen. Würde man noch weitere Kategorien mit höheren Zahlen einfügen, würde sich der Durchschnitt verschieben und die Teilnehmer würden „länger“ fernsehen.

Hat man keine Informationen über die Verteilung der Antworten, sollte man eine offene Frage stellen.

Wichtig ist, dass die Einheit der Antwortkategorie immer mit angegeben ist. Zudem sollte man den Zeitraum fixieren, auf den sich der Befragte bei der Beantwortung der Frage beziehen soll.

In der Literatur und Wissenschaft wird heftig darüber gestritten, ob eine gerade oder ungerade Anzahl von Antwortkategorien besser ist. Es gilt: die perfekte oder richtige Lösung gibt es nicht.

Wägen Sie die Vor- und Nachteile beider Varianten für Ihre Umfrage sorgfältig ab, entscheiden Sie sich dann für diejenige, die Ihnen mehr zusagt bzw. Ihrem Zweck gerecht wird.

Vermeidung von Antworttendenzen

Unter dem Begriff „Antworttendenz“ versteht man eine individuelle Tendenz, auf Fragen eines Tests unabhängig vom Frageninhalt systematisch zu reagieren.
Im Folgenden gehen wir auf zwei typische Antworttendenzen ein:

„Ja-Sage“ – Tendenz / Akquieszenz
Es gibt Menschen, die dazu neigen, einer Aussage unabhängig von deren Inhalt grundsätzlich zuzustimmen („Ja-Sage“ - Tendenz, Akquieszenz). Um diese Verfälschungen des Fragebogens auszuschließen, sollte man manche Fragen semantisch drehen, d.h. negativ formulieren.
Man möchte beispielsweise folgende Aussagen über ein Produkt bewerten lassen:

Um Akquieszenz zu vermeiden würde man einige der Items negativ formulieren und diese neuen Aussagen bewerten lassen.

In obigem Beispiel wurden die Aussagen 2 und 4 semantisch gedreht. Würde ein Teilnehmer trotzdem allen Aussagen zustimmen, würde das auf Akquieszenz hindeuten. 
 

Es ist natürlich möglich, dass ein Teilnehmer die beiden Kontrollfragen absichtlich zustimmend beantwortet, weil dies für ihn zutrifft. Jeder Fragebogen sollte daher mehrere Kontrollfragen innerhalb verschiedener Themengebiete besitzen.

Akquieszenz kann auch geprüft werden, indem dieselbe Frage zweimal gestellt wird - einmal davon semantisch gedreht. Wenn eine Person konsistent antwortet sollten dabei gegensätzliche Antworten herauskommen. Wer bei der ersten Frage mit „stimme zu“ geantwortet hat sollte bei der zweiten Frage „stimme nicht zu“ ankreuzen.

Zentrale Tendenz / Tendenz zur Mitte
Eine andere typische Antworttendenz ist die so genannte „zentrale Tendenz“ oder „Tendenz zur Mitte“ (Mittelwertorientierung). Dabei tendieren Teilnehmer dazu unabhängig von der Frage eine mittlere Position  („teils/teils“, „weder…noch“, „vielleicht“) anzukreuzen.
Um dieser Tendenz entgegen zu wirken ist es wichtig die Items sehr präzise und genau zu formulieren. Außerdem könnte man es in Betracht ziehen eine Skala mit mehr Stufen (z.B. eine sieben- statt einer fünf-stufigen Skala) zu verwenden, da hier genauer differenziert werden kann.

Plausibilitätsprüfungen

Bei Onlinebefragungen mit 2ask kann man zusätzlich Plausiblitätsprüfungen einbauen, um absichtliche oder versehentliche Falscheingaben zu entdecken. Dabei kann festgelegt werden, dass eine Eingabe ein bestimmtes Format haben oder sich in einem bestimmten Wertebereich bewegen muss.

Beispiel:

Instruktionen, Anweisungen und Hinweise für die Teilnehmer

Neben den Fragen spielen auch die Anweisungen für die Teilnehmer eine wichtige Rolle bei der Konstruktion des Fragebogens. Jeder Fragebogen sollte ein Deckblatt enthalten, auf dem folgende Angaben zu finden sind:

• Zweck der Befragung
• verantwortliche Veranstalter der Umfrage
• Zeitaufwand für die Bearbeitung
• Einsendeschluss
• Ansprechpartner mit Telefonnummer und E-Mail-Adresse für Rückfragen

In den Instruktionen für die Teilnehmer sollte man erklären, wie die Fragen beantwortet werden und wie die Teilnehmer Korrekturen vornehmen können. Dies muss bei komplexen oder ungewöhnlichen Fragetypen einzeln erfolgen. Man sollte niemals davon ausgehen, dass ein Antwortformat selbsterklärend ist, da man sonst Gefahr läuft, fehlerhaft ausgefüllte Fragebögen zu bekommen oder dass Teilnehmer den Fragebogen überhaupt nicht ausfüllen. Am einfachsten ist diese Frage im Rahmen eines  Pretests zu klären. Kommen hier Unklarheiten auf, muss ein Antworttyp erklärt werden.

Kommentare und Anregungen

Am Schluss des Fragebogens sollte Platz sein für Kommentare und Anregungen der Teilnehmer. Dies ist erstens höflich und zweitens hilfreich bei der Aufdeckung von möglichen Missverständnissen.

Wenn ein Teilnehmer z.B. äußert, er finde die Fragen unverständlich, sollte man bei der Bewertung der Antworten Vorsicht walten lassen und den Einzelnen bei Unsicherheiten in der Gesamtauswertung weglassen.

Test des Fragebogens (Pretest)

Bevor der Fragebogen den Teilnehmern ausgehändigt wird sollte auf jeden Fall ein Pretest durchgeführt werden.

Dabei testen Personen, die nicht an der Konstruktion beteiligt waren den Fragebogen. Nur so fallen Fehler und Unklarheiten auf. Zudem kann so überprüft werden, wie lange das Ausfüllen des Fragebogens für jemanden dauert, der alle Instruktionen lesen muss. Besonders bei Onlinefragebögen spielt die technische Handhabbarkeit eine große Rolle. Meist wird nach dem Pretest eine Überarbeitung des Fragebogens notwendig. Falls diese Überarbeitungen sehr umfangreich sind, sollte man sich überlegen, anschließend noch einen zweiten Testlauf zu starten um sicherzugehen, dass der Fragebogen nun optimal ist.