Cognitive Pretesting and pretest of the STRAIN questionnaire to elaborate work-related stress of health care staff in Switzerland / Verständlichkeitsprüfung und Pretest des STRAIN-Fragebogens zur Erhebung der Arbeitsbelastung bei Gesundheitsfachpersonen in der Schweiz

Dem STRAIN-Fragebogen liegt das „Modell of causes and consequences of work-related stress” (Kompier & Marcelissen, 1990; Leka & Jain, 2010) zugrunde. Basierend auf diesem Modell wurden valide und reliable Skalen ausgewählt, um potenzielle Risikofaktoren, Stressreaktionen sowie Langzeitkonsequenzen für Fachpersonen und Organisationen erfassen zu können. In Abbildung 2 werden die Themenbereiche, auf Basis des Modells, zusammengefasst dargestellt. Als Grundlage für den STRAIN-Fragebogen wurde der in der europaweiten nurses‘ early exit study (NEXT-Studie) verwendete Fragebogen genutzt (Hasselhorn et al., 2005). Wie der NEXT-Fragebogen, basiert auch der STRAIN-Fragebogen somit grundsätzlich auf dem «Copenhagen Psychosocial Questionnaire» (COPSOQ) (Kristensen, 2000; Kristensen, Hannerz, Høgh & Borg, 2005; Nübling, Stößel, Hasselhorn, Michaelis & Hofmann, 2006) sowie zusätzlichen Skalen der «Oslo social support scale» (Oslo-3) (Sarason, Levine, Basham & Sarason, 1983; Sarason, Sarason, Shearin & Pierce, 1987), dem «Effort-Reward-Imbalance-Fragebogen» (ERI) (Siegrist, Li & Montano, 2014), dem Work-Ability-Index (WAI) (Tuomi, Ilmarinen, Jahkola, Katajarinne & Tulkki, 1998) und der Skala zu körperlicher Belastung aus dem «Sixth European Working Conditions Survey» (EWCS Q30) (Eurofound, 2015, 2017).

Abbildung 2

Der STRAIN-Fragebogen setzt sich inhaltlich aus den folgenden verwendeten Skalen zusammen: Insgesamt besteht der STRAIN-Fragebogen aus 94 Fragen. Davon stammen 77 Fragen aus dem NEXT-Fragebogen (Hasselhorn et al., 2005) sowie der deutschen validierten Version des COPSOQ (Nübling et al., 2006). Vier weitere Fragen des NEXT-Fragebogens wurden hinzugefügt und angepasst, da sie speziell für das Pflegepersonal entwickelt wurden und nicht generisch für das Gesundheitspersonal. Sieben Fragen wurden aufgrund der Unterschiede in Bezug auf die gesetzlichen Regelungen (Bsp. Pausen, Ruhezeiten, Pikett- und Bereitschaftsdienst) sowie auf die Ausbildungsmöglichkeiten neu erstellt. Die Skalen des COPSOQ wurden von Nübling et al. (2006) auf ihre Reliabilität (Cronbach’s alpha von 0,65 bis 0,90) und Validität geprüft. Die psychometrischen Eigenschaften (Cronbach’s alpha von 0,64 bis 0,94) der restlichen NEXT-Skalen wurden im Rahmen der Basisbefragung von Hasselhorn et al. (2005) getestet. Die Autoren der Originalskalen gaben ihre Einwilligung zur Nutzung und Anpassung.

Bei der Erstellung des STRAIN-Fragebogens wurden somit sieben Fragen neu entwickelt und vier weitere Fragen adaptiert. Diese 11 Fragen wurden kognitiv evaluiert, und abschliessend wurde der gesamte STRAIN-Fragebogen einem Pretest unterzogen.

Die Einschätzung der Verständlichkeit lässt sich aufgrund der individuellen subjektiven Wahrnehmung optimal durch Interviews erfassen (Miller, Chepp, Willson & Padilla, 2014). Daher wurde die allgemeine Verständlichkeit mittels kognitiven Interviews nach Collins (2014) in Einzelinterviews bestimmt. Die Fragen und Antworten sollten möglichst über alle Teilnehmenden hinweg eindeutig sein, sodass eine Verallgemeinerbarkeit der Ergebnisse möglich wird (Miller et al., 2014). Prüfer und Rexroth (1996) erwähnen, dass Mängel nur in einem vorangehenden kognitiven Pretest erkannt werden können. Belson (1986) zufolge kann selbst einer plausiblen Antwort ein falsches Fragenverständnis zugrunde liegen. Antwortende können aufgrund ihrer individuellen Charakteristika (bspw. Sprachkenntnis, Fachjargon, Bildungsniveau und Erfahrung) die Fragen sowie Antworten unterschiedlich interpretieren (Miller et al., 2014). Gemäss Collins (2014) muss eine Person zur Beantwortung einer Frage vier Phasen kognitiv verarbeiten: (1) Zuerst muss die Frage mit den möglichen Antwortkategorien verstanden werden, (2) dann muss das Wissen aus der Erinnerung dazu abgerufen werden. (3) Daraufhin muss sich die Person Gedanken über die geplante Antwort machen, ob sie so formuliert werden soll bzw. ob sie die Antwort so formulieren will, um (4) die Antwort zu guter Letzt zu geben (Collins, 2014) (Abb. 3).

Abbildung 3

Nach Anpassung des Fragebogens auf Basis der Ergebnisse aus den Interviews wurde ein Pretest durchgeführt. Dieser lieferte Hinweise auf die Nutzerfreundlichkeit des Online-Fragebogens, die Verständlichkeit und logische Reihenfolge der Fragen sowie die Dauer zum Ausfüllen des Fragebogens (Prüfer & Rexroth, 1996). Der so getestete Fragebogen wird in der nationalen STRAIN-Studie eingesetzt, um potenzielle Belastungsfaktoren, Stressreaktionen und Langzeitfolgen vom Schweizer Gesundheitspersonal in Akutkliniken, Psychiatrien, Rehabilitationskliniken, in der spitalexternen Pflege und in Langzeiteinrichtungen zu erheben und mittels gezielter Intervention zu reduzieren.

Die Literatur verweist auf Stichprobengrössen für die kognitive Testung zwischen 10 und 25 Personen (Collins, 2014; Miller et al., 2014; Prüfer & Rexroth, 1996; Willis, 2005). Weiter wird empfohlen, gezielt Personen mit einer hohen Bildung zu befragen, da sie „wahrscheinlicher Probleme in kurzer Zeit erkennen und artikulieren können“ (Miller et al., 2014, S. 17). Aber auch Personen mit einem tiefen Bildungsstand ermöglichen rasche Hinweise auf Probleme, wie „schwierige Vokabeln, Fragen oder unklarer Inhalt“ (Miller et al., 2014, S. 17). Da die Gesundheitsberufe verschiedene Bildungsniveaus aufweisen, musste die Stichprobe entsprechend heterogen angestrebt werden.

Für die kognitiven Interviews wurde eine Stichprobe von Pflegenden der spitalexternen Pflege in der deutschsprachigen Schweiz ausgewählt. Die Stichprobe wurde in drei Gruppen (Dipl. Pflegefachperson HF/ FH, Fachangestellte/r Gesundheit oder Assistent/in Gesundheit und Soziales und Pflegehelfer/in SRK) mit jeweils sechs Teilnehmenden, entsprechend des Bildungsniveaus, unterteilt. Insgesamt wurde eine Stichprobe von 18 angestrebt.

Der abschliessende Pretest wurde mit insgesamt 17 Gesundheitsfachpersonen aus der Pflege (n = 12), den medizinisch-technischen-therapeutischen Berufen (n = 3) sowie Personen aus dem ärztlichen Dienst (n = 2) durchgeführt. Die Teilnehmenden waren zum Zeitpunkt des Pretests in der ambulanten Pflege, Langzeitpflegeeinrichtungen sowie Akutspitälern und Psychiatrien tätig. Keine dieser Personen hatte zuvor an den kognitiven Interviews teilgenommen.

Die Datensammlung wurde zwischen November 2016 und Januar 2017 durchgeführt. Für die kognitive Validierung des Fragebogens wurden Organisationen der spitalexternen Pflege der Deutschschweiz für die Rekrutierung von Probanden angefragt. Diese leiteten die Informationen an Interessierte weiter, welche sich beim Forschungsteam meldeten. Die Eingrenzung auf das Setting der spitalexternen Pflege erfolgte, um die Machbarkeit, mit Fokus auf die zeitlichen Ressourcen im Rahmen eines Pretests, zu gewährleisten. Auch gerade bei den neu erstellten Fragen zu den betrieblichen Strukturen (Umgang mit Pausen und Pikettdienst etc.) schien die spitalexterne Pflege für die Validierung am geeignetsten, da angenommen wurde, dass die verwendeten Begriffe für die generierten Fragen und Antwortkategorien in diesem Setting nicht geläufig seien. Für die kognitive Validierung wurde die Technik „verbal probing“ angewandt, da die Teilnehmenden nicht, wie bei der Technik „think-aloud“, zuerst geschult werden mussten. Bei der Technik „verbal probing“ werden gegebene Antworten durch „eine oder mehrere Zusatzfragen hinterfragt“ (Prüfer & Rexroth, 1996, S. 23). Die Zusatzfragen sind vorgängig im Interviewleitfaden notiert worden. Nach den Interviews füllten die Teilnehmenden einen kurzen Fragebogen zu ihren soziodemografischen Angaben aus. Im Interviewleitfaden wurde jeder zu prüfenden Frage pro Phase eine bis drei Fragen nach Collins (2014) zugeteilt (siehe Tabelle 1).

Tabelle 1

Interviewleitfaden nach Collins (2014) inkl. Subkategorien nach Willis (2005)

Der Pretest des Gesamtfragebogens erfolgte online via Surveymonkey® zwischen März und Mai 2017. Es wurde eine Gelegenheitsstichprobe von Gesundheitsfachpersonen aus dem Umfeld der Forschenden durchgeführt. Sie wurden für eine Teilnahme per E-Mail oder Telefon angefragt und erhielten, bei Zusage, via E-Mail den Link zum Online-Fragebogen. Die Teilnehmenden konnten den Fragebogen ausfüllen und pro Frage ergänzend direkt kommentieren oder nach Abschluss des Fragebogens eine Rückmeldung per E-Mail an die Forschenden senden.

Die Datenanalyse erfolgte quantitativ und qualitativ. Die generierten Daten wurden mittels des Textverarbeitungsprogramms F4 transkribiert. Da der jeweilige Dialekt einen wesentlichen Einfluss auf die verwendeten Begriffe und somit auf das Verstehen einer Frage bzw. einer Antwort hat, wurden für das Schweizerdeutsch typische Wörter belassen.

Die qualitative Analyse geschah interpretativ nach Miller et al. (2014) in zwei Durchgängen mittels des Datenanalyseprogramms MAXQDA 12®. Ziel dieses Ansatzes ist „das konzeptuelle Verständnis über den [kognitiven] Prozess zur Formulierung einer Antwort sowie jegliche Schwierigkeit, Antwortende erfahren können […] zu produzieren“ (Miller et al., 2014, S. 37). Insgesamt gab es fünf Analyseschritte (Interview durchführen, zusammenfassen, Vergleich der einzelnen Interviews, Vergleich zwischen den Gruppierungen, Schlussfolgerung). Mit jedem weiteren Schritt erfolgte eine Reduktion des Textumfangs sowie eine Erhöhung der Interpretationsebene.

Nach Willis (2005) gibt es fünf mögliche Subkategorien, welchen identifizierte Probleme beim Kognitiven Pretesting zugeteilt werden können (Tabelle 1, rechte Spalte). Die Zuteilung geschah im Rahmen des zweiten qualitativen Analyseschritts. Es erfolgte eine Häufigkeitsanalyse der identifizierten Probleme mittels SPSS 23® pro Subkategorie in Relation zu der Gesamtanzahl. Die maximale Anzahl möglicher Probleme entspricht der Anzahl Fragen (n = 11) multipliziert mit der Anzahl Teilnehmenden pro Interview-Durchgang (n₁ = 8; n₂ = 10).

Die Rückmeldungen der Teilnehmenden wurden in einer Excel-Tabelle, kategorisiert nach der Frage, gesammelt. Kommentare mit gleichem Inhalt wurden zusammengefasst, sodass abschliessend pro Frage die Kommentare nach Häufigkeit sortiert werden konnten. Jede Frage wurde in der Projektgruppe besprochen und nach Konsensfindung wurden Anpassungen vorgenommen oder in der Ausgangsform belassen.

Im ersten Interview-Durchgang (n = 8) wurden insgesamt 42 Probleme in einer der vier Phasen nach Collins (2014) identifiziert, was nahezu die Hälfte (47 %) aller möglichen Antworten ausmacht. Etwas mehr als die Hälfte (57 %) der Probleme zeigte sich beim Verstehen der gesamten Frage oder eines einzelnen Begriffs und wurde der Subkategorie „Der Antwortende hat Schwierigkeiten, die Frage, ein bestimmtes Wort oder das Konzept zu verstehen“ zugeteilt. Weitere 38 % der Probleme konnten der Subkategorie „Der Antwortende hat Schwierigkeiten, die Antwort zu geben, die möglichen Antworten treffen nicht zu“ zugeordnet werden, da dort die Antwortmöglichkeiten für die spitalexterne Pflege als unzureichend oder unpassend angesehen wurden. Im zweiten Interview-Durchgang (n = 10) wurden zwei Probleme mit Fragen und Antworten erfasst, was 2 % aller möglichen Antworten ausmacht.

Im ersten Durchgang wurden bei den Fragen 2 und 4 in keinem Interview Probleme festgestellt. Sie konnten als einheitlich verständlich eingestuft werden. Bei allen anderen Fragen ergaben sich Probleme beim Verstehen, Schwierigkeiten beim Abrufen von Informationen oder auch Schwierigkeiten mittels der vorgegebenen Antwortkategorien die Fragestellung zu beantworten. Die ursprüngliche Version der Fragen und Antworten sowie die Anpassungen sind in Tabelle 3 zusammenfasend dargestellt.

Tabelle 3

Anpassungsprozess der Fragen & Antwortkategorien im Verlauf der kognitiven Validierung

In den Fragen (1, 3, 5, 6, 8, 11) zeigten sich Probleme mit dem Verständnis einzelner Wörter. Drei Fragen bzw. deren Antwortkategorien (1, 8,10) wurden marginal angepasst, nachdem Interviewte äusserten, einzelne Begriffe nicht zu verstehen oder aufgrund möglicher Mehrdeutigkeit eine falsche Antwort angekreuzt hätten (Tabelle 3). So wird bspw. ein durch den nachträglichen Titelerwerb erhaltener Bildungsabschluss nicht als solcher angesehen: „Ich habe den HF Titel geschenkt bekommen. Ich könnte […] das HF ankreuzen. Aber ich hätte es nicht angegeben, da ich es einfach dazu bekommen habe“ (I:2, 1, 16–18). Aus Frage 3 wurden zwei Fragen generiert (3, 4). Dies, da der Begriff „Beruf“ unterschiedlich interpretiert wurde: „Für mich ist aktueller Beruf „Pflege“. Ich habe die Jahre als Pflegeassistentin und als Diplomierte zusammengerechnet“ (I:4, 1, 26–27). Eine weitere Person äusserte sich folgendermassen dazu: „Unter Beruf verstehe ich „Berufsbezeichnung“ zum Beispiel FaGe. Weil ich vorhin Hauspflegerin geheissen habe, bin ich da jetzt unsicher, ob ich jetzt alles dazu zählen müsste“ (I:6, 1, 16–19). Durch Aufteilung der Frage in „Gesundheitswesen“ und „Position“ wurde diese Mehrdeutigkeit im zweiten Durchgang erfolgreich behoben (Tabelle 3). Ausschließlich bei Frage 1 zeigte sich im zweiten Durchgang ein Verständnisproblem. So wurde der Hochschulweiterbildungsabschluss Master of Arts (MAS) als Antwortkategorie gesucht, obwohl nach den Bildungsabschlüssen und nicht nach den Weiterbildungsabschlüssen gefragt wurde: „Ich habe zum Beispiel einen MAS […].Diese Antwortmöglichkeit müsste da irgendwo dazwischengeschoben werden können“ (I:10, 1, 3–5). Der Antwortkategorie „Hochschulabschluss auf Masterniveau“ wurde eine Information in Klammern angefügt. So wurde versucht, der Verwechslungsgefahr von Master of Science (MSc) und Master of Arts (MAS) vorzubeugen. Frage 5 wurde im ersten Durchgang durchgängig als unverständlich oder unübersichtlich eingestuft: „Wenn die Darstellung etwas besser aufgegliedert ist, dann weiss man, um was es geht“ (I:3, 1, 38–39). Von den Teilnehmenden wurde eine bessere Darstellung der Information gewünscht: „Wenn die Darstellung anders wäre, wäre es vielleicht besser“ (I:2, 2, 55–56). Die Informationen zur gesetzlichen Pausenzeit wurden aus der Frage genommen und als Informationstext vorangehend integriert. Im zweiten Durchgang wurde der Informationstext als nützlich und verständlich wahrgenommen und die Frage einheitlich verstanden. Die Hälfte der Befragten im ersten Durchgang kannte den Begriff „Ruhezeit“ in Frage 6 nicht: „Pause bedeutet aufs WC rasen, eine Banane nehmen und wieder losarbeiten. Ruhezeiten […], dass man sich an den Tisch setzt. Wir reden eigentlich gar nie von Ruhezeit“ (I:3, 1, 29–30). Nach Erklärung des Begriffs wurde die Frage einheitlich verstanden. Die Frage wurde für den zweiten Durchgang so umformuliert, dass der Begriff nicht weiterverwendet werden musste. Im zweiten Durchgang lag somit eine einheitliche Verständlichkeit vor (siehe alle Anpassungen in Tabelle 3).

Frage 9 wurde bereits nach der ersten Phase als einheitlich verständlich eingestuft. Einzig eine Teilnehmende äusserte: „An die letzten vier Wochen erinnere ich mich nicht“ (I:4, 1, 83–84). In Absprache mit der Projektgruppe wird zu Beginn des Fragebogens nun schriftlich informiert, den Arbeitsplan des letzten Monats als Unterstützung der Erinnerung beizuziehen (siehe Tabelle 3).

Bei Antworten zweier Fragen (7, 10) wurden nahezu in allen Interviews des ersten Durchgangs Probleme mit den Antwortkategorien festgestellt. Bei Frage 7 stellten sich die Antwortkategorien für die spitalexterne Pflege als unzutreffend heraus. Personal, welches Pikettdienst leistet, muss nicht, wie von der Antwort vorausgesetzt, bei Anruf im Betrieb, sondern beim Klienten sein: „Verständlicher wäre es aber, wenn nicht Betrieb, sondern Klienten [stehen würde]. Die Situation, dass wir in den Betrieb müssen, gibt es eigentlich nicht“ (I:2, 2, 94–95). Drei der fünf Antwortkategorien wurden somit um den Ausdruck „bei Klient(inn) en“ ergänzt. Frage 10 ist eine Vertiefungsfrage einer bereits validierten Frage zum Präsentismus des NEXT-Fragebogens. Die zur Frage 10 gehörige Antwort A beinhaltete zwei Antwortmöglichkeiten und wurde für den zweiten Durchgang separiert (Tabelle 3): „Das mit dem Pflichtgefühl, vielleicht schon, aber dann nicht zusammen mit, weil die Arbeit liegen bleibt. Da sind zwei Sachen zusammen“ (I:6, 2, 65–66). Die dazugehörige Antwort B wurde um das Wort „Führungspersonen“ ergänzt, da ein Grund für den Präsentismus nicht nur die Rücksicht auf Kolleginnen und Kollegen, sondern auch die Führungspersonen ist: „Meine Antwort wäre um die Leitung weniger zu belasten“ (I:2, 3, 120). Im zweiten Durchgang gab es ein Problem mit einer Antwortkategorie der Frage 10. Für einen Interviewteilnehmer „ist es nicht direkt Pflichtgefühl, sondern mehr das Verantwortungsgefühl meiner Klienten gegenüber“ (I:10, 1, 36–37). Die Antwort wurde nicht angepasst (siehe alle Anpassungen Tabelle 3).

Im Vergleich der Gruppen nach Bildungsniveau konnte kein Unterschied in Bezug auf die Art der Probleme im Frage-Antwort-Prozess identifiziert werden. Einzig bei der Frage zur Einhaltung gesetzlicher Rahmenbedingungen hatten diplomierte Pflegefachpersonen (n = 1) weniger Verständnisprobleme aufgrund fehlenden Wissens als Fachfrauen/-männer Gesundheit (n = 3).

Im Durchschnitt benötigen die Teilnehmenden 30 Minuten zum Ausfüllen des Fragebogens. Die Dauer variierte zwischen 20 und 40 Minuten. Die Teilnehmenden gaben keine Verständlichkeitsprobleme an. Sie wiesen auf Fehler der Rechtschreibung hin und gaben Optimierungsvorschläge zur Darstellung. Weiter gaben die Teilnehmenden die Rückmeldung, dass ihnen die Option zur Unterbrechung des Fragebogens und späterer Weiterführung gefehlt habe. Dies, da es während der Arbeit zu Situationen kam, die die Teilnehmenden dazu veranlassten, das Büro zu verlassen.