Kompetenz 9: Validierung und Evaluation

Zwei Dinge sind für eine faire und wirksame externe Qualitätsdarstellung entscheidend: Valide, zuverlässige Messinstrumente und das Wissen, daß auch die Anforderungen an die Qualitätsdarstellung erfüllt werden können. Um beides zu erreichen, setzt die BQS auf eine zuverlässige Datenbasis sowie die strukturierte Entwicklung, Validierung und regelmäßige Evaluation ihrer Qualitätsmessinstrumente.

Auswertungen
Messinstrumente gibt es viele. Gute Messinstrumente, die auch wirklich mit hoher Zuverlässigkeit (Reliabilität) das messen, was gemessen werden soll (Validität), sind selten. BQS-Auswertungskonzepte werden von erfahrenen Methodikern und Biometrikern in Zusammenarbeit mit den Experten in den BQS-Fachgruppen entwickelt. Neue Meßinstrumente müssen bereits in einem Prätest oder Probebetrieb ihre Eignung unter Beweis stellen.

Datenqualität
Fehler bei der Dateneingabe erzeugen Messfehler. Sensible Daten erfordern harte Prüfungen – nichts darf dem Zufall überlassen werden. Plausibilitätsregeln suchen daher bereits bei der Erfassung der Daten nach unzulässigen Antwortkombinationen. Das sichert Validität auf hohem Niveau und zeitnah zur Erfassung. Ein zusätzlicher Prüfschritt der Datensätze erfolgt bei der Datenannahme.
Die externe Qualitätsdarstellung steht und fällt mit vertrauenswürdigen Daten. Die Verpflichtung zur korrekten und vollständigen Dokumentation besteht, wurde aber mit den bislang verfügbaren Instrumenten nicht systematisch überprüft. Ab dem Jahr 2006 erhalten die BQS-Auswertungen durch ein verpflichtendes Datenvalidierungsverfahren zusätzliche Aussagefähigkeit.

Repräsentativität
Ein Standard bei der statistischen Analyse großer Datenmengen ist die Prüfung der Repräsentativität. Die BQS bewertet ausführlich die Datensätze und Stichproben. Verzerrungen oder Ausfälle werden aufgezeigt und daraufhin untersucht, ob sie systematisch oder zufällig zustande gekommen sind. Unsere Statistiker können für die Daten angeben, bis wohin die Interpretationen tragen und wo Vorsicht geboten ist.

Rechenregeln
Den BQS-Bundesauswertungen liegen Tausende von Vorschriften zur Berechnung der einzelnen statistischen Kennzahlen zugrunde. Um Fehler auszuschließen, wird jede dieser Rechenregeln dreimal validiert: Bei der BQS durch Biometriker und ärztliche bzw. pflegerische Mitarbeiter sowie durch den Zentralen Datenservice der BQS (quant Service für das Gesundheitswesen GmbH).
Ob richtig gerechnet wird, prüft die BQS, indem die Ergebnisse für alle Kennzahlen von zwei unabhängigen Stellen bestimmt werden. Nur bei Übereinstimmung aller Ergebnisse wird die Auswertung freigegeben. Differenzen wird im Detail nachgegangen.

Qualitätsindikatoren
Neben der Evidenzbasierung sind zwei Kriterien für die methodische Qualität von Qualitätsmessinstrumenten besonders wichtig:

• Unterschiedliche Qualitätsniveaus zwischen Krankenhäusern müssen sichtbar werden.
• Bei Wiederholung der Messung unter unveränderten Bedingungen muß das gleiche Ergebnis erzielt werden

Viele Qualitätsindikatoren verbrauchen sich im Laufe ihres Einsatzes. Wenn erreichbare Veränderungen erreicht und Qualitätsschwankungen nicht mehr zu beobachten sind, ist es sinnvoll, sich auf neue Versorgungsprobleme zu konzentrieren.

Leistungsbereiche
Die BQS bewertet auch ganze Leistungsbereiche regelmäßig anhand eines umfassenden Kriterienkatalogs:
• Qualitätsziele und Versorgungsprobleme
• Zielgruppe und Häufigkeit
• Kosten
• Varianz der Versorgung
• Steuer- und Beeinflußbarkeit
• Messbarkeit
• Risiko und Folgen
• Machbarkeit
• Entgeltpauschalierung

Diese Fragen werden  mehrfach gestellt: Das erste Mal vor dem Start eines Verfahrens, kontinuierlich während seiner Anwendung  und auch vor einer Entscheidung über seine Beendigung. Das Ergebnis der Evaluation zeigt Auftraggebern und Teilnehmern, wann der Zeitpunkt gekommen ist, den Schwerpunkt auf andere, für die Versorgung wichtigere und interessantere Leistungsbereiche zu verlagern.