Bayes'sche Methoden in Klinischen Studien - Universität Leipzig

Bayes‘sche Methoden
in Klinischen Studien
Dr. Dirk Hasenclever
IMISE, Leipzig
Hasenclever@IMISE.uni-Leipzig.de

Einleitung und Überblick
• Bayesianische Methoden werden von vielen Statistikern
nur eine Rolle bei Phase I/II Studien zugewiesen. (Vgl.
Dosisfindung)
• Bayesianisches Konzept randomisierter Studien (nach
Parmar et al.). Argumentationslogische Interpretation.
• Prior der Studiengruppe:
< Bei zwei randomisierten Therapiestudien wurde der
Prior der Studiengruppe bzgl. des zu erwartenden
Therapieunterschieds erhoben.
< Methodik, Durchführbarkeit und Plausibilität der
Ergebnisse
• Das ethische Problem des “signifikanten Priors”
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 2

Bayes‘sche Methoden
in randomiserten Studien
• Hybridstudien:
Bayes‘sche Methoden in der Planung
frequentistischer RCTs
• Bayesianische RCTs:
Planung, Monitoring und Analyse im
Bayesianischen Paradigma
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 3

pr(
θ |
Erinnerung: Bayes’sches Paradigma
Bayes-Lernformel: Likelihood=
Wahrscheinlichkeit
der Daten gegeben 2
Daten)
=
∫
Prior-Verteilung
Unsicherheit
(Vorwissen)
vor Datenerhebung
pr(
Daten | θ ) ⋅ pr(
θ )
pr(
Daten | θ ') ⋅ pr(
θ ') ⋅ dθ
'
Posterior Verteilung
Unsicherheit über 2
nach Erhebung der Daten
Normierungskonstante
Subjektiver Wahrscheinlichkeitsbegriff
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 4

Bayesianische RCTs?
• Kritik (Vgl. Biometrie I):
Frequentistischer Sequenzialpläne sind
epistemologisch problematisch: Wieso ändert
< die Wahl der Stopping-Rule
< die Anzahl der Dateninspektionen
< hypothetisches Verhalten der Studienleitung und
< mögliche, aber eben nicht realisierte Daten
(Sample-space)
• die Evidienz aus Daten einer Studie?
• -> p-Werte sind kein adäquates Maß für Evidenz!
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 5

• KONTROVERSE
Bayesianische RCTs? II
• „RCTs sind scheinbar objektive, konzeptuell
undurchsichtige „Entscheidungsprozeduren“, ohne
definierte Präferenzfunktion... (modernes Gottesurteil?)“
• „Bayesianische Analysen hängen ab von subjektivem
Prior – und sind daher unwissenschaftlich“
• Möglicher Antwort: Intersubjektiver Bayes:
Evidenz -> Konsens in scientific community
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 6

Konsens durch RCTs
• Definitives RCT führt idealiter zu Konsens bzgl. der
Wertigkeit der verglichenen Therapien.
• Also plane Studie so, dass möglichst ein rationaler
evidenzbasierter Konsens hergestellt wird.
• Angestrebter argumentativer Impact ist
planungsrelevant,
(auch wenn weniger prinzipiell gesehen).
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 7

Intersubjectiver Bayes I
• IDEE
Die Daten einer RCT bilden ein Argument,
welches das Spektrum vertretbarer
rationaler Einschätzungen der
Therapiedifferenz innerhalb der scientific
community homogenisiert.
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 8

Intersubjektiver Bayes II
• Reflexion auf das Spektrum möglicher Prior
zum Zeitpunkt der Studienplanung:
• Welche Prior können plausibel und rational
in der scientific community vertreten
werden?
• Studienplanungsgrundlage:
„Konsens über Spektrum mögliche Prior“
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 9

Intersubjektiver Bayes III
• Stilisiere das Spektrum möglicher Prior durch seine
Ränder:
< Skeptischer, aber erfahrungsoffener Prior:
„Unwahrscheinlich, dass es einen relevanten
Unterschied gibt, aber Studie ist sinnvoll“
< Moderat enthusiastischer Prior:
„Gute Chance für einen relevanten Unterschied;
trotzdem ist die Studie ethisch gerade noch
vertretbar, um legitime Skeptiker zu
überzeugen“
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 10

Skeptischer / Enthusiastischer Prior
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 11

Intersubjektiver Bayes IV
• Unterscheide zwei Ebenen:
< Empirische Erhebung von relevanten Priors
–Prior der Studiengruppe etc.
–Relevanter Unterschied
< Logische Repräsentation von skeptischem und
enthusiastischem Prior als Grenzprior unter
denen die Studienfragestellung überhaupt
sinnvoll und akzeptabel erscheint.
–Logische Repräsentation hängt allerdings von
Konsens über „relevantem Unterschied“ ab.
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 12

Intersubjektiver Bayes V
• Definitive Studie sollte idealiter solange laufen,
bis
< Der Skeptiker von einem relevanten
Unterschied überzeugt ist:
pr(relevant | Daten, Skepsis) > (1-") oder
< Der Enthusiast enttäuscht ist
pr(relevant | Daten, Enthusiast) < $
• Dies liefert rationale Abruchstrategie.
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 13

Bsp.: CHART-trial
Parmer, Griffiths, Spiegelhalter, Souhami, Altman, van der Scheuren (2001)
Lancet 358: 375-81
• Zwei RCTs zur Frage:
• Bei
< Continuous hyperfractionated accelerated
radiotherapy vs.
< Conventional radiotherapy
< Lung cancer
< Head and Neck tumour
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 14

Bsp.: CHART-trial
Parmer, Griffiths, Spiegelhalter, Souhami, Altman, van der Scheuren (2001)
Lancet 358: 375-81
Lung cancer:
Prior distribution
of 11 participating
clinicians
Average of probability
distributions provided
by each participant.
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 15

Bsp.: CHART-trial
Parmer, Griffiths, Spiegelhalter, Souhami, Altman, van der Scheuren (2001)
Lancet 358: 375-81
Skeptischer Prior
Skeptischer Posterior
Data allein
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 16

Results from lung cancer trial
Frequentist analysis
Events/N p 2yr
DFS
Diff.
Sceptical Posterior
estimates
2yr
DFS
Diff.
Pr(d>0%) Pr(d>5%) Pr(d>10%)
1991 12/119 - - - - - -
1992 78/256 0.007 20% 7% 95% 70% 24%
1993 192/380 0.001 15% 9% 99% 86% 31%
1994 275/460 0.004 12% 8% 99% 80% 18%
1995 379/563 0.006 9% 7% 99% 73% 9%
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 17

Bsp.: CHART-trial
Parmer, Griffiths, Spiegelhalter, Souhami, Altman, van der Scheuren (2001)
Lancet 358: 375-81
Head&neck tumour:
Prior distribution
of 9 participating
clinicians
Average of probability
distributions provided
by each participant.
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 18

Bsp.: CHART-trial
Parmer, Griffiths, Spiegelhalter, Souhami, Altman, van der Scheuren (2001)
Lancet 358: 375-81
Daten allein
Enthusiastischer Posterior
Enthusiastischer Prior
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 19

Results from Head and Neck cancer trial
Frequentist analysis
Events/N p 2yr
DFS
Diff.
Enthusiastic Posterior
estimates
2yr
DFS
Diff.
Pr(d>0%) Pr(d>5%) Pr(d>10%)
1991 45/272 - - - - - -
1992 188/531 0.5 3% 6% 90% 56% 15%
1993 293/674 0.16 3% 5% 90% 46% 7%
1994 387/791 0.20 4% 5% 95% 53% 7%
1995 464/918 0.33 3% 4% 91% 39% 2%
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 20

Bsp.: CHART-trial
Parmer, Griffiths, Spiegelhalter, Souhami, Altman, van der Scheuren (2001)
Lancet 358: 375-81
„This Bayesian approach to monitoring is simple to implement
and straightforward for the members of the DMEC to understand,
and in our opinion more intuitively appealing than conventional
approaches .
To implement the Bayesian approach, beliefs need to be elicited
from the prospective collaborators.
In our experience, this process has been the bases of a very
Positive interaction, making explicit the issues and information
needed to help design and monitor large randomised trials.“
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 21

Erinnerung: Zweimal Testen
falls noch nicht signifikant ? I
Einfachster Fall: Ziehe Beobachtungen x i ~ N(0,1)
Teste nach n1 Beobachtungen.
Falls noch nicht signifikant, teste nach weiteren n2 Beobachtungen.
Wahrscheinlichkeit die Nullhypothese abzulehnen, wenn sie wahr ist,
pr(
rej(
H
0
))
=
+
pr(
rej
(1 −
test1
( H
pr(
rej
0
test1
))
( H
0
)))*
pr(
rej
test 2
( H
0
)
|
¬ rej
test1
( H
0
)))
ist jedenfalls größer als:
pr( rej ( H ))
test1 0
Bedingte Power > 0
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 22

Frequentistische Eigenschaften
Skeptischer Prior kann spezifiziert werden,
durch Pseudo Daten von fiktiven Studienpatient
bei denen kein Unterschied beobachtet wurde.
Handicap = PseudoPatienten als % der
geplanten Studienfallzahl
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 23

Offene Fragen bei B-RCTs
• Wahl des relevanten Unterschieds
• Genaue Spezifikation von skeptischem und
enthusiastischem Prior in diversen Situationen
• Stellenwert empirischer Studiengruppenprior
• Enthusiastischer Studiengruppenprior und
Ethik von RCTs
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 24

Bestimmung eines Studiengruppen-Priors
• Dokumentation des Priors einer
Studiengruppe bzgl. des zu erwartenden
Therapieunterschieds zu Beginn der Studie
durch einfache Fragebögen auf dem
Initiierungsstudientreffen.
• Faktorielle Studie:
< Kurze gegen lange Standardtherapie
< Standardtherapie ± NEUESPRÄPARAT®
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 25

Methode
• Zunächst: Darstellung relevanter Daten
und breite Diskussion der
Studienkonzepion
• Kurzvortrag zum Sinn der Umfrage
• Fragebogenumfrage
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 26

Fragestellung
Von Ihnen erwarteter Unterschied in den 3-Jahres FFTF-Raten
bei Hinzuname von NEUESPRÄPARAT®:.
ACHTUNG: Vorzeichen positiv: NEUESPRÄPARAT® besser,
Vorzeichen negativ: NEUESPRÄPARAT® schlechter
a) erwartete Differenz: ______% Differenz in 3 J. FFTF
b) Obere Überraschungsgrenze: ______% Differenz in 3 J. FFTF
c) Untere Überraschungsgrenze: ______% Differenz in 3 J. FFTF
( [Untere Überraschungsgrenze , Obere Überraschungsgrenze]
entspricht 95% credible interval. )
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 27

20
8 vs. 6 cycle effect
Lange gegen kurze Standardtherapie
10
Std.abw. = 3,60
Mittel = 6,4
0
N = 45,00
0,0
2,5
5,0
7,5
10,0
12,5
15,0
17,5
20,0
most plausible estimate of difference in 3 year FFTF rates in %
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 28

8 vs. 6 cycle effect
Lange gegen kurze Standardtherapie
30
30
8 vs. 6 cycle effect
20
20
10
10
Std.abw. = 3,58
Std.abw. = 4,21
Mittel = -1,0
Mittel = 12,6
0
-10,0
-7,5
-5,0
-2,5
0,0
2,5
5,0
N = 45,00
0
5,0
10,0
15,0
20,0
25,0
30,0
N = 45,00
Lower surprise boundary for difference in 3 year FFTF rates
Upper surprise boundary for difference in 3 year FFTF rates
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 29

40
Rituximab effect
Effekt von NEUESPRÄPARAT®
30
20
10
Std.abw. = 3,64
Mittel = 10,6
0
N = 45,00
5,0
10,0
15,0
20,0
25,0
most plausible estimate of difference in 3 year FFTF rates in %
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 30

Rituximab effect
Effekt von NEUESPRÄPARAT®
16
20
Rituximab effect
14
12
10
8
10
6
4
2
Std.abw. = 4,52
Mittel = 1,0
Std.abw. = 5,46
Mittel = 18,0
0
-10,0
-7,5
-5,0
-2,5
0,0
2,5
5,0
7,5
10,0
N = 45,00
0
5,0
10,0
15,0
20,0
25,0
30,0
35,0
40,0
N = 45,00
Lower surprise boundary for difference in 3 year FFTF rates i
Upper surprise boundary for difference in 3 year FFTF rates
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 31

Mixture prior
In order to form a study group prior from the individual
95% credible intervals a mixture density was constructed.
Individual priors were modelled as
asymmetric half-normal distributions
with mode in the plausible estimate and
2,5% credibility outside the surprise boundaries on each side.
Then a mixture of these density was calculated.
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 32

clinicians' mixture prior density
12
11
10
9
8
7
6
5
4
3
2
1
0
Study group Prior prior der Studiengruppe on 6 vs. 8 cycles zum Effekt
Lange gegen kurze Standardtherapie
-,20
Frankfurt/M, Feburary, 5th 2001
95% credible interval
[-2,8%, 15,4%]
Median estimate
Pr( delta < 0) = 8,1%
-,15
-,10
-,05
0,00
,05
5,9%
,10
Pr( delta > 10%) = 17,5%
,15
,20
,25
difference in 3 year FFTF
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 33

clinicians' mixture prior density
12
11
10
9
8
7
6
5
4
3
2
1
0
Study group Prior prior der on Studiengruppe Rituximab effect zum
Effekt von NEUESPRÄPARAT®
-,20
Frankfurt/M, February, 5th 2001
95% credible interval
[-0.7%, 21,5%]
Median estimate
-,15
-,10
-,05
0,00
,05
9,9%
Pr( delta < 0%) = 3,2% Pr( delta > 10% ) = 49%
,10
,15
,20
,25
difference in 3 year FFTF rates
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 34

Problem: „Signifikanter“ Prior bzgl.
NEUESPRÄPARAT®
• Studie könnte als unethisch erscheinen.
• Studiengruppenprior zur Patientenaufklärung?!?
Allerdings wird Einschätzung, die frequentistischer
Planung zugrunde lag, nur explizit gemacht..
• Einigkeit auf Studientreffen, dass Studie
erforderlich, da Prior auf Extrapolation beruht.
• Studiengruppenprior (in diesem Fall) enthusiastisch.
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 35

Elderly patients with aggressive Non-Hodgkin Lymphoma
Coiffier 2002 NEJM
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 36

Elderly patients with aggressive Non-Hodgkin Lymphoma
Coiffier 2002 NEJM
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 37

Figure 1: Event-free survival in the NHL-B2 trial. Event-free survival of all 689 eligible
patients assigned to CHOP-21 (n=178), CHOP-14 (n=172), CHOEP-21 (n=170), and
CHOEP-14 (n=169). Median time of observation for all patients is 58 months.
Pfreundschuh 2003
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 38

Figure 2: Overall survival in the NHL-B2 trial. Overall survival of all 689 eligible patients
assigned to CHOP-21 (n=178), CHOP-14 (n=172), CHOEP-21 (n=170), and CHOEP-14
(n=169). Median time of observation for all patients is 58 months.
Pfreundschuh 2003
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 39

Ethik von RCTs: Drei Standpunkte zur
Vertretbarkeit von Randomisierung
• Uncertainty principle (Hill)
< “Only if, in his state of ignorance, the doctor believes
the treatment given to be a matter of indifference can he
accept to randomise.”
• Clinical Equipoise
< Randomisation when there exists an honest
professional disagreement among expert clinicians
about the preferred treatment.
• Evidential equipoise (?)
< Randomisation when there is not enough evidence to
convince a rational sceptic
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 40

Literatur zu Bayes‘schen RCTs
Parmar MK, Spiegelhalter DJ, Griffiths GO, Altman DG, Souhami RL:
Monitoring of large clinical trials: a new approach with Bayesian methods.
Lancet 358:375-81 (2001)
Parmar MK, Spiegelhalter DJ, Freedman LS : The Chart trials : Bayesian design and
monitoring in practice. Stat in Med 13:1287-1312 (1994)
Freedman LS, Spiegelhalter DS, Parmar MK: The what, why and how of Bayesian
clinical trial monitoring. Stat in Med 13 (1994)
Spiegelhalter DJ, Freedman LS, Parmar MK: Bayesian Approaches to
Randomized trials. J R Stat Soc A 157 part 3: 357-416 (with discussion) (1994)
Freedman LS, Spiegelhalter DJ: Application of Bayesian Statistics to decision making
during a clinical trial, Stat in Med 11: 23-35 (1992)
Vorlesung: Biometrie IV – Klinische Studien Dr. Hasenclever, IMISE, Universität Leipzig, SS04 41