background image

 

 

Evidence-based practice - 

Obstetrics and 

Gynaecology

background image

 

 

Evidence-based Practice

What is EBM?

What EBM is not.

Do we need EBM?

Is Obstetrics and Gynaecology a 
special case?

background image

 

 

Evidence-based practice: 

the reactions

Incensed - practice is evidence-based

Indifferent - there is no evidence to use

Enthusiastic but disillusioned - great 
idea but where is the ‘wherewithal’ to 
do it

background image

 

 

What evidence-based 

practice is:

Evidence-based medicine is the 
conscientious, explicit and judicious 
use of current best evidence in 
making decisions about the care of 
individual patients.  Its 
philosophical base dates back to 
the sceptics of post-revolutionary 
Paris (Bichat, Louis, Magendie).

background image

 

 

What evidence-based 

practice is:

The practice of EBM requires the 

integration of 

individual clinical expertise 

with the 

best available external clinical 
evidence from systematic research.

background image

 

 

What evidence-based 

medicine is:

Good doctors use both individual clinical 
expertise and the best available external 
evidence, and neither alone is enough. 

»

 Without the former, practice risks becoming 
evidence-tyrannised, for even excellent 
external evidence may be inapplicable or 
inappropriate for an individual patient.  

»

Without the latter, practice risks becoming 
rapidly out of date, to the detriment of 
patients and patient-care.

background image

 

 

What is Evidence-based 

Practice

Clinical Skills

Keeping
up to date

Clinical question

Audit

Find the Evidence

Apply to Practice

Critical Appraisal

background image

 

 

What is evidence-based 

practice?

Clinical Skills

Keeping
up to date

Clinical question

THE

PATIENT

Audit

Find the Evidence

Apply to Practice

Critical Appraisal

background image

 

 

What evidence-based 

medicine is:

this definition also helps us identify 
and understand what evidence-
based medicine is not.

background image

 

 

Evidence-based medicine 

is not “cook-book” 

medicine:

Patients cannot go through a ‘treatment 
tunnel’ assuming the same management is 
appropriate and the same outcomes 
important to each  

External clinical evidence can inform, but can 
never replace, individual clinical expertise 

Your clinical accumen decides whether the 
external evidence applies to the individual 
patient at all and, if so, how it should be 
integrated into a clinical decision.

background image

 

 

Evidence-based medicine 

is not “cost-cutting” 

medicine:

The aim is to give most benefit to 
each individual patient

To apply the most efficacious 
interventions which will maximise 
their function, quality, and quantity 
of life

 may raise rather than lower the 
cost of their care.

background image

 

 

EBM is neither old-hat nor 

impossible to practice:

The former argument falls before the evidence:

»

 of striking variations in the integration of 
patient values into our clinical behaviour

»

of striking variations in the rates with which 
clinicians provide interventions of established 
benefit and uselessness to their patients.  

»

in the inability of clinicians to keep abreast of 
important medical advances reported in 
primary journals

background image

 

 

EBM is not restricted to 

randomised trials:

Practising EBM requires the best clinical 
evidence with which to answer our clinical 
questions.  

»

On diagnostic tests: a proper cross-
sectional study of patients clinically 
suspected of harbouring the target 
disorder, not a randomised trial.  

»

On prognosis, a proper follow-up study of 
patients assembled at a uniform, early 
point in the clinical course of their disease.

background image

 

 

Levels of Evidence

I. Systematic Review of RCTs
II.

RCT of appropriate size and power

III. well-designed cohort or case-

controlled studies

IV. non-experimental studies from 

more  than one centre

V.

respected authorities,descriptive 

studies

background image

 

 

Do we Need EBM?

background image

 

 

Do we need EBM?

What do you need to do to keep 
abreast?

»

20,000 medical journals

»

General physician - 19 articles per day 
every day of the year

background image

 

 

Clinicians need Information

If asked:

 we need it twice a week,

 we get it from our text books & 
journals.

background image

 

 

Clinicians really need 

information!

If shadowed:

 we need it up to 60 times per week 
(twice per every three patients), and 
it could affect eight decisions per day.

but we get only 30% of it,

and that comes from passers-by

»

textbooks are out of date/journals too 
disorganised/library closed/ too far

background image

 

 

Textbooks?

Antenatal Steroids?

»

clear beneift since the first trial

»

since 1972 just improved the precision 
of the confidence intervals?

»

textbooks 1990, 1991, 1992 - “ there 
is no role for antenatal steroids”

background image

 

 

Luteal Progestagens - HMB

1960 first subjective study

1987 first RCT no benefit

1995 first review no benefit

1995 38% of prescriptions for 
HMB by 

GPs

1998 RCT of 21 day progestagens 

»

87% reduction

background image

 

 

Textbooks?

Tranexamic acid

»

first RCT 1967

»

first RCT comparing it against another 
Rx 1988

»

first systematic review 1995

»

first meta-analysis 1998

»

Textbooks

background image

 

 

Our textbooks are out-of-

date

Fail to recommend Rx up to ten 
years after it’s been shown to be 
efficacious.

Continue to recommend therapy up 
to ten years after it’s been shown 
to be useless.

background image

 

 

Time spent reading around 

one’s patients is slim:

Self-reports from Oxford (medians):

Medical Students: 60 minutes per week

House Officers:

none

S.H.O.’s:

10 minutes

Registrars:

90 minutes

Senior Registrars: 45 minutes

Consultants:

»

Post 1975: 60 minutes

»

Pre   1975: 30 minutes 

background image

 

 

Time spent reading around 

one’s patients is slim:

Self-reports (median minutes last week):

Medical Students:   60-120

House Officers:

  0-20  (up to 75%=none)

S.H.O.’s:

10-30  (up to 15%=none)

Registrars:

10-90  (up to 40%=none)

Senior Registrars: 10-45  (up to 15%=none)

Consultants:

»

Post 1975: 15-60  (up to 30%=none)

»

Pre   1975: 10-45  (up to 40%=none)

background image

 

 

Time spent reading vs. 

time spent driving:

Self-reports - Leicester GPs (medians):

Travelling to and from the library = 60 
minutes

Reading re patients in the library = 10 
minutes

Median ratio of travelling to reading = 1.8 

background image

The Slippery Slope

The Slippery Slope

years 

since

 

graduatio

n

r = -0.54

p<0.001

...
...

. ..

. . ....

 

 

 . 

....
....

...

..

...

knowled

ge

of 

current 

best 

care

background image

 

 

Performance deteriorates, 

too

Screened 6,000 steelworkers and 
found 300 untreated, uncontrolled 
hypertensives.

Evaluated and confirmed their 
hypertension over the next 3 
months.

Then got them into the offices of 85 
local GPs. 

background image

 

 

6 months later, only 2/3 

had been started on Rx

Determinants of the clinical  decision 

to treat some, but not others:

1

The level of diastolic blood pressure.

2

The patient’s age.

4

The amount of target-organ damage.

background image

 

 

Performance deteriorates, 

too

Determinants of the clinical  decision 

to treat some, but not other, 
hypertensives:

3

The doctor’s year of graduation 
from medical school.

background image

 

 

Do we Need EBM?

Vulnerable Health Carers

‘Questioning’ patients

background image

 

 

Running Summary 

Clinicians need information, but most 
of our needs are never met:

»

Our textbooks are out of date.

»

Important and relevant information lost in 
the deluge of information irrelevant to us

Consequently, our knowledge and 
performance deteriorate.

background image

 

 

The onus on us?

The patient population

Archie Cochrane - GO for go ahead 
without evaluation

Pregnancy and Childbirth Cochrane 
Review Group

background image

 

 

Incensed?

Our practice is already 

evidence-based

background image

 

 

Is EBM already in practice?

Variation in practice?

– Post-menopausal Bleeding?
– Endometrial sampling?
– Stress incontinence?
– Hysterectomy rates?
– Management of spontaneous abortions?

background image

 

 

Is EBM already in Practice?

Information applied? - The Past

»

Antenatal steroids

– First meta-analysis 1990 ( Crowley,1990)
– <25% of those who would have benefited 

received antenatal steroids in the UK 
(Osiris 1992)  

– 18% of those who would have benefited 

received antenatal steroids in the USA 
(NIH,1994)

background image

 

 

Is EBM already in Practice?

Information applied? - The present.

»

Electronic Fetal heart rate monitoring in 
the low risk group

– increases the operative delivery rate 

(Neilson, 1993, 1995) 

»

Eclampsia - 1995 only 60% of UK units 
used MgSO

4

»

Heavy menstrual Bleeding - Tranexamic 
acid (5%) norethisterone (38%)

background image

 

 

The indifferents

There is no evidence for 

anything we do so what’s 

the use?

background image

 

 

Is the evidence there?

‘only about 15% of medical 
interventions are supported by solid 
scientific evidence’ ( BMJ 
Editorial,1995)

only 21% of 126 diagnostic and 
therapeutic technologies assessed by 
the US NIH were firmly based in 
research-generated scientific evidence

background image

 

 

Is the Evidence there?

Acute General Medicine - 82%

General Practice - 81%

Acute General Psychiatry - 65%

background image

 

 

Is the Evidence there?

When the patients, not clinical 
manoeuvres, are used as the 
denominator

When the evidence is either 
systematic reviews of RCTs or RCTs 

or

Convincing non-experimental 
evidence

background image

 

 

Gynaecology OPD

4 weeks of new patients (84 patients) 

70 patients (14 DNAs)

5 awaiting urodynamics

Divided into 

»

SR and RCT evidence

»

Convincing non-experimental evidence

»

lesser evidence

background image

 

 

Gynae OPD - SR and RCT-

34%

PMB - D&C, Hysteroscopy

8

Heavy menstrual bleeding
13

Fibroid Uterus 26/40-Zoladex 1

Infertil. Male factor - IVF

1

»

Unexplained (age) - IVF

1

background image

 

 

Non-exp evidence-44%

Uterine prolapse-surgery/pessary 1/3

Cyclical pain-laparoscopy

1

Simple cyst -review 2

Dermoid 6 cm - remove 1

Cystocele/rectocele -surgery 2

Oligomenorrhoea COCP 1

Sterilization

21

background image

 

 

? Level of Evidence- 20%

Backache, pain not gynae

5

3 yr old labial adhesions

1

cyclical umbilical bleed

1

Infertility unexplained - wait

2

Stress incontinence - Physio

5

background image

 

 

Enthusiastic but 

Disillusioned

There is no time to find 

and implement the 

evidence?

background image

 

 

What is Evidence-based 

Practice

Clinical Skills

Keeping
up to date

Clinical question

Audit

Find the Evidence

Apply to Practice

Critical Appraisal

background image

 

 

Clinical, focused question

1.

The patient/population

2.

The intervention

3.

The comparision intervention

4.

The outcome of clinical importance 

background image

 

 

What is Evidence-based 

Practice

Clinical Skills

Keeping
up to date

Clinical question

Audit

Find the Evidence

Apply to Practice

Critical Appraisal

background image

 

 

Searching Filters

Clinical Topic

Medline 

(WINSPIRS)

Treatment

clinical-trial in pt

Prognosis

exp cohort-studies

Aetiology/cause

risk in ti,ab,MeSH

Diagnosis

sensitivity in ti, ab,
MeSH

background image

 

 

The Cochrane Library

Pregnancy and Childbirth

Subfertility / Menstrual Disorders

Gynaecological Malignancies

Incontinence

Osteoporosis

Fertility Control

Sexually Transmitted Diseases

background image

 

 

‘Highlighting journals’

ACP journal Club

Evidence-based Medicine

»

Search journals

»

select methodologically sound articles

»

select clinically relevant/important 
articles

»

produce summary and comment

background image

 

 

What is Evidence-based 

Practice

Clinical Skills

Keeping
up to date

Clinical question

Audit

Find the Evidence

Apply to Practice

Critical Appraisal

background image

 

 

Mastering some simple 

rules of evidence

for determining validity:

»

of diagnostic/screening tests: was there 
an independent, blind comparison with a 
“gold standard” of diagnosis?

»

of prognostic markers: was there an 
inception cohort?

»

of therapy: was assignment to 
treatments randomised and concealed?

background image

 

 

Mastering some simple 

rules of evidence

For determining clinical usefulness:

»

of diagnostic/screening tests: do these 
results move my patient across a 
treatment/ no treatment threshold ?

»

of therapy: how many patients like 
mine need to be treated with this 
therapy in order to prevent one 
clinical event (NNT)?

background image

 

 

NNT - Third stage

How many women need active 
management of the third stage of 
labour to save one woman from a 
PPH 
(> 500mls blood loss)?

NNT = 16

background image

 

 

Number Needed to Harm

How many women need active 
management of the third stage of 
labour to cause one extra woman 
to be sick compared to the 
expectantly managed group?

NNH = 15

background image

 

 

NNT - Heavy mens. 

Bleeding

How many women will be treated 
with mefenamic acid to prevent 
one woman from heavy menstrual 
bleeding 
(> 80mls/cycle blood loss)?

NNT = 4

background image

 

 

NNT - Heavy mens. 

bleeding

How many women will be treated 
with tranexamic acid to prevent 
one woman from heavy menstrual 
bleeding 
(> 80mls/cycle blood loss)?

NNT = 2

background image

 

 

NNT - Heavy mens. 

bleeding

How many women will be treated with 
tranexamic acid compared to 
mefenamic acid to prevent one extra 
woman from heavy menstrual 
bleeding 
(> 80mls/cycle blood loss)?

NNT = 8

background image

 

 

The results

Endometr.

Thickness

Endometr.

Cancer

Other

diagnosis

Endometr.

Thickness

Endometr.

Cancer

Other

Diagnosis

≤ 4mm

0 (0%)

518(51%) 16-20mm 27 (24%) 38 (4%)

5mm

2 (2%%)

86 (8%)

21-25mm 17 (14.9%) 17 (2%)

6-10mm 13 (11.%) 232(23%)

>25mm

27 (24%)

16 (2%)

11-15mm 28 (25%) 117 (11%)

Total

114

1024

background image

 

 

Likelihood Ratios

LR =

 % of patients with disease

% of patients without the disease

LR  < 0.1 

strong negative evidence

LR > 10 strong positive evidence

background image

 

 

Likelihood ratios

Endometrial

Thickness

LR

Endometrial

Thickness

LR

≤4mm

0

16-20

6.4

5mm

0.2

21-25

8.8

6 - 10mm

0.5

>25

14.8

11-15mm

2.2

background image

 

 

What is Evidence-based 

Practice

Clinical Skills

Keeping
up to date

Clinical question

Audit

Find the Evidence

Apply to Practice

Critical Appraisal

background image

 

 

Evidence-Based Medicine:

Does it work?

background image

 

 

No wonder, then, that 

CME is mushrooming

Big, and getting huge.

Usually instructionally (fact) 
oriented. 

background image

 

 

An RCT of CME

Clinicians with similar preferences were 

randomised into:

an Experimental Group (who would 
receive CME now for “high preference” 
conditions if they agreed to study “low 
preference” conditions, too).

a Control Group (who would receive 
CME later).

background image

 

 

An RCT of CME

Then measured the quality-of-care 

provided high-preference, low-
preference, and “hidden” indicator 
conditions:

in both experimental and control 
practices

both before and after the former 
group received their CME

background image

 

 

An RCT of CME: 

High Preference Conditions

Quality of care rose slightly 
(statistically, but not clinically 
significant) in the Experimental 
Practices

An identical rise was observed in 
Control Practices !

background image

 

 

An RCT of CME: 

High Preference Conditions

(“If you want CME, you don’t need 

it!”)

background image

 

 

An RCT of CME: 

Low Preference Conditions

Quality of care rose substantially in 
Experimental Practices.

Quality of care declined slightly in 
Control  Practices.

background image

 

 

An RCT of CME: 

Low Preference Conditions

(“CME only works if you don’t want 

it!”)

background image

 

 

An RCT of CME: 

Hidden Conditions

Quality of care deteriorated slightly 
in both Experimental and Control 
practices.

background image

 

 

An RCT of CME: 

Hidden Conditions

(“CME does not cause general 

improvements in the quality of 
care.”)

background image

 

 

Running Summary 

Clinicians need information, but 
most of our needs are never met:

»

Our textbooks are out of date.

»

Our journals are disorganised.

Consequently, our knowledge and 
performance deteriorate.

And traditional instructional CME 
doesn’t improve our performance.

background image

 

 

Where’s the evidence 

about evidence-based 

medicine?

Short term evidence from a trial 
among clinical clerks nearing 
graduation.

Long term evidence from a natural 
experiment among clinicians up to 
15 years following graduation.

background image

 

 

Short term Evidence 

among Clinical Clerks: A 

Trial

Experimental clerks: worked with 
Clinical Tutors who’d taken a crash 
course in critical appraisal and had 
worked up diagnostic tests and 
treatments bound to arise in their 
clerkship.

Control clerks: worked with usual 
Clinical Tutors.

background image

 

 

Short term Evidence 

among Clinical Clerks: A 

Trial

Before and after the clerkship, both  sets 

of clerks were given patient scenarios:

1

describing the patient’s clinical problem;

2

calling for diagnostic and treatment 
decisions;

3

accompanied by a clinical article 
advocating a specific diagnostic test or 
treatment for such patients.

background image

 

 

Short term Evidence 

among Clinical Clerks: A 

Trial

After an evidence-based clerkship, 
Experimental Clerks made more 
correct decisions, and were better 
able to justify them.

background image

 

 

Short term Evidence 

among Clinical Clerks: A 

Trial

Control Clerks deteriorated, and 
were more likely to be wrong after 
their clerkship than before it!

»

they had become more accepting of 
recommendations from authority 
figures.

background image

 

 

Long term evidence up to 

15 years following 

graduation

Compared the up-to-date knowledge 

of graduates of a self-directed EBM 
medical school vs. a traditional 
medical school.

background image

 

 

Three solutions 

Clinical performance can keep up to date:

1

by learning how to practice evidence-
based medicine ourselves.

2

by seeking and applying evidence-based 
medical summaries generated by others.

3

by accepting evidence-based practice 
protocols developed by our colleagues.

background image

 

 

Getting research into 

practice

What might work

»

Audit and feedback

»

Local consensus

»

Local opinion leaders

»

Patient mediated interventions

background image

 

 

Getting Research into 

practice

What may work

»

Interactive educational meetings

»

Multifaceted 

»

Educational outreach visits

»

Reminders (manual, computerized)

background image

 

 

Number needed to treat

Relative risk reduction

 = CER-EER / CER

Absolute risk reduction = CER - EER

NNT = 1 / ARR

background image

 

 

NNT - FHM

How many low risk pregnancies will 
be monitored by Electronic fetal 
heart rate monitoring compared to 
intermittent ausculatation to save 
one neonate from a seizure?

NNT = 409

background image

 

 

NNT- Eclampsia

How many women with eclampsia 
will need to get magnesium 
sulphate instead of phenytoin to 
stop one of those women from 
recurrent convulsions?

NNT = 9

background image

 

 

NNT - Eclampsia

How many women with eclampsia will 
need to get magnesium sulphate 
instead of diazepam to stop one of 
those women from recurrent 
convulsions?

NNT = 7

 

background image

 

 

EBM is neither old-hat nor 

impossible to practice:

The latter argument, that it can be 
conducted only from ivory towers and 
armchairs, is refuted by audits in the front 
lines of clinical care where at least some 
inpatient clinical teams in general 
medicine,  psychiatry, and surgery have 
provided evidence-based care to the vast 
majority of their patients.


Document Outline