Auswirkungen des Einsatzes der Spracherkennung auf die ...
Auswirkungen des Einsatzes der Spracherkennung auf die ...
Auswirkungen des Einsatzes der Spracherkennung auf die ...
Erfolgreiche ePaper selbst erstellen
Machen Sie aus Ihren PDF Publikationen ein blätterbares Flipbook mit unserer einzigartigen Google optimierten e-Paper Software.
<strong>Auswirkungen</strong> <strong>des</strong> <strong>Einsatzes</strong> <strong>der</strong><strong>Spracherkennung</strong> <strong>auf</strong> <strong>die</strong> klinischen AbläufeC Trumm 1 , C Glaser 1 , C Grosse 1 , B Küttner 1 ,S Nissen-Meyer 1 , P Popp 2 , M Reiser 11: Institut für Klinische Radiologie, Ludwig-Maximilians-Universität München2: Siemens AG Medical SolutionsLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Übersicht• Hintergrund• Workflow <strong>der</strong> Befun<strong>der</strong>stellung ohne / mit SES• Workflow Schreibbüro• Ergebnisse– Zeit<strong>auf</strong>wand (prospektiv)– Erkennungsraten (retrospektiv)– Befundverfügbarkeit (retrospektiv)LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Motivation• Verkürzung <strong>der</strong> `Report Turnaround Time` (RTT)KISPACS Workload Queue Befunddiktat Transcription Queue Signature Queue• Digitale Befun<strong>der</strong>stellung / -verteilung im KIS• Alternative Nutzung / Umverteilung / Einsparungpersoneller Ressourcen <strong>der</strong> SchreibkräfteLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
HintergrundInstitut für Klinische Radiologie, Großha<strong>der</strong>n• RIS Worklist = Master• Juli 2003 <strong>Spracherkennung</strong>ssystem(Philips SpeechMagic V5.1, Österreich)↓RIS / PACS(Siemens AG, Deutschland)• ~ 50 Nutzer• 4 Vollzeit-, 3 Teilzeitschreibkräfte• Hintergrund-SE / Korrektur d. Schreibkraft → Wochentage• Online-SE / Korrektur d. Radiologen → WT & Nacht / WELMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Workflow <strong>der</strong> Befun<strong>der</strong>stellungLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Assistent erstellt handschriftlichen Befund <strong>auf</strong> Anfor<strong>der</strong>ungsscheinTonbanddiktatOberarzt schaut Befund gegen / Assistent korrigiert handschriftl. BefundAssistent erstellt TonbanddiktatRTTMinicassette + Anfor<strong>der</strong>ungsscheine SchreibbürofachSchreibkraft holt `Päckchen`Schreibkraft schreibt und formatiert Befund im RIS (MS Word)Vorläufiger Befund (`geschrieben`) wird im KIS / RIS verfügbarAssistent korrigiert und `schreibschützt` BefundOberarzt / Facharzt korrigiert (ggf.) und vali<strong>die</strong>rt Befund(Korrekturbefund wird b.B. in MS Word erstellt)LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Tonbanddiktat vs. HintergrunddiktatRTTAssistent erstellt HintergrunddiktatAnfor<strong>der</strong>ungsscheine SchreibbürofachSchreibkraft holt Anfor<strong>der</strong>ungsscheineRTTSchreibkraft korrigiert (vom SE-Server ausgeg.) Rohtext (+wav)Schreibkraft korrigiert und formatiert Word-Dokument (`geschrieb.`)Vorläufiger Befund (`geschrieben`) wird im KIS / RIS verfügbarLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Onlinediktat vs. HintergrunddiktatAssistent erstellt handschriftlichen Befund <strong>auf</strong> Anfor<strong>der</strong>ungsscheinRTTOberarzt schaut Befund gegen / Assistent korrigiert handschriftl. BefundAssistent erstellt Onlinediktat und `schreibschützt` BefundVorläufiger Befund (`schreibgesch.`) wird im KIS / RIS verfügbarOberarzt / Facharzt korrigiert (ggf.) und vali<strong>die</strong>rt Befund(Korrekturbefund wird b.B. in MS Word erstellt)RTTLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Workflow SchreibbüroLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
AufgabenverteilungArztSchreibbüro• Onlinediktat (Routine/ND/WE)Diktat +Korrektur (Rohtext) +Formatierung (MS Word)• Hintergrunddiktat (Routine)- ∅ Transkription- 2-fache Korrektur(Rohtext + MS Word)• ConText-Pflege (~100W./d)• Tonbanddiktat(≤ 5%: Mx, DXA, Gutachten)LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
SchreibbüroConText-AdaptionLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
• Hinzufügen von- unbekannten(`ACC-Stenose`)SchreibbüroConText-Adaption• Phonetische Beschreibung(Spezialwörter)- häufig verwendeten(`altersentsprechende`)Wörtern zu ConText-WS• Entfernen von- Satzzeichen (…Neutropenie)Grafeme3DMBUSAH2OresearchDrainageDr.Phonetische BeschreibungdreidemegabeitU S AH zwei OrisörtschDrähnascheDoktor- Tippfehlern (Angiophie Angiographie)- fehlerhafter G/K-SchreibungLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Mohr et al. JAMIA 2003• 30 Befun<strong>der</strong> / 18 Schreibkräfte• 1053 / 1301 (TD/HD) internistisch-endokrinologische Befunde• Produktivität(Diktierzeit Arzt[Minuten] / Arbeitszeit Schreibkraft[h])• Befunde Alle Schreibkräfte: 87,3%* (95% KI 83,3%; 92,3%)• Befunde Langsame Schreibkräfte (< 15 min./h): 104,6%* (95% KI 100,0%; 109,4%)• Befunde Akzentfreie Befun<strong>der</strong> (n=23): 86,6%* (95% KI 81,7%; 93,0%)• Befunde > 3 min. Diktatlänge: 97,1%* (95% KI 90,1%; 105,1%)* Produktivität bei Einsatz <strong>des</strong> SES im Vergleich zum TonbanddiktatLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Prospektive Analyse (Zeit<strong>auf</strong>wand)LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Prospektive AnalysePrimärer Zeit<strong>auf</strong>wand <strong>der</strong> Befun<strong>der</strong>stellung• Zeitraum 03/2004 – 08/2004• 12 Radiologen (6 FÄ, 6 AÄ)• ≥ 8 Mon. Erfahrung• 151 / 257 / 261 (TD*/HD*/OD + ) * Reine Diktatzeit+Diktat- + Korrekturzeit• RTT (Befundstatus `geschrieben`)• Diktatdauer (s)• Anzahl Worte• Anzahl Bil<strong>der</strong>Zeit<strong>auf</strong>wandDiktatdauer (s)pro Befund = (n Bil<strong>der</strong> * n Worte )LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Prospektive AnalyseModusPrimärer Zeit<strong>auf</strong>wand <strong>der</strong> Befun<strong>der</strong>stellungZeit / (Wort und Bild)Zeit/Befund(s)Zahl Worte /BefundZahl Bil<strong>der</strong> /BefundZeit /(Wort*Bild)pro Befund(s)Tonband 64 ± 39 71 ± 38 3,0 ± 3,6 0,44 ± 0,31Hintergrund 74 ± 40 67 ± 31 2,9 ± 2,4 0,54 ± 0,38Online 75 ± 46 62 ± 31 2,3 ± 0,9 0,62 ± 0,38LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Prospektive AnalysePrimärer Zeit<strong>auf</strong>wand <strong>der</strong> Befun<strong>der</strong>stellungZeit / (Wort und Bild)10,90,80,70,6sec. 0,50,40,30,20,100,44 0,54 0,62CD SR (Remote) SR (Online)LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Prospektive AnalyseRTT(MW ± SD)TD (n=151)10h 28min ± 8h 56minHD (n= 257)6h 39min ± 7h 35minOD (n=261)1h 16min ± 1h 02minLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Retrospektive Analyse (Erkennungsraten)LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
ErkennungsratenER = 100 – Fehlerrate (%)• Hundt et al. (1999) 92,5% Philips SP6000• Arndt et al. (1999) 89,3-97,6% Philips SP6000• Vorbeck et al. (2000) 94,5% Philips SP6000• Ramaswamy et al. (2000) 92,7-96,5% IBM MedSpeak V1.2• Kanal et al. (2001) 89,7% IBM MedSpeak V1.1LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Fehlerraten 09/04 – 03/06• 39 Benutzer(> 100 HD)• 54000 Hintergrunddiktate(25%HD, 70%OD, 5% TD)• Median 1078Parameter• length (ms)• # characters• # words• # recorded words• # corrected words• # unkown words• # insertions• # deletions• # substitutions• # character insertions• # character deletions• # cursor movements• correction effort• error rate (%)LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Fehlerraten 09/04 – 03/06• Error Rate Alle 12,6 +- 4,6 % (MW +- SD)• Error Rate 1bis3 12,4 +- 3,8 % (MW +- SD)• Error Rate >3bis5 11,4 +- 6,6 % (MW +- SD)• Error Rate >5 13,6 +- 4,2 % (MW +- SD)1 bis 3J. Berufserfahrung n=17>3 bis 5J. “ n=9>5J. “ n=13LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Fehlerraten 09/04 – 03/06LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
FehlertypenKritische Fehler:• Non-Sense-Fehler (`Portion 2g Fisch` statt`projektionsradiographisch`)• Wortschatz-Fehler (`Fett Bett Sign`)• Homonym-Fehler (z.B. `Mestinon`statt `Mediastinum`)Sonstige Fehler:• Interpunktion• Groß-/ Kleinschreibung• Zusammengesetzte Wörter• Datum/ ZahlenZafar et al. JAMIA 2004LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Retrospektive Analyse(Befundverfügbarkeit)LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
BefundverfügbarkeitKumulative Befundverfügbarkeit (erste x h)Mittlere RTTAutor Vor SES Mit SES Vor SES Mit SESRamaswamyet al. (2000)Hayt u.Alexan<strong>der</strong>(2001)Sferella(2003)Callaway et al.(2002)11% (24h) 71% (24h) 87h 32h3% (12h) 86% (12h) - 4,3h41% (24h) 85% (24h) - -50% (8h) 91% (8h) 15,7h 4,7hLanger (2002) - - 32h 18,2hLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Retrospektive AnalyseBefundverfügbarkeit1. 01-06/2003 (n I= 33155 Befunde)– PACS / RIS / BanddiktatSE2. 01-06/2004 (n II= 45136 Befunde)– PACS / RIS / SE– ≥ 0.5 J Erfahrung mit SE3. 01-06/2005 (n III= 60209 Befunde)– PACS / RIS / SE– ≥ 1.5 J Erfahrung mit SELMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Retrospektive AnalyseBefundverfügbarkeit1. 01-06/2003 (n I= 33155 Befunde)– PACS / RIS / BanddiktatSE2. 01-06/2004 (n II= 45136 Befunde)– PACS / RIS / SE– ≥ 0.5 J Erfahrung mit SE3. 01-06/2005 (n III= 60209 Befunde)– PACS / RIS / SE– ≥ 1.5 J Erfahrung mit SELMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Retrospektive AnalyseBefundverfügbarkeit1. 01-06/2003 (n I= 33155 Befunde)– PACS / RIS / BanddiktatSE2. 01-06/2004 (n II= 45136 Befunde)– PACS / RIS / SE– ≥ 0.5 J Erfahrung mit SE3. 01-06/2005 (n III= 60209 Befunde)– PACS / RIS / SE– ≥ 1.5 J Erfahrung mit SELMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Retrospektive AnalyseBefundverfügbarkeit• RIS DB Zeitstempel• `Report Turnaround Time` (RTT):Eingang <strong>des</strong> letzten Bil<strong>des</strong><strong>der</strong> Stu<strong>die</strong> ins PACSBefund im RIS / KISverfügbar (`geschrieben`)• Kumulative Befundverfügbarkeit (%)• CR, CT, MR, US, XA/DS (Angiographie)LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Kumulative Befundverfügbarkeit (3 d)3d 01-06/2003 01-06/2004 01-06/2005MR 45.0% 66.7% 61.4%CT 54.0% 69.0% 70.1%~ 16%3d 01-06/2003 01-06/2004 01-06/2005CR 57.8% 70.8% 91.6%XA/DS 68.6% 70.2% 85.8%US * 88.0% 92.2%* Handschriftliche Befunde~ 17-34%LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Kumulative Befundverfügbarkeit (12 h)Alle Modalitäten59.1%28.3%11.2%LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Kumulative Befundverfügbarkeit (12 h)2003 2005MR 4.9% 10.1%CT 8.5% 31.4%CR 12.0% 76.0%XA/DS 55.7% 69.2%US * 69.0%* Handschriftliche BefundeLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Kumulative Befundverfügbarkeit (12 h)2003 2005MR 4.9% 10.1%CT 8.5% 31.4%CR 12.0% 76.0%XA/DS 55.7% 69.2%US * 69.0%* Handschriftliche BefundeLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Prospektive AnalyseZusammenfassungZeit<strong>auf</strong>wand– 1,2- (HD) bis 1,4-fach (OD) erhöhter, primärerZeit<strong>auf</strong>wand <strong>der</strong> Befun<strong>der</strong>stellung (CR)– Reduktion <strong>der</strong> RTTTD HD (x 1,6) OD (x 8,4)LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Prospektive AnalyseDiskussionGründe für erhöhten Zeit<strong>auf</strong>wandHD vs. TD (x 1,2):- Navigationsschritte im RIS-BefundarbeitsplatzOD vs. TD / HD (x 1,4 / 1,1):- Korrektur Rohtext- Transfer <strong>des</strong> Rohtextes in MS Word-FormatierungAufgabentransfer Schreibbüro Arzt- Sprachlich-inhaltliche Überprüfung- FormatierungLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Retrospektive AnalyseZusammenfassungBefundverfügbarkeit• Deutliche Verbesserung <strong>der</strong> kumulativenBefundverfügbarkeit (↓ RTT)3d bis zu 92.2% (US)12h bis zu 76.0% (CR)~ 60% (alle Mod)60min bis zu 28.8% (US)LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Retrospektive AnalyseDiskussionModalitätenbezogene Unterschiede• Schnittbildverfahren nur `mo<strong>der</strong>ate` Verbesserung– Anteil HD > OD– ↑ steigen<strong>des</strong> Untersuchungs<strong>auf</strong>kommen (CT)– ↑ n Bil<strong>der</strong> / Untersuchung(MR: `Whole Body Imaging`, Cardio-MR)– Komplexe, weniger standardisierte Befunde– Ausbildungsbetrieb !• Angiographie Hohe BV durch Makros vor / nach SESLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Take Home<strong>Spracherkennung</strong>– schnellere, digitale Befundverfügbarkeit⇒ beschleunigte Therapieentscheidungen– ~ 95% <strong>der</strong> Befunde (HD, OD)– Tonbanddiktat für `Son<strong>der</strong>lösungen`– Limitation `Ausbildungsbetrieb`– Aufgabenumverteilung Schreibbüro Arzt (~70% OD)(Editierung, Formatierung, Kontrolle [Plausibilität, Qualität])LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Danke für <strong>die</strong>Aufmerksamkeit !LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
FazitPro+ wahlweise `TraditionelleBefundtranskription` möglich (HD)+ kontinuierlichere Bearbeitungdurch Schreibbüro (HD)+ schnelle (digitale)Befundfinalisierung (OD)+ ↓ RTT (OD)LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
ContraFazit- ≈ RTT (HD)- Doppeltes Editieren <strong>des</strong> Befun<strong>des</strong> (Rohtext + MS Word) durchSchreibkraft (HD)- Notwendigkeit <strong>der</strong> regelmäßigen ConText-Adaption (HD/OD)- ↑ Zeit<strong>auf</strong>wand <strong>des</strong> Radiologen (OD)- Verantwortung für Befundkorrektheit (OD)- Kritische Fehler (Non-Sense-, Homonym-Fehler)LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Technische Infrastruktur•Fileserver(Dispatcher, ConTextadaptationsserver•DB-Server•3 Erkennungs-/AdaptationsserverLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Produkte- Kontext 20000 - 64000 Wörter- Erkennungsraten 97-100%LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Kumulative Befundverfügbarkeit (3 d)MR / CTMRCT3d 01-06/2003 01-06/2004 01-06/2005MR 45.0% 66.7% 61.4%CT 54.0% 69.0% 70.1%~ 16%LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Kumulative Befundverfügbarkeit (3 d)CR / XA/DS / USCRXA/DS3d 01-06/2003 01-06/2004 01-06/2005CR 57.8% 70.8% 91.6%XA/DS 68.6% 70.2% 85.8%US * 88.0% 92.2%US* Handschriftliche Befunde~ 17-34%LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Kumulative Befundverfügbarkeit (12 h)2003 2005MR 4.9% 10.1%CT 8.5% 31.4%CR 12.0% 76.0%XA/DS 55.7% 69.2%US * 69.0%* Handschriftliche BefundeLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Kumulative Befundverfügbarkeit (12 h)2003 2005MR 4.9% 10.1%CT 8.5% 31.4%CR 12.0% 76.0%XA/DS 55.7% 69.2%US * 69.0%* Handschriftliche BefundeLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Kumulative Befundverfügbarkeit (60 Min.)2004 (≥ 0.5J) → 2005 (≥ 1.5J)min CT CT XA XA CR CR US US10 0.3 0.4 0 1.0 0.9 3.6 0.9 5.020 2.2 2.1 0.2 6.0 4.3 10.0 11.0 16.130 3.8 3.8 0.9 11.5 6.7 14.3 15.9 24.540 4.5 5.1 1.9 14.2 7.8 16.7 17.1 27.750 5.0 5.8 2.6 15.6 8.3 17.7 17.6 28.760 5.2 5.9 2.9 16.0 8.4 18.0 17.7 28.8%LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Kumulative Befundverfügbarkeit (60 Min.)2004 (≥ 0.5J) → 2005 (≥ 1.5J)min CT CT XA XA CR CR US US10 0.3 0.4 0 1.0 0.9 3.6 0.9 5.020 2.2 2.1 0.2 6.0 4.3 10.0 11.0 16.130 3.8 3.8 0.9 11.5 6.7 14.3 15.9 24.540 4.5 5.1 1.9 14.2 7.8 16.7 17.1 27.750 5.0 5.8 2.6 15.6 8.3 17.7 17.6 28.760 5.2 5.9 2.9 16.0 8.4 18.0 17.7 28.8%LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006
Change language