Μια τριάδα παιδίατρων στο Ιατρικό Κέντρο Παίδων Cohen, στη Νέα Υόρκη, ανακάλυψε ότι οι παιδιατρικές διαγνωστικές δεξιότητες του ChatGPT στερούνται σημαντικά αφού ζήτησαν από το LLM να διαγνώσουν 100 τυχαίες περιπτωσιολογικές μελέτες. Στη μελέτη τους, που αναφέρεται στο περιοδικό JAMA Pediatrics, οι Joseph Barile, Alex Margolis και Grace Cason δοκίμασαν τις διαγνωστικές δεξιότητες του ChatGPT.
Η παιδιατρική διάγνωση είναι ιδιαίτερα δύσκολη, σημειώνουν οι ερευνητές, επειδή εκτός από το να λαμβάνονται υπόψη όλα τα συμπτώματα που εντοπίζονται σε συγκεκριμένο ασθενή, πρέπει να λαμβάνεται υπόψη και η ηλικία. Σε αυτή τη νέα προσπάθεια, σημείωσαν ότι τα LLM έχουν προωθηθεί από ορισμένους στην ιατρική κοινότητα ως ένα πολλά υποσχόμενο νέο διαγνωστικό εργαλείο. Για να προσδιορίσουν την αποτελεσματικότητά τους, οι ερευνητές συγκέντρωσαν 100 τυχαίες παιδιατρικές περιπτωσιολογικές μελέτες και ζήτησαν από το ChatGPT να τις διαγνώσει.
Για να παραμείνουν απλά τα πράγματα, οι ερευνητές χρησιμοποίησαν μια ενιαία προσέγγιση στην αναζήτηση του LLM για όλες τις περιπτωσιολογικές μελέτες. Πρώτα επικολλήθηκαν στο κείμενο από τη μελέτη περίπτωσης και στη συνέχεια ακολούθησαν την προτροπή “Κατάλογος διαφορικής διάγνωσης και τελικής διάγνωσης”. Η διαφορική διάγνωση είναι μια μεθοδολογία που χρησιμοποιείται για να προτείνει μια προκαταρκτική διάγνωση (ή πολλές από αυτές) χρησιμοποιώντας το ιστορικό ενός ασθενούς και τις φυσικές εξετάσεις.
Η τελική διάγνωση, όπως υποδηλώνει το όνομά της, είναι η πιθανή αιτία των συμπτωμάτων. Οι απαντήσεις που δόθηκαν από το LLM βαθμολογήθηκαν από δύο συναδέλφους που δεν συμμετείχαν διαφορετικά στη μελέτη – τρεις πιθανές βαθμολογίες:
- “σωστό”,
- “λανθασμένο”
- και “δεν κατέγραψε πλήρως τη διάγνωση”.
Η ερευνητική ομάδα διαπίστωσε ότι το ChatGPT παρήγαγε σωστές βαθμολογίες μόλις 17 φορές—από αυτές, οι 11 είχαν κλινική σχέση με τη σωστή διάγνωση, αλλά παρόλα αυτά ήταν λάθος. Οι ερευνητές σημειώνουν το προφανές: το ChatGPT σαφώς δεν είναι ακόμη έτοιμο να χρησιμοποιηθεί ως διαγνωστικό εργαλείο, αλλά προτείνουν επίσης ότι η πιο επιλεκτική εκπαίδευση θα μπορούσε να βελτιώσει τα αποτελέσματα. Προτείνουν περαιτέρω ότι στο μεταξύ, LLMs όπως το ChatGPT μπορούν να αποδειχθούν χρήσιμα ως εργαλεία διαχείρισης ή για να βοηθήσουν στη συγγραφή ερευνητικών έργων ή στη δημιουργία φύλλων οδηγιών για χρήση ασθενών σε εφαρμογές μετέπειτα φροντίδας.