Το ChatGPT, ένα νέο εργαλείο επεξεργασίας γλώσσας που καθοδηγείται από την τεχνητή νοημοσύνη (AI), παρέχει απαντήσεις κειμένου συνομιλίας σε ερωτήσεις και μπορεί να δημιουργήσει πολύτιμες πληροφορίες για άτομα που κάνουν ερωτήσεις, αλλά η ποιότητα των απαντήσεων που δημιουργούνται από το ChatGPT σε ιατρικές ερωτήσεις δεν είναι επί του παρόντος ασαφής.
Ποια προσέγγιση χρησιμοποιήθηκε;
Ανακτήθηκαν οκτώ συνήθεις ερωτήσεις και απαντήσεις σχετικά με την κολονοσκόπηση από τις δημόσια διαθέσιμες ιστοσελίδες τριών τυχαία επιλεγμένων νοσοκομείων από τη λίστα των κορυφαίων 20 της US News & World Report Best Hospitals for Gastroenterology and Gastrointestinal Surgery. Εισήχθησαν αυτές οι ερωτήσεις ως προτροπές για το ChatGPT δύο φορές την ίδια ημέρα και καταγράφηκαν οι απαντήσεις που δημιουργήθηκαν από το ChatGPT.
Στη συνέχεια χρησιμοποιήθηκε ένα λογισμικό ανίχνευσης λογοκλοπής για να συγκριθεί η ομοιότητα κειμένου μεταξύ όλων των απαντήσεων. Τέλος, για να ερμηνεύσουν αντικειμενικά την ποιότητα των απαντήσεων που δημιουργήθηκαν από το ChatGPT, τέσσερις γαστρεντερολόγοι βαθμολόγησαν 36 τυχαία ζεύγη ερωτήσεων και απαντήσεων για τους ακόλουθους δείκτες ποιότητας σε μια κλίμακα 7 βαθμών:
- ευκολία κατανόησης
- επιστημονική επάρκεια
- ικανοποίηση με την απάντηση
- Οι βαθμολογητές κλήθηκαν επίσης να ερμηνεύσουν εάν οι απαντήσεις δημιουργήθηκαν από AI ή όχι.
Τι βρέθηκε;
Οι απαντήσεις ChatGPT είχαν εξαιρετικά χαμηλή ομοιότητα κειμένου σε σύγκριση με τις απαντήσεις σε ιστοσελίδες νοσοκομείων, ενώ η ομοιότητα κειμένου κυμαινόταν από 28% έως 77% μεταξύ των δύο απαντήσεων ChatGPT.
Οι απαντήσεις στο ChatGPT βαθμολογήθηκαν παρόμοια από τους γαστρεντερολόγους με τις απαντήσεις που δεν είναι AI όσον αφορά την ευκολία κατανόησης, αλλά με τις μέσες βαθμολογίες AI υψηλότερες από τις βαθμολογίες εκτός AI. Οι βαθμολογίες ήταν επίσης παρόμοιες σχετικά με την επιστημονική επάρκεια και την ικανοποίηση από τις απαντήσεις. Οι βαθμολογητές ήταν μόνο 48% ακριβείς όσον αφορά τις απαντήσεις που δόθηκαν από το ChatGPT.
Αυτή η μελέτη είναι η πρώτη του είδους της που καταδεικνύει ότι ένα σύγχρονο πρόγραμμα συνομιλίας AI που προέρχεται από μοντέλο μεγάλης γλώσσας είναι σε θέση να παρέχει εύκολα κατανοητές, επιστημονικά επαρκείς και γενικά ικανοποιητικές απαντήσεις σε συνήθεις ερωτήσεις σχετικά με την κολονοσκόπηση, όπως καθορίζονται από γαστρεντερολόγους.
Τέτοια προγράμματα μπορεί να βοηθήσουν στη βελτιστοποίηση της κλινικής επικοινωνίας με τους ασθενείς, ειδικά για διαδικασίες μεγάλου όγκου όπως η κολονοσκόπηση. Η τεχνητή νοημοσύνη συνομιλίας που ενισχύεται από μεγάλα γλωσσικά μοντέλα όπως το ChatGPT έχει τη δυνατότητα να μεταμορφώσει και να ωφελήσει την κοινή λήψη αποφάσεων από ασθενείς και γιατρούς.
Η μελλοντική έρευνα θα πρέπει να διερευνήσει απαντήσεις σε ένα ευρύτερο δείγμα ερωτήσεων ασθενών και κλινικών καταστάσεων και να περιλαμβάνει ασθενείς και γιατρούς ως αξιολογητές.