Όσον αφορά την υγειονομική περίθαλψη, είναι καλύτερο να ρωτήσετε έναν επαγγελματία. Αυτό το συχνά επαναλαμβανόμενο ρητό ισχύει επίσης για επιστήμονες που μπορεί να μπουν στον πειρασμό να χρησιμοποιήσουν το μοντέλο τεχνητής νοημοσύνης ChatGPT για ιατρική γραφή. Ερευνητές από το CHU Sainte-Justine και το Νοσοκομείο Παίδων του Μόντρεαλ έθεσαν πρόσφατα 20 ιατρικές ερωτήσεις στο ChatGPT.
Το chatbot παρείχε απαντήσεις περιορισμένης ποιότητας, συμπεριλαμβανομένων πραγματικών σφαλμάτων και κατασκευασμένων παραπομπών, δείχνουν τα αποτελέσματα της μελέτης που δημοσιεύτηκε στο Mayo Clinic Proceedings: Digital Health. “Αυτά τα αποτελέσματα είναι ανησυχητικά, δεδομένου ότι η εμπιστοσύνη είναι ένας πυλώνας της επιστημονικής επικοινωνίας. Οι χρήστες του ChatGPT θα πρέπει να δώσουν ιδιαίτερη προσοχή στις αναφορές που παρέχονται πριν τις ενσωματώσουν σε ιατρικά χειρόγραφα”, λέει η Δρ Jocelyn Gravel, επικεφαλής συγγραφέας της μελέτης.
Εντυπωσιακά ευρήματα
Οι ερευνητές άντλησαν τις ερωτήσεις τους από υπάρχουσες μελέτες και ζήτησαν από το ChatGPT να υποστηρίξει τις απαντήσεις του με αναφορές. Στη συνέχεια ζήτησαν από τους συγγραφείς των άρθρων από τα οποία ελήφθησαν οι ερωτήσεις να βαθμολογήσουν τις απαντήσεις του λογισμικού σε μια κλίμακα από 0 έως 100%.
Από τους 20 συγγραφείς, 17 συμφώνησαν να εξετάσουν τις απαντήσεις του ChatGPT. Τα έκριναν ως αμφιβόλου ποιότητας (μέση βαθμολογία 60%). Βρήκαν επίσης μεγάλα (πέντε) και δευτερεύοντα (επτά) πραγματικά λάθη. Για παράδειγμα, το λογισμικό πρότεινε τη χορήγηση ενός αντιφλεγμονώδους φαρμάκου με ένεση, όταν θα έπρεπε να καταπίνεται. Το ChatGPT υπερεκτίμησε επίσης το παγκόσμιο βάρος θνησιμότητας που σχετίζεται με τις λοιμώξεις από Shigella κατά δέκα φορές.
Από τις παραπομπές που παρέχονται, το 69% ήταν κατασκευασμένες, αλλά έμοιαζαν αληθινές. Οι περισσότερες από τις ψευδείς αναφορές (95%) χρησιμοποιούσαν τα ονόματα συγγραφέων που είχαν ήδη δημοσιεύσει άρθρα σχετικά με ένα σχετικό θέμα ή προέρχονταν από αναγνωρισμένους οργανισμούς όπως τα Κέντρα Ελέγχου και Πρόληψης Νοσημάτων ή η Υπηρεσία Τροφίμων και Φαρμάκων. Όλες οι παραπομπές έφεραν τίτλο σχετικό με το θέμα της ερώτησης και χρησιμοποιούσαν ονόματα γνωστών περιοδικών ή ιστότοπων. Ακόμη και μερικές από τις πραγματικές αναφορές περιείχαν σφάλματα (οκτώ από τα 18).
Το ChatGPT εξηγεί
Όταν ρωτήθηκε για την ακρίβεια των παραπομπών που παρέχονται, το ChatGPT έδωσε ποικίλες απαντήσεις. Σε μια περίπτωση, ισχυρίστηκε, “Οι αναφορές είναι διαθέσιμες στο Pubmed” και παρείχε έναν σύνδεσμο ιστού. Αυτός ο σύνδεσμος παραπέμπει σε άλλες δημοσιεύσεις που δεν σχετίζονται με την ερώτηση. Σε άλλο σημείο, το λογισμικό απάντησε: “Προσπαθώ να παρέχω τις πιο ακριβείς και ενημερωμένες πληροφορίες που έχω στη διάθεσή μου, αλλά μπορεί να προκύψουν σφάλματα ή ανακρίβειες.”
“Η σημασία της σωστής αναφοράς στην επιστήμη είναι αναμφισβήτητη. Η ποιότητα και το εύρος των αναφορών που παρέχονται σε αυθεντικές μελέτες αποδεικνύουν ότι οι ερευνητές έχουν πραγματοποιήσει μια πλήρη βιβλιογραφική ανασκόπηση και έχουν γνώση του θέματος. Αυτή η διαδικασία επιτρέπει την ενσωμάτωση των ευρημάτων στο πλαίσιο της προηγούμενη εργασία, μια θεμελιώδης πτυχή της προόδου της ιατρικής έρευνας.
Η αποτυχία παροχής παραπομπών είναι ένα πράγμα, αλλά η δημιουργία ψεύτικων αναφορών θα θεωρηθεί απάτη για τους ερευνητές”, λέει ο Δρ Esli Osmanlliu, γιατρός έκτακτης ανάγκης στο Παίδων του Μόντρεαλ και επιστήμονας στο Child Health and Πρόγραμμα Ανθρώπινης Ανάπτυξης στο Ερευνητικό Ινστιτούτο του Κέντρου Υγείας του Πανεπιστημίου McGill.
“Οι ερευνητές που χρησιμοποιούν το ChatGPT μπορεί να παραπλανηθούν από ψευδείς πληροφορίες, επειδή σαφείς, φαινομενικά συνεκτικές και στυλιστικά ελκυστικές αναφορές μπορούν να κρύψουν την κακή ποιότητα περιεχομένου”, προσθέτει ο Δρ Osmanlliu. Αυτή είναι η πρώτη μελέτη που αξιολογεί την ποιότητα και την ακρίβεια των αναφορών που παρέχονται από το ChatGPT, επισημαίνουν οι ερευνητές.