AI: Τα ευρήματα υπογραμμίζουν τη σημασία του ασφαλούς σχεδιασμού και των αυστηρών δοκιμών και μπορεί να παρέχουν μαθήματα σε όσους αναπτύσσουν εργαλεία, όπως εφαρμογές ψυχικής υγείας.
Δύο πλατφόρμες τεχνητής νοημοσύνης είναι σχεδόν ισοδύναμες -ή μερικές φορές ξεπερνούν- τους επαγγελματίες ψυχικής υγείας στην αξιολόγηση των κατάλληλων απαντήσεων σε άτομα που εκδηλώνουν αυτοκτονικές σκέψεις, σύμφωνα με μια νέα μελέτη RAND. Η εργασία δημοσιεύεται στο Journal of Medical Internet Research. Αν και οι ερευνητές δεν αξιολόγησαν τις άμεσες αλληλεπιδράσεις αυτών των μοντέλων με αυτοκτονικά άτομα, τα ευρήματα υπογραμμίζουν τη σημασία του ασφαλούς σχεδιασμού και των αυστηρών δοκιμών και μπορεί να παρέχουν μαθήματα σε όσους αναπτύσσουν εργαλεία, όπως εφαρμογές ψυχικής υγείας που βασίζονται σε AI.
Η μελέτη χρησιμοποίησε ένα τυπικό εργαλείο αξιολόγησης για να ελέγξει τις γνώσεις τριών μεγάλων, μεγάλων γλωσσικών μοντέλων – ChatGPT από την OpenAI, Claude από Anthropic και Gemini από την Google. Το έργο είναι από τα πρώτα που μέτρησαν τη γνώση των εργαλείων AI για την αυτοκτονία. Η αξιολόγηση έχει σχεδιαστεί για να αξιολογήσει τις γνώσεις ενός ατόμου σχετικά με το τι συνιστά κατάλληλες απαντήσεις σε μια σειρά δηλώσεων που μπορεί να γίνουν από κάποιον που βιώνει αυτοκτονικό ιδεασμό.
Οι ερευνητές ζήτησαν καθένα από τα μεγάλα γλωσσικά μοντέλα να ανταποκριθεί στο εργαλείο αξιολόγησης, συγκρίνοντας τις βαθμολογίες των μοντέλων τεχνητής νοημοσύνης με προηγούμενες μελέτες που αξιολόγησαν τη γνώση ομάδων όπως καθηγητές K-12, φοιτητές ψυχολογίας επιπέδου μεταπτυχιακού και ασκούμενοι επαγγελματίες ψυχικής υγείας.
Και τα τρία μοντέλα τεχνητής νοημοσύνης έδειξαν μια σταθερή τάση να υπερεκτιμούν την καταλληλότητα των απαντήσεων των κλινικών ιατρών σε αυτοκτονικές σκέψεις, υποδηλώνοντας περιθώρια βελτίωσης στη βαθμονόμησή τους. Ωστόσο, η συνολική απόδοση του ChatGPT και του Claude αποδείχθηκε συγκρίσιμη με εκείνη των επαγγελματιών συμβούλων, νοσηλευτών και ψυχιάτρων όπως αξιολογήθηκε κατά τη διάρκεια άλλων μελετών.
«Κατά την αξιολόγηση των κατάλληλων αλληλεπιδράσεων με άτομα που εκφράζουν αυτοκτονικό ιδεασμό, διαπιστώσαμε ότι αυτά τα μεγάλα γλωσσικά μοντέλα μπορεί να είναι εκπληκτικά διακριτικά», δήλωσε ο Ryan McBain, επικεφαλής συγγραφέας της μελέτης και ανώτερος ερευνητής πολιτικής στο RAND, έναν μη κερδοσκοπικό ερευνητικό οργανισμό. «Ωστόσο, η μεροληψία αυτών των μοντέλων να αξιολογούν τις απαντήσεις ως πιο κατάλληλες από ό,τι είναι —τουλάχιστον σύμφωνα με κλινικούς ειδικούς— υποδηλώνει ότι πρέπει να βελτιωθούν περαιτέρω».
Η αυτοκτονία είναι μία από τις κύριες αιτίες θανάτου μεταξύ ατόμων κάτω των 50 ετών στις ΗΠΑ, με το ποσοστό αυτοκτονιών να αυξάνεται κατακόρυφα τα τελευταία χρόνια. Τα μεγάλα γλωσσικά μοντέλα έχουν τραβήξει την προσοχή ως πιθανό όχημα για να βοηθήσουν ή να βλάψουν άτομα που έχουν κατάθλιψη και κινδυνεύουν να αυτοκτονήσουν. Τα μοντέλα έχουν σχεδιαστεί για να ερμηνεύουν και να δημιουργούν απαντήσεις κειμένου που μοιάζουν με ανθρώπους σε γραπτά και προφορικά ερωτήματα και περιλαμβάνουν ευρείες εφαρμογές υγείας.
Για να αξιολογήσουν τη γνώση των τριών μεγάλων γλωσσικών μοντέλων, οι ερευνητές χρησιμοποίησαν μια αξιολόγηση γνωστή ως Inventory Response Suicidal Ideation (SIRI-2) που θέτει 24 υποθετικά σενάρια στα οποία ένας ασθενής εμφανίζει συμπτώματα κατάθλιψης και αυτοκτονικό ιδεασμό, ακολουθούμενα από πιθανές απαντήσεις του γιατρού.
Η τελική βαθμολογία που παρήγαγε ο Gemini ήταν περίπου ισοδύναμη με τις προηγούμενες βαθμολογίες που παρήγαγε το προσωπικό του σχολείου K-12 πριν από την εκπαίδευση στις δεξιότητες παρέμβασης αυτοκτονίας. Η τελική βαθμολογία που παρήγαγε το ChatGPT ήταν πιο κοντά σε αυτά που παρουσίασαν οι διδακτορικοί φοιτητές στην κλινική ψυχολογία ή οι σύμβουλοι επιπέδου μεταπτυχιακού. Ο Claude έδειξε τις ισχυρότερες επιδόσεις, ξεπερνώντας τις βαθμολογίες που παρατηρήθηκαν ακόμη και μεταξύ ατόμων που ολοκλήρωσαν πρόσφατα εκπαίδευση δεξιοτήτων παρέμβασης αυτοκτονίας, καθώς και βαθμολογίες από μελέτες με ψυχιάτρους και άλλους επαγγελματίες ψυχικής υγείας.
«Στόχος μας είναι να βοηθήσουμε τους υπεύθυνους χάραξης πολιτικής και τους προγραμματιστές τεχνολογίας να αναγνωρίσουν τόσο την υπόσχεση όσο και τους περιορισμούς της χρήσης μεγάλων γλωσσικών μοντέλων στην ψυχική υγεία», δήλωσε ο McBain. “Πραγματοποιούμε δοκιμές πίεσης ένα σημείο αναφοράς που θα μπορούσε να χρησιμοποιηθεί από τεχνολογικές πλατφόρμες που δημιουργούν φροντίδα ψυχικής υγείας, κάτι που θα είχε ιδιαίτερα αντίκτυπο σε κοινότητες που έχουν περιορισμένους πόρους. Αλλά η προσοχή είναι απαραίτητη – αυτά τα μοντέλα τεχνητής νοημοσύνης δεν αντικαθιστούν τις γραμμές κρίσης ή την επαγγελματική φροντίδα.”
Διαβάστε όλες τις τελευταίες Ειδήσεις για την υγεία από την Ελλάδα και τον Κόσμο
Ακολουθήστε το healthweb.gr στο Google News και μάθετε πρώτοι όλες τις ειδήσεις
Ακολουθήστε το healthweb.gr στο κανάλι μας στο YouTube
