Μια νέα μελέτη εξετάζει την αποτελεσματικότητα επτά αλγορίθμων διαλογής βάσει τεχνητής νοημοσύνης για τη διάγνωση της διαβητικής αμφιβληστροειδοπάθειας, της πιο κοινής διαβητικής οφθαλμικής νόσου που οδηγεί σε απώλεια όρασης.
Σε μια εργασία στο Diabetes Care, οι ερευνητές συνέκριναν τους αλγόριθμους με τη διαγνωστική εμπειρία των ειδικών του αμφιβληστροειδούς. Πέντε εταιρείες παρήγαγαν τους δοκιμασμένους αλγόριθμους – δύο στις Ηνωμένες Πολιτείες (Eyenuk, Retina-AI Health), μία στην Κίνα (Airdoc), μία στην Πορτογαλία (Retmarker) και μία στη Γαλλία (OphtAI). Οι ερευνητές χρησιμοποίησαν τις τεχνολογίες που βασίζονται στον αλγόριθμο σε εικόνες αμφιβληστροειδούς από σχεδόν 24.000 βετεράνους που ζήτησαν διαβητική αμφιβληστροειδοπάθεια στο Veterans Affairs Puget Sound Health Care System και το Atlanta VA Health Care System από το 2006 έως το 2018.
Οι ερευνητές διαπίστωσαν ότι οι αλγόριθμοι δεν αποδίδουν όπως ισχυρίζονται. Πολλές από αυτές τις εταιρείες αναφέρουν εξαιρετικά αποτελέσματα σε κλινικές μελέτες. Αλλά η απόδοσή τους σε πραγματικό κόσμο ήταν άγνωστη. Οι ερευνητές διεξήγαγαν μια δοκιμή στην οποία η απόδοση κάθε αλγορίθμου και η απόδοση των ανθρώπινων ελεγκτών που εργάζονται στο σύστημα τηλεμετρικού ελέγχου VA συγκρίθηκαν με τις διαγνώσεις που έδωσαν οι ειδικοί οφθαλμίατροι όταν εξέταζαν τις ίδιες εικόνες.
Τρεις από τους αλγόριθμους απέδωσαν αρκετά καλά σε σύγκριση με τις διαγνώσεις των ιατρών. Αλλά μόνο ένας αλγόριθμος είχε τόσο καλά αποτελέσματα όσο και τα ανθρώπινα προγράμματα ελέγχου στη δοκιμή. “Είναι ανησυχητικό το γεγονός ότι ορισμένοι από αυτούς τους αλγόριθμους δεν αποδίδουν με συνέπεια, δεδομένου ότι χρησιμοποιούνται κάπου στον κόσμο”, δήλωσε ο επικεφαλής ερευνητής Aaron Lee, επίκουρος καθηγητής οφθαλμολογίας στην Ιατρική Σχολή του Πανεπιστημίου της Ουάσιγκτον.
Οι διαφορές στον εξοπλισμό και την τεχνική της κάμερας μπορεί να είναι μια εξήγηση. Οι ερευνητές δήλωσαν ότι η δοκιμή τους δείχνει πόσο σημαντικό είναι για κάθε πρακτική που θέλει να χρησιμοποιήσει ένα AI screener για να το δοκιμάσει πρώτα και να ακολουθήσει τις οδηγίες για το πώς να λαμβάνουν σωστά εικόνες των ματιών των ασθενών, επειδή οι αλγόριθμοι έχουν σχεδιαστεί για να λειτουργούν με την ελάχιστη ποιότητα εικόνας.
Η μελέτη διαπίστωσε επίσης ότι η απόδοση των αλγορίθμων διέφερε κατά την ανάλυση εικόνων από πληθυσμούς ασθενών στο περιβάλλον φροντίδας του Σιάτλ και της Ατλάντα. Αυτό ήταν ένα εκπληκτικό αποτέλεσμα και μπορεί να δείχνει ότι οι αλγόριθμοι πρέπει να εκπαιδευτούν με μια ευρύτερη ποικιλία εικόνων.