Οι νευροεπιστήμονες έχουν αποκαλύψει πώς οι διερευνητικές ενέργειες επιτρέπουν στα ζώα να μάθουν το χωρικό τους περιβάλλον πιο αποτελεσματικά. Τα ευρήματά τους θα μπορούσαν να βοηθήσουν στη δημιουργία καλύτερων πρακτικών AI που μπορούν να μαθαίνουν γρηγορότερα και να απαιτούν λιγότερη εμπειρία. Ερευνητές στο Sainsbury Wellcome Center και στο Gatsby Computational Neuroscience Unit στο UCL διαπίστωσαν ότι οι ενστικτώδεις εξερευνητικές διαδρομές που πραγματοποιούν τα ζώα δεν είναι τυχαίες.
Αυτές οι σκόπιμες ενέργειες επιτρέπουν στα ποντίκια να μάθουν αποτελεσματικά έναν χάρτη του κόσμου. Η μελέτη, που δημοσιεύτηκε στο Neuron, περιγράφει πώς οι νευροεπιστήμονες δοκίμασαν την υπόθεσή τους ότι οι συγκεκριμένες διερευνητικές ενέργειες που αναλαμβάνουν τα ζώα, όπως το γρήγορο βέλος προς τα αντικείμενα, είναι σημαντικές για να τα βοηθήσουν να μάθουν πώς να περιηγούνται στο περιβάλλον τους.
“Υπάρχουν πολλές θεωρίες στην ψυχολογία σχετικά με το πώς η εκτέλεση συγκεκριμένων ενεργειών διευκολύνει τη μάθηση. Σε αυτή τη μελέτη, δοκιμάσαμε εάν η απλή παρατήρηση εμποδίων σε ένα περιβάλλον ήταν αρκετή για να μάθουμε γι ‘αυτά ή εάν σκόπιμες, καθοδηγούμενες από αισθητηριακές ενέργειες βοηθούν τα ζώα να χτίσουν μια γνωστική χάρτης του κόσμου”, δήλωσε ο καθηγητής Tiago Branco, επικεφαλής της ομάδας στο Sainsbury Wellcome Center και αντίστοιχος συγγραφέας στο έγγραφο.
Σε προηγούμενη εργασία, οι επιστήμονες στο SWC παρατήρησαν μια συσχέτιση μεταξύ του πόσο καλά μαθαίνουν τα ζώα να περνούν γύρω από ένα εμπόδιο και τον αριθμό των φορών που είχαν τρέξει προς το αντικείμενο. Σε αυτή τη μελέτη, ο Philip Shamash, SWC Ph.D. μαθητής και πρώτος συγγραφέας της εργασίας, πραγματοποίησε πειράματα για να ελέγξει τον αντίκτυπο της αποτροπής των ζώων από την εκτέλεση εξερευνητικών δρομολογίων.
Εκφράζοντας μια ενεργοποιούμενη από το φως πρωτεΐνη που ονομάζεται καναλροδοψίνη σε ένα μέρος του κινητικού φλοιού, ο Philip μπόρεσε να χρησιμοποιήσει οπτογενετικά εργαλεία για να αποτρέψει τα ζώα από το να ξεκινήσουν διερευνητικές διαδρομές προς εμπόδια. Η ομάδα διαπίστωσε ότι παρόλο που τα ποντίκια είχαν αφιερώσει πολύ χρόνο παρατηρώντας και μυρίζοντας εμπόδια, αν εμπόδιζαν να τρέξουν προς αυτά, δεν μάθαιναν.
Αυτό δείχνει ότι οι ίδιες οι ενστικτώδεις διερευνητικές ενέργειες βοηθούν τα ζώα να μάθουν έναν χάρτη του περιβάλλοντός τους. Για να διερευνήσει τους αλγόριθμους που μπορεί να χρησιμοποιεί ο εγκέφαλος για να μάθει, η ομάδα συνεργάστηκε με τον Sebastian Lee, Ph.D. φοιτητής στο εργαστήριο του Andrew Saxe στο SWC, για να τρέξει διαφορετικά μοντέλα ενισχυτικής μάθησης που έχουν αναπτύξει οι άνθρωποι για τεχνητούς παράγοντες και να παρατηρήσει ποιο από αυτά αναπαράγει περισσότερο τη συμπεριφορά του ποντικιού.
Υπάρχουν δύο κύριες κατηγορίες μοντέλων ενισχυτικής μάθησης: χωρίς μοντέλα και βασισμένα σε μοντέλα. Η ομάδα διαπίστωσε ότι υπό ορισμένες συνθήκες τα ποντίκια ενεργούν με τρόπο χωρίς μοντέλα, αλλά υπό άλλες συνθήκες, φαίνεται ότι έχουν ένα μοντέλο του κόσμου. Και έτσι οι ερευνητές εφάρμοσαν έναν πράκτορα που μπορεί να διαιτητεύσει μεταξύ χωρίς μοντέλο και βάσει μοντέλου. Αυτό δεν είναι απαραίτητα ο τρόπος με τον οποίο λειτουργεί ο εγκέφαλος του ποντικιού, αλλά τους βοήθησε να κατανοήσουν τι απαιτείται σε έναν αλγόριθμο μάθησης για να εξηγήσει τη συμπεριφορά.
“Ένα από τα προβλήματα με την τεχνητή νοημοσύνη είναι ότι οι πράκτορες χρειάζονται πολλή εμπειρία για να μάθουν κάτι. Πρέπει να εξερευνήσουν το περιβάλλον χιλιάδες φορές, ενώ ένα πραγματικό ζώο μπορεί να μάθει ένα περιβάλλον σε λιγότερο από δέκα λεπτά. Πιστεύουμε ότι αυτό είναι εν μέρει επειδή, σε αντίθεση με τους τεχνητούς παράγοντες, η εξερεύνηση των ζώων δεν είναι τυχαία και αντ’ αυτού επικεντρώνεται σε σημαντικά αντικείμενα. Αυτό το είδος κατευθυνόμενης εξερεύνησης κάνει τη μάθηση πιο αποτελεσματική και έτσι χρειάζονται λιγότερη εμπειρία για να μάθουν”, εξηγεί ο καθηγητής Μπράνκο.