Η Anthropic προτείνει έναν νέο τρόπο μέτρησης της εξέλιξης της frontier τεχνητής νοημοσύνης. Σε ανακοίνωση της 17ης Σεπτεμβρίου, η εταιρεία υποστήριξε ότι οι εξωτερικοί παρατηρητές δεν βλέπουν αρκετά από όσα συμβαίνουν στα κορυφαία εργαστήρια AI και πρότεινε τη δημοσίευση συγκρίσιμων δεικτών.
Τι θέλει να μετρήσει η πρόταση
Το κείμενο της Anthropic εστιάζει σε μετρήσεις όπως η υπολογιστική ισχύς, ο χρόνος και το κόστος εκπαίδευσης και οι δυνατότητες που επιδεικνύουν τα συστήματα. Η εταιρεία τις παρουσιάζει ως τρόπο για να συγκρίνεται ευκολότερα η πρόοδος μέσα στον χρόνο και μεταξύ οργανισμών.
Η πρόταση αφορά τη διαφάνεια, όχι την ιδέα ότι ένας δείκτης μπορεί να συνοψίσει ένα σύστημα AI. Οι προϋπολογισμοί εκπαίδευσης, τα αποτελέσματα αξιολόγησης και οι επιλογές ανάπτυξης αποκαλύπτουν διαφορετικές πλευρές. Η σύγκριση δυσκολεύει επίσης όταν τα εργαστήρια χρησιμοποιούν διαφορετικές δοκιμές ή κρατούν τις μεθόδους τους ιδιωτικές.
Γιατί έχει σημασία η διαφάνεια
Η Anthropic λέει ότι καλύτερες μετρήσεις θα μπορούσαν να βοηθήσουν ερευνητές, policymakers και το κοινό να καταλάβουν αν η πρόοδος επιταχύνεται, σταθεροποιείται ή αλλάζει κατεύθυνση. Θα μπορούσαν επίσης να κάνουν τη συζήτηση για την ασφάλεια και τη διακυβέρνηση λιγότερο εξαρτημένη από περιστασιακές ανακοινώσεις προϊόντων.
Η δική μας εκτίμηση: η πρόταση θα είναι χρήσιμη μόνο αν ο κλάδος συμφωνήσει σε ορισμούς και δημοσιεύσει αρκετά στοιχεία ώστε τα αποτελέσματα να ελέγχονται. Οι εθελοντικοί δείκτες είναι μια αρχή, αλλά ανεξάρτητοι έλεγχοι και συνεπής αναφορά θα κρίνουν αν μπορούν να γίνουν σταθερό δημόσιο σήμα.
Η Anthropic ζητά σχόλια καθώς εξελίσσει το πλαίσιο. Η πλήρης πρόταση βρίσκεται στον παρακάτω σύνδεσμο.