Η Anthropic ανακοίνωσε συνεργασία με την Accenture για την ανεξάρτητη αξιολόγηση συστημάτων frontier AI. Η ανακοίνωση της 18ης Σεπτεμβρίου αναφέρει ότι η Faculty, η ειδική μονάδα AI της Accenture, θα εργάζεται μέσα στην Anthropic για την αξιολόγηση και το red-team μοντέλων, τις αξιολογήσεις ευθυγράμμισης και τον έλεγχο δικλίδων ασφαλείας.
Τι σημαίνει η αξιολόγηση μέσα στην εταιρεία
Η Anthropic περιγράφει τους embedded αξιολογητές ως ανθρώπους με πρόσβαση αντίστοιχη με εκείνη ενός εργαζομένου. Αυτό θα μπορούσε να τους επιτρέψει να εξετάζουν συστήματα, διαδικασίες και στοιχεία που είναι δύσκολο να δει μια εξωτερική ομάδα. Η εταιρεία λέει ότι η νέα δομή θα συμπληρώνει την υπάρχουσα εξωτερική αξιολόγηση.
Η συνεργασία συνδέεται με τη γενικότερη δέσμευση της Anthropic να κάνει πιο ορατή την ανάπτυξη frontier μοντέλων. Οι λεπτομέρειες λειτουργίας δεν έχουν ακόμη οριστικοποιηθεί, άρα πρόκειται για σχέδιο δημιουργίας δυναμικότητας αξιολόγησης και όχι για ολοκληρωμένο audit.
Η κλίμακα και τα ανοιχτά ερωτήματα
Η Anthropic και η Accenture αναμένουν να επενδύσουν τουλάχιστον 1 δισ. δολάρια η καθεμία σε αυτόν τον τομέα μέσα στα επόμενα πέντε χρόνια. Το μέγεθος της δέσμευσης δείχνει ότι η αξιολόγηση αντιμετωπίζεται ως διαρκής υποδομή και όχι ως ένας έλεγχος πριν από την κυκλοφορία.
Τα κρίσιμα ερωτήματα είναι πρακτικά: σε τι θα έχουν πρόσβαση οι αξιολογητές, αν θα μπορούν να δημοσιεύουν ευρήματα, πώς θα αντιμετωπίζονται οι συγκρούσεις και αν η δουλειά τους θα μπορεί να επηρεάζει αποφάσεις ανάπτυξης. Η ανεξαρτησία μέσα σε μια εταιρεία εξαρτάται από αυτούς τους κανόνες όσο και από το όνομα του αξιολογητή.
Η δική μας εκτίμηση: η embedded αξιολόγηση θα μπορούσε να μειώσει το πληροφοριακό κενό ανάμεσα στα εργαστήρια AI και σε όσους τα αξιολογούν, όμως η αξιοπιστία της θα κριθεί από διαφανή εντολή και ουσιαστική εξουσία. Η Anthropic λέει ότι θα δώσει περισσότερες λεπτομέρειες καθώς εξελίσσεται η συνεργασία.