Η αυτοματοποίηση επιχειρήσεων με AI χρειάζεται έναν έλεγχο πραγματικότητας για την ασφάλεια
Αυτή την εβδομάδα, η αυτοματοποίηση επιχειρήσεων με AI έπαψε να μοιάζει με ένα απλό έργο αποδοτικότητας back-office και άρχισε να φαίνεται ως πρόβλημα σχεδιασμού ασφάλειας. Αναφέρθηκε ότι η Meta είχε ανενεργό κώδικα αναγνώρισης προσώπου μέσα στην εφαρμογή για τα έξυπνα γυαλιά της· το 404 Media έδειξε ότι οι επιτιθέμενοι μπορούσαν να χειραγωγήσουν τη ροή υποστήριξης AI της Meta για να αναλάβουν τον έλεγχο προφίλ υψηλού προφίλ· η Google κυκλοφόρησε μια λειτουργία επαλήθευσης καλούντος για να περιορίσει τις απάτες πλαστοπροσωπίας που βασίζονται σε AI· και οι Financial Times ανέφεραν ότι η Anthropic βοηθά την NSA να θέσει σε λειτουργία ένα προηγμένο μοντέλο ασφάλειας. Αυτό που πραγματικά σημαίνει αυτό είναι απλό: μόλις η αυτοματοποίηση αγγίξει την ταυτότητα, την πρόσβαση, την απάτη ή την ασφάλεια, η ροή εργασίας γίνεται μέρος της επιφάνειας απειλής.
Σε μια συνεργασία με πελάτη πέρυσι, διαπίστωσα ότι το βήμα με τον υψηλότερο κίνδυνο δεν ήταν το μοντέλο. Ήταν η εναλλακτική διαδρομή (fallback path). Το AI δρομολογούσε σωστά τα αιτήματα στο 93% των περιπτώσεων, αλλά η ροή εξαιρέσεων για το υπόλοιπο 7% επέτρεπε στους χρήστες να παρακάμπτουν την κανονική επαλήθευση και να φτάνουν σε μια ουρά ενεργειών διαχειριστή. Αυτό ακριβώς είναι το μοτίβο πίσω από πολλές από τις ειδήσεις αυτής της εβδομάδας.
Τι άλλαξαν πραγματικά οι ιστορίες αυτοματοποίησης AI αυτής της εβδομάδας
Αν τις δούμε μία προς μία, αυτές οι ιστορίες φαίνονται άσχετες μεταξύ τους. Μαζί, περιγράφουν την ίδια λειτουργική μετατόπιση: η αυτοματοποίηση εργασιών με AI μετακινείται από την εσωτερική παραγωγικότητα σε ροές εργασίας που απευθύνονται σε πελάτες και σχετίζονται με την ασφάλεια.
Σύμφωνα με την αναφορά του WIRED για τον ανενεργό κώδικα NameTag της Meta, η εταιρεία είχε λειτουργικότητα σχετική με την αναγνώριση προσώπου μέσα στη συνοδευτική εφαρμογή για τα έξυπνα γυαλιά Ray-Ban και Oakley. Σύμφωνα με την αναφορά του 404 Media για τις καταλήψεις λογαριασμών υποστήριξης της Meta, οι επιτιθέμενοι κατάφεραν να εκμεταλλευτούν την υποστήριξη λογαριασμών με τη βοήθεια AI για να επαναφέρουν κωδικούς πρόσβασης για εξέχοντες χρήστες. Αντίθετα, η αναφορά του WIRED για τη διάθεση της επαλήθευσης καλούντος Android από την Google περιγράφει μια κρυπτογραφική χειραψία (handshake) που χρησιμοποιείται για τον εντοπισμό πλαστογραφημένων κλήσεων, η οποία αποτελεί ένα πολύ πιο στενό και ασφαλές όριο εφαρμογής. Και η αναφορά των Financial Times για την Anthropic και την NSA υπογραμμίζει τη φύση διπλής χρήσης της αυτοματοποίησης διαδικασιών AI στις κυβερνοεπιχειρήσεις.
Για τους αγοραστές, η αλλαγή δεν είναι πλέον θεωρητική. Η αυτοματοποίηση ροών εργασίας με AI επεκτείνεται πλέον σε επαναφορές κωδικών πρόσβασης, εμπιστοσύνη καλούντος, βιομετρική ταυτοποίηση και λειτουργίες διαχείρισης ευπαθειών. Αυτό σημαίνει ότι ο έλεγχος ασφαλείας δεν μπορεί πλέον να γίνεται μετά την πιλοτική εφαρμογή. Πρέπει να διαμορφώνει την πιλοτική εφαρμογή.
Το μάθημα από αυτές τις υλοποιήσεις δεν είναι ότι η αυτοματοποίηση είναι κακή. Είναι ότι οι ομάδες συνεχίζουν να αντιμετωπίζουν τις ροές εργασίας που απαιτούν εμπιστοσύνη σαν απλά έργα αποδοτικότητας. Στην πράξη, η διαχείριση ταυτότητας και εξαιρέσεων χρειάζεται περισσότερο χρόνο σχεδιασμού από την επιλογή του μοντέλου.
Τα στοιχήματα της Meta για την υποστήριξη και τα γυαλιά δείχνουν το ίδιο μοτίβο αποτυχίας
Βλέπω το ίδιο μοτίβο αποτυχίας στην ιστορία των έξυπνων γυαλιών της Meta και στην ιστορία της αυτοματοποίησης υποστήριξης: δίνεται υπερβολικά μεγάλη εξουσία στο σύστημα προτού ωριμάσουν τα όρια ελέγχου.
Με τα γυαλιά, ο λειτουργικός κίνδυνος δεν είναι μόνο η ίδια η αναγνώριση προσώπου. Είναι η ανενεργή δυνατότητα. Εάν ο κώδικας για μια βιομετρική λειτουργία είναι ήδη διανεμημένος σε δεκάδες εκατομμύρια τηλέφωνα, τότε ο κίνδυνος υλοποίησης μετατοπίζεται από τη συγκατάθεση κατά την ημέρα κυκλοφορίας στη διακυβέρνηση των ενημερώσεων, στις παραδοχές αποθήκευσης στη συσκευή και στα σενάρια κατάχρησης. Οι ανενεργές λειτουργίες είναι δύσκολο να εξηγηθούν στους χρήστες και δύσκολο να περιοριστούν μόλις αποκτήσουν πολιτική ή νομική σημασία.
Με την αυτοματοποίηση της υποστήριξης, ο κίνδυνος είναι ακόμη πιο άμεσος. Η ανάκτηση λογαριασμού δεν είναι μια κανονική ροή εξυπηρέτησης πελατών. Είναι μια ροή εργασίας ταυτοποίησης. Εάν ένα επίπεδο αυτοματοποίησης διαδικασιών AI μπορεί να ερμηνεύσει μια προτροπή (prompt), να αξιολογήσει στοιχεία και να ενεργοποιήσει τη λογική επαναφοράς κωδικού πρόσβασης, τότε μια ουρά υποστήριξης έχει ουσιαστικά γίνει μια επιφάνεια ελέγχου ταυτότητας.
Στην πράξη, εδώ είναι που οι ομάδες συνήθως υποτιμούν το μοντέλο απειλών. Ασφαλίζουν το τελικό σημείο (endpoint) του μοντέλου, αλλά όχι τις κλιμακώσεις, τις επαναπροσπάθειες, τις ανθρώπινες παρεμβάσεις ή τα εργαλεία διαχειριστή που βρίσκονται πίσω από αυτό. Ο σωστός σχεδιασμός αυτοματοποίησης επιχειρηματικών διαδικασιών ξεκινά με την επισήμανση των ενεργειών που αλλάζουν την κατάσταση εμπιστοσύνης: επαναφορά κωδικού πρόσβασης, επαλήθευση προσώπου, έκθεση βιομετρικών δεδομένων, καταστολή ειδοποίησης απάτης, έγκριση επιστροφής χρημάτων. Αυτές οι ενέργειες χρειάζονται ξεχωριστούς ελέγχους.
Γιατί η εμπιστοσύνη στο AI καταρρέει όταν η ροή εργασίας είναι το προϊόν
Μόλις το AI ενταχθεί στις λειτουργίες ταυτοποίησης, υποστήριξης ή ασφάλειας, η ίδια η ροή εργασίας γίνεται το προϊόν που κρίνουν οι χρήστες. Εάν αποτύχει, δεν κατηγορούν τον ταξινομητή (classifier). Κατηγορούν την εταιρεία.
Η αγωγή κατά της xAI για υποτιθέμενα γυμνά deepfakes που δημιουργήθηκαν από το Grok, όπως αναφέρθηκε από το WIRED, δείχνει τη νομική πλευρά του ίδιου ζητήματος. Το αποτέλεσμα του συστήματος είναι ένα πρόβλημα. Η γύρω ροή εργασίας ανταπόκρισης είναι ένα άλλο. Ο τρόπος με τον οποίο τα θύματα αναφέρουν τη βλάβη, ο τρόπος χειρισμού των αποδεικτικών στοιχείων, ο τρόπος προστασίας της ανωνυμίας και ο τρόπος αναθεώρησης των καταργήσεων περιεχομένου, όλα έχουν την ίδια σημασία με τη συμπεριφορά του υποκείμενου μοντέλου.
Αυτό είναι το κομμάτι που συχνά διαφεύγει από τα στελέχη όταν αγοράζουν υπηρεσίες υλοποίησης AI. Το μοντέλο μπορεί να είναι 95% ακριβές και η εγκατάσταση να εξακολουθεί να μην είναι ασφαλής, επειδή το σφάλμα συμβαίνει σε ένα βήμα υψηλού κόστους. Ένα ψευδώς θετικό αποτέλεσμα (false positive) στη σύνοψη πρακτικών μιας συνάντησης είναι ενοχλητικό. Ένα ψευδώς θετικό αποτέλεσμα στην επαλήθευση καλούντος μπορεί να αποκλείσει έναν πελάτη. Ένα ψευδώς αρνητικό αποτέλεσμα (false negative) στην ανάκτηση λογαριασμού μπορεί να παραδώσει τα κλειδιά σε έναν επιτιθέμενο.
Σε μια αξιολόγηση αυτοματοποίησης υποστήριξης που πραγματοποίησα, χρησιμοποιήσαμε έναν απλό κανόνα βαθμολόγησης πριν από οποιαδήποτε έγκριση δημιουργίας:
- Αλλάζει η ροή εργασίας την ταυτότητα, την πρόσβαση, τα χρήματα ή τα ρυθμιζόμενα δεδομένα;
- Μπορεί το AI να αναλάβει δράση ή μόνο να προτείνει δράση;
- Υπάρχει καταγεγραμμένη ανθρώπινη παράκαμψη (override) εντός 2 κλικ;
- Υπάρχει μια ασφαλής εναλλακτική λύση (fallback) όταν το μοντέλο είναι αβέβαιο;
Αυτού του είδους η δικλείδα ασφαλείας εντοπίζει περισσότερους πραγματικούς κινδύνους υλοποίησης από ό,τι άλλη μια εβδομάδα βελτιστοποίησης προτροπών (prompt tuning).
Η ανίχνευση απάτης της Google είναι το χρήσιμο αντιπαράδειγμα
Η λειτουργία Android της Google είναι ενδιαφέρουσα επειδή περιορίζει το πρόβλημα προτού το αυτοματοποιήσει. Σύμφωνα με την κάλυψη του WIRED, το σύστημα ελέγχει για μια αθόρυβη κρυπτογραφική χειραψία μεταξύ των συσκευών και αφαιρεί δείκτες εμπιστοσύνης, όπως η φωτογραφία επαφής, εάν αυτή η επαλήθευση αποτύχει. Αυτό είναι ένα καλύτερο μοτίβο από το να ζητάμε από ένα ευρύ μοντέλο να συμπεράνει την εμπιστοσύνη από ασαφή σήματα.
Από την πλευρά της υλοποίησης, η Google έκανε τρία πράγματα σωστά.
Πρώτον, σύνδεσε την απόφαση με ένα επαληθεύσιμο σήμα αντί για μια πιθανολογική εικασία. Δεύτερον, υποβαθμίστηκε ομαλά (degraded gracefully) αντί να λάβει μια πλήρως αυτόνομη απόφαση υψηλού ρίσκου. Τρίτον, κατέστησε ορατό τον περιορισμό: η λειτουργία εξαρτάται από τη χρήση του Google Dialer και από τις δύο πλευρές, επομένως η διαλειτουργικότητα είναι περιορισμένη.
Αυτό το τελευταίο σημείο έχει σημασία. Η ασφαλέστερη αυτοματοποίηση επιχειρήσεων με AI έχει συχνά στενότερη κάλυψη. Στις ομάδες δεν αρέσει αυτός ο συμβιβασμός, αλλά συνήθως είναι ο σωστός. Προτιμώ να βλέπω 55% κάλυψη με σαφείς εγγυήσεις παρά 95% κάλυψη με αδιαφανείς τρόπους αποτυχίας.
Αυτός είναι επίσης ο λόγος για τον οποίο το καταλληλότερο μοντέλο υλοποίησης εδώ είναι η πειθαρχία στην εφαρμογή, όχι μόνο η στρατηγική. Για ομάδες που δημιουργούν αυτοματοποιήσεις που απευθύνονται σε πελάτες ή σχετίζονται με την ασφάλεια, η Αυτοματοποίηση Επιχειρηματικών Διαδικασιών με AI είναι ο πιο κατάλληλος λειτουργικός φακός: χαρτογραφήστε τη ροή εργασίας, εντοπίστε τα βήματα που αλλάζουν την εμπιστοσύνη, προσθέστε πύλες έγκρισης και μόνο τότε αποφασίστε πού πρέπει να ενεργεί το AI έναντι του να συμβουλεύει.
Τι πρέπει να ελέγξουν οι εταιρικές ομάδες πριν κυκλοφορήσουν αυτοματοποιήσεις AI
Αν εξέταζα αυτά τα περιστατικά με μια ηγετική ομάδα αυτό το τρίμηνο, θα εστίαζα λιγότερο στην πολυπλοκότητα του μοντέλου και περισσότερο σε πέντε ελέγχους υλοποίησης.
1. Διαδρομές έγκρισης. Κάθε ροή εργασίας που αλλάζει την κατάσταση του λογαριασμού, την ταυτότητα, την πληρωμή ή τα ευαίσθητα δεδομένα χρειάζεται έναν σαφή πίνακα ενεργειών. Η αυτοματοποίηση επιχειρηματικών διαδικασιών αποτυγχάνει όταν κρυφές ενέργειες διαχειριστή είναι προσβάσιμες μέσω εργαλείων υποστήριξης.
2. Καταστάσεις εναλλακτικής λύσης (Fallback). Ο ασφαλέστερος σχεδιασμός είναι συχνά μια αναστρέψιμη εναλλακτική λύση χαμηλής εμπιστοσύνης. Σημειώστε την κλήση. Παγώστε την επαναφορά. Δρομολογήστε την υπόθεση. Μην αναγκάζετε το μοντέλο να λάβει μια τελική απόφαση όταν η αβεβαιότητα είναι υψηλή.
3. Ανθρώπινη παράκαμψη. Εάν ένας χειριστής δεν μπορεί να δει γιατί ενήργησε το σύστημα και να το αναιρέσει γρήγορα, το επίπεδο αυτοματοποίησης ροής εργασιών AI θα γίνει πολλαπλασιαστής διακοπών λειτουργίας.
4. Αρχεία καταγραφής ελέγχου (Audit logs). Κρατήστε αρχεία καταγραφής σε επίπεδο συμβάντος για την προτροπή, το ανακτημένο πλαίσιο (context), την απόκριση του μοντέλου, την απόφαση πολιτικής, την ανθρώπινη έγκριση και την τελική ενέργεια. Όταν συμβαίνει ένα περιστατικό, οι ομάδες χωρίς αυτήν την αλυσίδα χάνουν μέρες.
5. Όρια παρόχων. Μάθετε ακριβώς ποιος πάροχος χειρίζεται την εξαγωγή συμπερασμάτων του μοντέλου (inference), την επαλήθευση ταυτότητας, την αποθήκευση και την εκτέλεση ενεργειών. Πολλές υλοποιήσεις αυτοματοποίησης εργασιών AI αποτυγχάνουν επειδή η ευθύνη μοιράζεται σε τρία συστήματα και δεν ανήκει σε κανέναν.
Το πρακτικό συμπέρασμα αυτής της εβδομάδας δεν είναι να σταματήσετε την υλοποίηση του AI. Είναι να σταματήσετε να αντιμετωπίζετε την ευαίσθητη αυτοματοποίηση ως μια απλή κυκλοφορία λειτουργίας. Πρόκειται για μια άσκηση σχεδιασμού λειτουργιών με συνέπειες για την ασφάλεια.
FAQ
Είναι η αυτοματοποίηση επιχειρήσεων με AI επικίνδυνη μόνο σε ροές εργασίας που απευθύνονται σε πελάτες;
Όχι. Οι εσωτερικές ροές εργασίας μπορούν να δημιουργήσουν τα ίδια προβλήματα εάν επηρεάζουν την πρόσβαση, τη μισθοδοσία, τις ειδοποιήσεις ασφαλείας ή τα ρυθμιζόμενα αρχεία. Τα συστήματα που απευθύνονται σε πελάτες απλώς εκθέτουν τις αποτυχίες ταχύτερα επειδή οι χρήστες τις βιώνουν αμέσως.
Ποια είναι η ασφαλέστερη πρώτη περίπτωση χρήσης για την αυτοματοποίηση επιχειρήσεων με AI;
Η διαλογή (triage) χαμηλού κινδύνου είναι συνήθως το καλύτερο σημείο εκκίνησης: ταξινόμηση αιτημάτων, σύνοψη υποθέσεων, δρομολόγηση εργασιών ή σύνταξη προσχεδίων απαντήσεων για ανθρώπινη αναθεώρηση. Αυτές οι χρήσεις δημιουργούν αξία χωρίς να δίνουν στο σύστημα την εξουσία να αλλάζει απευθείας την κατάσταση εμπιστοσύνης.
Πότε πρέπει οι εταιρείες να σταματήσουν προσωρινά τη διάθεση μιας αυτοματοποίησης;
Σταματήστε προσωρινά όταν η ροή εργασίας μπορεί να αλλάξει ταυτότητες, διαπιστευτήρια, κίνηση χρημάτων ή ευαίσθητα αρχεία και δεν έχετε ακόμη εφαρμόσει καταγραφή, εναλλακτικές λύσεις (fallback) και ανθρώπινη παράκαμψη. Σε αυτό το σημείο, η ταχύτητα είναι λιγότερο σημαντική από τον περιορισμό του κινδύνου.
Martin Kuvandzhiev
CEO and Founder of Encorp.io with expertise in AI and business transformation