Comment l'intelligence artificielle peut-elle être corrompue et comment s'y préparer?

À la fin de la journée, les logiciels d'intelligence artificielle sont toujours des logiciels - et les logiciels peuvent être corrompus. Si Siri ou Alexa risquent de ne pas se transformer en HAL 9000 ou SkyNet, nous risquons de ne pas craindre une utilisation abusive ou un dysfonctionnement d'AI. systèmes est une éventualité à laquelle les individus et les organisations doivent se préparer.

La première étape dans la préparation de voyous A.I. est de comprendre comment les systèmes d’intelligence artificielle peuvent être corrompus en premier lieu. Roman Yampolskiy, chercheur à l’Université de Louisville, a identifié huit voies uniques menant à l’IA dangereux, décrites ci-dessous. Ensuite, nous discuterons des méthodes pour atténuer le risque d’intelligence artificielle malveillante.

Comment évolue l'intelligence artificielle

Le terme «intelligence artificielle» est un terme complexe avec de nombreuses définitions concurrentes (surtout lorsqu'il est utilisé par les spécialistes du marketing), mais une description généralement acceptée de I.I. est un logiciel qui se modifie lui-même sans surveillance directe des programmeurs humains. A.I. Les logiciels évoluent en réponse à des stimuli, donnant ainsi naissance à un nouveau système qui n’a pas été codé directement par des êtres humains.

Le plus moderne A.I. est un produit de deux facteurs: un algorithme principal écrit par des humains et des données d'apprentissage qui informent comment cet algorithme se modifie lui-même pour améliorer ou adapter ses performances. Par exemple, un A.I. La solution qui reconnaît les visages sur les photos en ligne serait le produit de l’algorithme original de reconnaissance d’image et des différentes images de formation utilisées par cet algorithme pour «apprendre» à distinguer les visages humains des autres données d’image.

Les données de formation sont bien annotées et fournies dans un environnement contrôlé, avant le déploiement. Il dicte comment le A.I. jouera immédiatement après sa sortie et son utilisation générale.

Après le déploiement, cependant, A.I. Les solutions rencontrent des données du «monde réel» qui peuvent être utilisées pour informer et améliorer les performances d’AI. Cela signifie que plusieurs copies de la même pré-version, A.I. peuvent et deviendront radicalement différentes une fois qu’ils s’adapteront aux différents utilisateurs et aux différentes organisations qui les emploient.

Plus simplement, certaines solutions d’intelligence artificielle sont «mal conçues» par leurs développeurs, d’autres deviennent dangereuses en raison de leur croissance naturelle. Cette corruption peut se produire avant ou après la libération, intentionnellement ou par erreur, en raison de facteurs environnementaux ou simplement en tant que conclusion logique de la courbe de développement d’AI. Chaque circonstance conduit à une race différente d'intelligence artificielle malveillante.

La définition de «mauvais» A.I.

Les logiciels malveillants - souvent appelés logiciels malveillants - sont des logiciels conçus pour nuire aux systèmes informatiques, aux utilisateurs, ou aux deux. Ce qui distingue les malveillants A.I. de malware classique est que A.I. peut devenir malveillant sans le consentement ou l'intention de ses développeurs. A.I. dans une certaine mesure se conçoit, donc un A.I. qui est actuellement malveillant n’a peut-être pas été conçu de cette manière, et A.I. qui est conçu pour être non-malveillant ne reste pas bienveillant ou bénin.

Comme mentionné ci-dessus, A.I. est un logiciel évolué qui se réécrit au fil du temps, éventuellement en acquérant de nouvelles fonctions ou de nouveaux objectifs. En tant que tel, tout A.I. est potentiellement malveillant, non seulement parce que ses développeurs ou ses utilisateurs peuvent diriger le fichier A.I. causer un préjudice, mais parce que le A.I. système peut évoluer par lui-même sur des comportements néfastes.

Itinéraires possibles vers A.I. Malware

Mal par conception A.I.

L’intelligence artificielle Yampolskiy de type A est le type le plus probable et le plus dangereux d’AI malveillant. - l'intelligence artificielle conçue intentionnellement pour causer un préjudice. Les intelligences artificielles de type A sont rendues malveillantes à dessein, avant le déploiement. Bien qu’il soit possible que tout A.I. devenir accidentellement dangereux ou nuisible, c’est une certitude que quelqu'un a déjà construit un A.I. système conçu intentionnellement pour blesser quelqu'un ou quelque chose.

Plusieurs militaires travaillent ouvertement sur des systèmes d'armes automatisés contrôlés par A.I. Plusieurs agences de renseignement utilisent A.I. construire de meilleurs outils de cyber-armes et de surveillance. Les organisations criminelles utilisent presque certainement A.I. pour affiner leurs attaques de phishing - imaginez, par exemple, une horde de chatbots exécutant des escroqueries de prisonniers espagnols compétents par courrier électronique ou par Facebook Messenger - en ce moment même.

Quel que soit le mal que peuvent faire les malwares classiques, A.I. peut aider les logiciels malveillants à mieux faire. L'intelligence artificielle peut rendre les logiciels malveillants plus efficaces en soi, et A.I. peut également améliorer les logiciels malveillants en évitant la détection. Quand A.I. devient toujours capable de passer le test de Turing - c’est-à-dire, quand vous ne pouvez plus dire facilement si vous parlez à une personne ou à un chatbot - une toute nouvelle gamme d’attaques d’ingénierie sociale devient alors possible.

Un A.I. escroc est plus dangereux qu'un huckster conventionnel parce qu'un A.I. escroc peut fonctionner à une échelle presque illimitée.

Repositionné pour le mal A.I.

L’intelligence artificielle Yampolskiy de type B a été conçue dans un but légitime, mais elle est redirigée plutôt que reprogrammée ou piratée à des fins malveillantes. Les IIS de type B sont délibérément malveillants, mais uniquement après le déploiement, et généralement sans modification directe de leur code.

Prenons, par exemple, un A.I. Un système d’analyse d’images conçu pour aider les ingénieurs à identifier les défauts structurels des ponts et des viaducs d’autoroutes en prenant simplement des photographies classiques des routes. Lorsqu'il est utilisé aux fins pour lesquelles il a été conçu, cet appareil A.I. Cette solution sauve des vies en affectant les ressources nécessaires aux routes et aux ponts menacés d’effondrement. Si, toutefois, un groupe terroriste s'emparait du même A.I. système, ils pourraient l'utiliser pour diriger des attaques de bombardement vers les zones où ils causeraient le plus de dégâts.

De même, un A.I. Un système pourrait exister pour gérer les contrôles de réduction de la demande imposés par de nombreuses entreprises de services publics d’électricité sur les unités de climatisation domestiques. Le système pourrait être conçu pour minimiser la consommation tout en garantissant qu'aucune maison ou entreprise ne manque de la climatisation nécessaire pour assurer la sécurité et le confort de ses occupants. Le poids relatif attribué à la conservation par rapport au confort serait contrôlé dans un écran de paramètres de l'écran A.I. application, avec des préférences définies par un employé humain. Si cet employé "est devenu voyou" et a instruit le A.I. pour maximiser les économies d’énergie à tout prix, il faudrait arrêter la climatisation même pendant les vagues de chaleur extrêmes, mettant peut-être en danger les personnes médicalement fragiles.

Dans ces exemples, ni le comportement ni le code sous-jacent de l'intelligence artificielle n'ont été modifiés, l'AI. vient d’être redirigé par des utilisateurs humains à des fins malveillantes ou dangereuses.

Mal conçu A.I.

Une intelligence artificielle Yampolskiy de type C est simplement mal conçue, de sorte que ses performances «correctes» sont dangereuses par inadvertance et non intentionnellement. Les CSI de type C sont rendus malveillants par accident, avant le déploiement. Cela diffère des systèmes Evil by Design (Type A) en ce sens que les agents Type-C ne sont pas créés à des fins malveillantes, mais manquent simplement de fonctionnalités de sécurité ou d ’« inhibitions »empêchant les comportements indésirables.

Un exemple d'AI mal conçu devenir méchant est un système de navigation qui planifie les itinéraires les plus économes en carburant pour les camions de livraison, mais ne tient pas compte des hauteurs de dégagement des ponts ou des tunnels. Le résultat pourrait être des accidents dommageables, voire mortels, dans la mesure où les camions à grand débattement sont guidés vers des itinéraires à faible débattement, les véhicules heurtant des obstacles en hauteur. Ce bogue n'a peut-être pas été découvert au cours des tests préalables à la publication, mais il deviendrait évident après la publication des accidents dès que les accidents ont commencé.

Presque toutes les versions majeures de logiciels contiennent des bogues et des erreurs qui ne sont apparentes que lorsque le logiciel est «dans la nature». A.I. endure presque tous les mêmes problèmes, et ces problèmes pourraient facilement donner lieu à un danger. I.I. logiciels malveillants.

Mal géré A.I.

Une intelligence artificielle Yampolskiy de type D est dirigée accidentellement par des utilisateurs humains vers des comportements dangereux. Un type SA.I. est rendu malveillant par erreur, post-déploiement, à la suite d'une erreur de l'utilisateur. Cela diffère de l'agent Réutilisé pour le mal (Type B) en ce que l'utilisateur humain n'a pas l'intention de diriger l'AI. vers un comportement malveillant, mais ne comprend tout simplement pas le résultat des instructions qu’il ou elle donne à l’AI. système.

A titre d'exemple, une gestion de portefeuille financier A.I. un utilisateur naïf peut demander à un utilisateur naïf de minimiser son impôt à payer pour le prochain exercice, ainsi que l’A.I. peut réagir en réorientant le portefeuille de la société vers des investissements intentionnellement peu performants, générant une perte financière, plutôt que de générer des bénéfices taxables. Même si le A.I. a des garanties pour empêcher ce type de mauvais choix - de nombreuses applications matures présentent un défi «Êtes-vous sûr?» lorsqu'un utilisateur fait un choix potentiellement dommageable - les humains ignorent constamment ces garanties en raison de leur ignorance, de leur hâte, de leur fatigue ou d'un simple malentendu.

A.I. ne sera pas plus immunisé contre la stupidité de l'utilisateur final que tout autre type de logiciel.

Model-Corrupt A.I.

L’intelligence artificielle Yampolskiy de type E est une copie parfaitement fonctionnelle d’une intelligence «naturelle» naturellement imparfaite. Les agents de type E sont rendus malveillants par leur environnement, pré-déploiement. Plus simplement, les agents de type E souffrent du problème du «singe voir, du singe». Robotic Process Automation, qui voit A.I. faible. les systèmes apprennent à imiter le comportement des utilisateurs humains, imiteront également tous les comportements inefficaces ou contre-productifs de ces mêmes agents humains.

Un exemple d'AI corrompu par un modèle. serait un agent RPA qui a été formé pour déposer des réclamations d'assurance médicale sur un site Web payeur d'assurance. Malheureusement, l'agent humain «formé» par l'APR peut avoir omis plusieurs tâches de conformité ou de recherche, ce qui a conduit à un nombre élevé de réclamations rejetées ou refusées par l'assureur. Pire, étant donné que l'agent RPA pourrait déposer des réclamations beaucoup plus rapidement que l'humain qu'il a remplacé, la compagnie d'assurance suspendra le médecin du dépôt de réclamations en ligne en raison d'un taux de rejet très élevé sur une courte période.

Si nous enseignons A.I. pour modéliser le comportement humain, nous devons nous assurer que le comportement est correct. Ces I.I. seront un produit de leur environnement ou de la «culture de l'entreprise». Si nous enseignons un A.I. se comporter bêtement ou dangereusement, il sera stupide et dangereux à un A.I. échelle.

Corruption de code A.I.

Une intelligence artificielle Yampolskiy de type F a souffert de la corruption de logiciels conventionnels, entraînant de dangereux dysfonctionnements. Les types I.I.s sont corrompus après le déploiement, par des facteurs environnementaux. Cette corruption est dérivée des mêmes causes que celles affectant les logiciels «normaux», c’est-à-dire une corruption physique du stockage matériel qui gère l’A.I. - corruption de code causée par un disque dur en panne, une puce de mémoire ou une erreur de copie - cela tourne à un bon A.I. mauvais.

Encore une fois, A.I. le logiciel n'est qu'un logiciel, et tous les fichiers numériques s'accumulent avec le temps. Parfois, cette corruption conduit à des logiciels malveillants, même dans A.I. systèmes.

Sur-évolué A.I.

Une intelligence artificielle Yampolskiy de type G en est une qui se transforme naturellement en comportement malveillant au fil du temps, sans aucune intention de la part de ses développeurs ou de ses utilisateurs. Les types de type G deviennent de manière indépendante malveillants avant le déploiement; aucun piratage, corruption ou mauvaise instruction de la part des utilisateurs n'est requise.

Un exemple d'agent Type-G est une gestion A.I de logiciel en tant que service. qui optimise récursivement son propre code afin de garantir que les applications SaaS qu’il supervise respectent un contrat de niveau de service (SLA) pour une disponibilité minimale ou un temps de réponse des transactions minimal. Une telle IA, après avoir suivi une formation pendant un certain temps et avoir observé les facteurs qui conduisent à une violation des ANS, peut élaborer des stratégies de réserve inattendues, telles que la fermeture proactive d’applications ou de sites Web concurrents dans son centre de données afin de garantir un accès sans entrave à la bande passante, à la puissance et à l’exécution. .

Ce comportement est une conclusion logique des directives de l’A.I., mais l’A.I. L'agent ne peut tirer cette conclusion qu'après avoir «appris», grâce à son expérience dans les données de formation, qu'un tel comportement malveillant l'aiderait à atteindre ses objectifs. Ces A.I. les agents peuvent ne pas disposer des garanties nécessaires, car les développeurs humains n’anticipent pas les «conclusions» de l’A.I. atteindra au cours de son évolution naturelle.

Mal enseigné A.I.

Une intelligence artificielle Yampolskiy de type H est une IA. cela devient malveillant en raison de l'exposition à des données d'entraînement réelles ou erronées. Les HI de type H deviennent indépendamment un post-déploiement malveillant. L’exemple le plus célèbre d’agent de type H est le chat Tay, de Microsoft, qui, une fois exposé au comportement délibérément offensant des humains en ligne, a rapidement commencé à adopter les mêmes schémas linguistiques racistes et misogynes qu’il avait observés «à l’état sauvage».

Les agents de type H diffèrent des modèles A.I.s altérés de type E en ce qu'ils se transforment indépendamment en logiciels malveillants après leur mise en service, plutôt que d'être initialement conçus pour imiter un ensemble défectueux de comportements. Les systèmes de type H «se heurtent en quelque sorte à la foule» et deviennent malveillants en se basant sur leur analyse du comportement inapproprié et appris.

Alors que les données de formation avant la publication sont contrôlées et appropriées, les données de formation après la publication sont en grande partie incontrôlées - ainsi le fameux avertissement de «ne pas lire les commentaires» pour les utilisateurs d’Internet - ce qui posera des défis à A.I. développeurs dans un avenir prévisible, en particulier ceux qui créent des agents conçus pour interagir avec les êtres humains.

Un remède contre les attaques malveillantes A.I.

Alors, étant donné toutes ces voies possibles de corruption et de comportement malveillant, l'intelligence artificielle est-elle vouée à l'échec? À peine. La clé pour réussir, I.I. Le développement consiste à s’assurer que les I.I. malveillants ne peuvent pas proliférer et que tous les I.I. peuvent être surveillés et interrogés afin de prédire ou de prévenir les dysfonctionnements ou les comportements dangereux.

Certains I.I., tels que Designed-for-Evil (Type A) ou ceux qui sont facilement recyclés pour le mal (Type B), ne devraient pas être largement diffusés. Tout comme nous réglementons la possession de produits chimiques industriels ou d’explosifs dangereux, nous devons réglementer la possession de A.I. systèmes.

Comme le note le présent document, il existe de nombreux types d'AI. qui ne sont pas intentionnellement ou manifestement malveillants, mais qui deviennent néanmoins dangereux avec le temps. En tant que tel, il est nécessaire d '"interroger" un A.I. en indiquant les objectifs de formation, les données de formation utilisées pour l’affiner, qui les a construites, qui les gère actuellement et quelles actions il a prises dans le passé ou envisage de prendre à l’avenir. Ce A.I. journal d'audit aidera à identifier A.I. agents potentiellement malveillants, ainsi que l’identification de circonstances, d’organisations ou d’individus qui ont mal tourné.

Créer une rareté avec Blockchain

Pour mettre un terme à la prolifération d’intelligences artificielles dangereuses, il sera nécessaire de rendre compte de chaque copie d’un I.I. donné, voire de restreindre le nombre de personnes ou d’organisations pouvant posséder ou exploiter certains A.I. agents. Malgré tous les efforts des autorités judiciaires et des garanties de licence indépendantes, personne n'a réussi à créer une «pénurie de logiciels» car, de par sa nature même, les logiciels traditionnels sont facilement copiés. (Pour une vue claire de cet échec, ne cherchez pas plus loin que le piratage en ligne généralisé de films, d'émissions de télévision, de chansons et de licences logicielles Windows.)

La Blockchain pourrait résoudre ce problème pour A.I. agents. La Blockchain est conçue pour résoudre le problème de double dépense de la monnaie numérique en veillant à ce que l'emplacement et la propriété de chaque pièce virtuelle dans un livre de la blockchain soient strictement pris en compte. Il ne peut jamais y avoir deux copies du même Bitcoin. Avec un registre de blockchain de A.I. agents, il ne peut jamais y avoir de copie non autorisée d'une intelligence artificielle.

Pour garder les I.I.s délibérément dangereux hors de mauvaises mains, un registre de blockchain pour les intelligences artificielles deviendra une exigence presque certaine.

Créer des responsabilités avec un grand livre distribué

Il ne suffit pas de limiter simplement le nombre de A.I. agents utilisés, car il y aura toujours des développeurs malhonnêtes qui créent des IIS hors réseau à des fins néfastes. Ainsi, une méthode est nécessaire pour identifier les origines de toute intelligence artificielle et vérifier son objectif. La même technologie de blockchain qui crée A.I. La rareté peut également rendre IIS contrôlable par le grand livre distribué de Blockchain.

Tout comme les certificats de sécurité de site Web utilisés pour des transactions en ligne sécurisées, un A.I. blockchain d'authentification pourrait nommer le développeur d'origine d'un A.I. algorithme, documentez tous les ensembles de données de formation sous licence ou à source ouverte utilisés pour améliorer les performances de l'I.A., enregistrez ou déclarez la “déclaration de mission” ou l'objectif de l'I.A., identifiez l'utilisateur actuel de l'I.A. agent, et vérifiez l’historique des transactions de l’A.I. lui-même.

Cette dernière fonction d’audit - créer un A.I. l'historique des transactions - deviendra d'une importance vitale comme A.I. les agents commencent à interagir les uns avec les autres, plutôt que de travailler exclusivement avec des humains.

La blockchain est particulièrement adaptée à A.I. sécurité, car sa nature distribuée empêche tout A.I. développeur de devenir un arbitre ou l'authenticité ou la qualité dans le I.I. espace. Sa nature cryptée empêche également les pirates - ou même les IIS non fiables eux-mêmes - de modifier les journaux de grand livre distribués de A.I. des agents pour dissimuler une activité malveillante.

Conclusion

L'intelligence artificielle va magnifier tous les problèmes de sécurité des logiciels conventionnels. Parce que A.I. évolue, les logiciels sûrs aujourd’hui peuvent devenir malveillants demain. Parce que A.I. est un produit d'un algorithme principal et d'une exposition aux données d'apprentissage, A.I. Les systèmes inoffensifs au moment de leur publication peuvent être sensibilisés au comportement malveillant en étant exposés à de mauvais ensembles d’entraînement. Parce que A.I. les agents auront une compétence plus large et unique que les logiciels conventionnels, les conséquences d'une erreur d'utilisateur et de l'intention de l'utilisateur malveillant sont plus graves pour A.I.

En tant que telle, l'intelligence artificielle nécessitera une solution de sécurité répondant à ces défis uniques. La blockchain, avec sa capacité unique à imposer la pénurie - limitant de ce fait la prolifération d'AI dangereux - et à fournir un journal de transaction rigoureux, chiffré et neutre pour tous les IA. activité, est la meilleure technologie actuellement disponible pour maîtriser A.I. logiciels malveillants.

Si vous souhaitez en savoir plus sur la manière dont la blockchain peut sécuriser et réguler A.I. agents, consultez BotChain - que nous avons passé au cours de la dernière année à développer pour atténuer certains de ces risques.