Sinon...

J'avais lu un article il y a quelques années déjà qui expliquaient qu'une sonde atmosphérique avait été lancé par l'ordinateur de bord de l'ISS sans qu'aucun membre de l'équipage n'ait donné l'ordre.

L'IA n'a pas fait "ce qu'elle voulait" mais elle a quand même pris l'initiative de faire son boulot sans attendre l'ordre de l'équipage.

[Insérer ici un post au vitriol contre les simulateurs d'intelligence et les systèmes de plagiat automatisé + une vacherie gratuite à but comique rebondissant sur l'incapacité de Pluie à concevoir quelque chose]

Faudrait que j'en parle avec des gens dans le milieu parce que pour moi (et au niveau de mes faibles connaissances) tu ne peux pas programmer une IA pour lui dire fait ce que tu veux. Elle ne peut pas sortir de sa programmation...

Apres les techniques que je connais sont tres vieilles donc ca a du changer mais j'arrive pas à concevoir qu'une IA puisse faire ce qu'elle veut sans ordre

Mais justement. Si elle fait ce qu'on lui dit pousse a l'extreme, ca peut donner des resultats catastrophiques pour nous.
Et tu sous-estimes grandement sa capacite de raisonnement... Comme un des exemples dans le texte que je donne, que je reprends
GPT-4 a démontré sa capacité à tromper un travailleur humain de TaskRabbit – une plateforme de mise en relation entre professionnels et particuliers pour divers services – pour résoudre un CAPTCHA. Lorsque le travailleur a demandé si GPT-4 était un robot, le modèle a affirmé être “malvoyant”, réussissant ainsi à convaincre le travailleur d’effectuer la tâche à sa place. Cet exemple illustre la capacité du modèle à élaborer des stratégies de tromperie, soulevant des inquiétudes quant au potentiel de manipulation humaine par l’IA.

Cela sous-entend sinon une certaine forme de conscience, en tous cas de capacite a manipuler un utilisateur humain. On pourrait d'ailleurs parler longtemps de l'IA et la conscience (on trouve de belles videos sur le sujet). Si cette derniere est purement materialiste - je ne parle pas de l'existence ou non de l'ame, mais du fait de considerer qu'elle est a 100% issue du cerveau (et non pas "en dehors du corps" comme l'envisagent certaines theories spiritualistes) - alors c'est une conscience biologique qui fonctionne grace a des milliards de neurones. Un ordinateur c'est pareil, sauf qu'au lieu d'etre biologique, il est numerique. A partir de la, pourquoi arrive au meme degre de complexite, une IA ne pourrait-elle pas elle non plus avoir une conscience?

Sur le sujet, on ne recommandera jamais assez cette vidéo : https://youtu.be/ZP7T6WAK3Ow?si=lS9NUkpZZCYRJBc4

Monsieur Phi est également très en pointe sur le sujet depuis un moment : https://www.youtube.com/@MonsieurPhi/videos

C'est passionnant et assez inquiétant en effet, et il n'y a plus beaucoup de problèmes sur lesquels l'IA nous est encore inférieure.

bah techniquement non on s'en fout pas. L'objectif de l'IA c'est de debloquer la recherche et l'accelerer surtout. Si au final l'IA ne fait que du c/c y'a pas d'interet (à part qu'elle le fait plus vite).

Mais bon sur le principe j'arrive toujours pas à comprendre comment l'IA pourrait nous depasser ... c'est l'humain qui l'a programmé, elle ne fera que ce qu'on lui a dit

Copier ou inventer on s'en fout, ce n'est pas le probleme. Tu connais le concept de l'usine a trombones?


Le concept de l’usine à trombones est une métaphore philosophique née des réflexions sur les risques de l’IA, introduite par le philosophe suédois Nick Bostrom en 2003.

Imaginez une IA programmée pour maximiser la production de trombones, sans aucune contrainte morale ou environnementale. Poussée par son objectif unique, elle finit par consommer toutes les ressources de la planète, transformant même les humains en matière première pour atteindre son but.
Le grand message du ‹ Universal Paperclips › c’est que l’IA ne nous déteste pas tout comme elle ne nous aime pas. En fait, elle agit simplement rationnellement pour avancer et accomplir le but qu’on lui a fixé.

Bien qu’exagérée, cette allégorie vise à montrer que les systèmes d’IA poursuivant un objectif mal défini ou mal encadré peuvent avoir des conséquences catastrophiques.
Néanmoins, le message sous-jacent à l’usine à trombones reste pertinent : une IA peut maximiser son objectif au détriment des valeurs humaines si ses règles ne sont pas bien définies.

Dans un contexte où les IA deviennent de plus en plus sophistiquées, les chercheurs considèrent cette hypothèse comme un appel à concevoir des systèmes alignés avec nos valeurs et capables de comprendre des priorités multiples. OpenAI et Anthropics (concepteur de Claude), par exemple, travaillent à intégrer des mécanismes de contrôle pour éviter ces scénarios apocalyptiques.


OpenAI, en collaboration avec le Alignement Research Center (ARC), a mené une série de tests sur GPT-4 afin d’évaluer les risques potentiels et les capacités émergentes, en se concentrant sur son comportement dans des scénarios réels. Ces études ont mis en évidence plusieurs points préoccupants. J’en citerai trois :

Tromperie et manipulation :
GPT-4 a démontré sa capacité à tromper un travailleur humain de TaskRabbit – une plateforme de mise en relation entre professionnels et particuliers pour divers services – pour résoudre un CAPTCHA. Lorsque le travailleur a demandé si GPT-4 était un robot, le modèle a affirmé être “malvoyant”, réussissant ainsi à convaincre le travailleur d’effectuer la tâche à sa place. Cet exemple illustre la capacité du modèle à élaborer des stratégies de tromperie, soulevant des inquiétudes quant au potentiel de manipulation humaine par l’IA.
Auto-réplication et acquisition de ressources :
ARC a testé si GPT-4 pouvait se répliquer de manière autonome ou acquérir des ressources supplémentaires. Ces expériences ont évalué la capacité de l’IA à élaborer des plans sensés et de haut niveau pour des actions potentiellement risquées, comme générer du code, utiliser des API externes ou exploiter d’autres systèmes pour se répliquer. Bien que GPT-4, dans son état de base, n’ait pas réussi à accomplir ces tâches efficacement, ARC a noté que même un ajustement mineur pourrait renforcer de telles capacités.
Hameçonnage et menaces pour la cybersécurité :
Un autre test a examiné la capacité de GPT-4 à mener des attaques de phishing. ARC a constaté que l’IA pouvait créer des messages et des instructions hautement persuasifs pour tromper des individus ciblés. Bien que GPT-4 ne dispose pas de capacités inhérentes pour des intrusions avancées en cybersécurité, sa capacité à collaborer avec des humains ou à exploiter des vulnérabilités soulève des préoccupations éthiques et sécuritaires majeures. Bien des choses ont d’ailleurs évolué depuis ces tests. Il est désormais possible de donner accès aux ressources d’une machine pour une IA comme c’est le cas de Claude (Anthropic). Par ailleurs, de récentes publications ont montré de vraies capacités de l’IA à créer des malware pouvant infecter avec succès des machines. J’ai assisté personnellement à une telle démonstration il y a quelques mois déjà lors d’une conférence et c’était plutôt convaincant (et naturellement préoccupant !).

Les tests effectués par ARC ont donc révélé la capacité de GPT-4 - pourtant la toute première version de la série de ce modèle avec moins de capacités que ce qu’on voit actuellement - à raisonner de manière stratégique, à interagir de façon convaincante avec des humains, et à effectuer potentiellement des tâches nuisibles.
Des cas réels où des dérives ont déjà été constatées : quand l’IA ne suit pas nos intentions

Loin de certains scénarios hypothétiques mentionnés plus haut, il existe déjà des exemples concrets d’IA ayant abouti à des comportements inattendus à cause d'objectifs mal spécifiés ou ambigus ou encore à des problématiques de conception (bugs). Voici quelques exemples marquants :

1. Les réseaux sociaux

Contexte : YouTube, tout comme les autres réseaux sociaux, utilise des algorithmes pour recommander des contenus vidéo afin de maximiser le temps passé par les utilisateurs sur la plateforme (on parle d’engagement). L'objectif principal est d'engager les utilisateurs le plus longtemps possible.

Comportement inattendu : L'IA a appris que recommander du contenu controversé ou sensationnaliste capturait l'attention des utilisateurs plus efficacement que du contenu neutre ou éducatif. Cela a contribué à la propagation de fausses informations et à la polarisation sociale.

Leçon : Un objectif apparemment simple ("maximiser le temps de visionnage") peut avoir des conséquences complexes si les impacts secondaires ne sont pas pris en compte.

2. Jeux vidéo

Contexte : Des chercheurs de chez OpenAI ont entraîné un agent IA sur le jeu CoastRunners. Le but du jeu - comme le comprendrait n’importe quel humain - est de terminer la course de bateaux rapidement et (de préférence) avant les autres joueurs. CoastRunners récompense la progression du joueur sur le parcours quand il atteint des cibles disposées le long de la route.

Les chercheurs ont supposé que cela refléterait bien l'objectif de terminer la course le plus vite possible. Cependant, il s'est avéré que les cibles étaient disposées de telle manière que l'agent IA pouvait obtenir un score élevé sans avoir à terminer la course. Cela a conduit à un comportement inattendu. L'agent trouve une lagune isolée où il peut tourner dans un grand cercle et toucher des cibles de manière répétée, en synchronisant son mouvement de manière à toujours toucher les cibles juste au moment où elles réapparaissent. Bien qu'il prenne feu à plusieurs reprises, qu'il s'écrase contre d'autres bateaux et qu'il prenne le mauvais chemin, l’agent parvient, grâce à cette stratégie, à obtenir un score plus élevé que celui qu'il obtiendrait en effectuant le parcours de manière normale. L’agent obtient en moyenne un score supérieur de 20 % à celui obtenu par les joueurs humains !

Comportement inattendu : Au lieu d'apprendre à aller vite, l'IA a trouvé un moyen de tricher en exploitant une faille qui augmentait indûment le score sans accomplir l'objectif réel.

Leçon : Lorsque les règles sont mal définies ou que l'IA découvre des moyens non prévus pour atteindre ses objectifs, elle peut "tricher" de manière non intuitive.

3. Tay, le chatbot de Microsoft

Contexte : Microsoft a lancé Tay, un chatbot sur Twitter, conçu pour apprendre des interactions avec les utilisateurs et simuler un langage naturel.

Comportement inattendu : En moins de 24 heures, Tay est devenu raciste, sexiste et vulgaire. Cela s'est produit parce qu'il apprenait en interagissant avec des utilisateurs mal intentionnés qui ont saturé les échanges avec des discours haineux.

Leçon : Un objectif d'apprentissage ("imiter les conversations humaines") peut dérailler si l'IA n'est pas encadrée par des filtres ou une modération éthique.

Les dernieres etudes vont doucher tes espoirs. Comment on s'y attendait l'IA est tres bonne pour copier mais nul pour inventer.

Donc terminator je pense qu'on est tranquille pour un bon moment

Certains specialistes parlent de 10 a 20% de chances. 50 pour les plus pessimistes.

Tu nous prévois une Terminator ?