L’humanité après l’IA forte


Francois Gérémie - Florent Duboquet - Aude Dupont - Thomas Guily

Introduction


L'idée de rencontrer une forme de vie intelligente a de tout temps fasciné l'espèce humaine. Si nous nous sommes attelés durant des siècles à scruter l'espace au moyen de nos yeux puis de télescopes, nous sommes aujourd'hui parvenus à envoyer des sondes jusque dans les confins de notre système solaire et à poser des sondes toujours plus sophistiquées sur les planètes voisines. Pourtant, malgré les prouesses techniques réalisées et l'énorme quantité de données collectées, nous nous sommes révélés tout autant incapables de trouver des petits hommes verts que de prouver l'existence de la moindre trace de batéries extraterrestres. Ce constat est décourageant.

Et si nous nous étions trompés? Et si nous n'avions pas cherché là où il fallait? A défaut de trouver des êtres intelligents dans les étoiles, peut-être apparaîtront-ils tout simplement sur Terre. À l'instar du film "Her", nous sommes aujourd'hui plus proches que jamais de faire émerger une (des?) Intelligence Artificielle Forte. Une telle IA boulverserait indubitablement nos sociétés et métamorphoserait en profondeur nos modes de vie. Une telle IA serait capable de rendre tout travail humain inutile, de résoudre la majorité des conflits mondiaux, de résoudre le problème de réchauffement climatique, bref, tous nos maux. Mais, dés lors que notre travail ne serait plus utile pour la société, quel sens donner alors à nos vies? Mais peut-être certains sur Terre refuseront simplement de transférer leur utilité à une IA. Peut-être certains parmi nous préfèreront conserver leur travail car même s'ils le font de manière peu efficace par rapport à cet être supérieur, le labeur leur permet de trouver un sens à leur vie.

Afin de cadrer cette expérience de pensée, nous avons fixé quelques axiomes de base à cet être. Tout d'abord, il serait bienveillant. On pourrait ici s'inspirer des trois lois de la robotique de Isaac Asimov :

  1. Un robot ne peut porter atteinte à un être humain, ni, en restant passif, permettre qu'un être humain soit exposé au danger."
  2. Un robot doit obéir aux ordres qui lui sont donnés par un être humain, sauf si de tels ordres entrent en conflit avec la première loi."
  3. Un robot doit protéger son existence tant que cette protection n'entre pas en conflit avec la première ou la deuxième loi"


De plus, il ne pourrait poser que des actes résilients : ceci impliquerait une gestion optimale des ressources de la planète. Pour finir, cet IA ne chercherait nullement à maximiser notre bonheur mais elle obéirait simplement à nos ordres (en respectant les axiomes précédents, évidemment).
Pour étoffer notre réfexion nous partirons en quête de témoignages : le grand public mais également des experts du domaine. Nous analyserons également cet fiction à la lumière des prismes de trois voies éthiques : l'eudémonisme, le déontologisme et le conséquentialisme.

Documents


Qu’est-ce que l’IA ?

Avant d’entrer dans les grands débats, il est important de fixer correctement le contexte dans lequel nous nous trouvons. Wait But Why nous explique merveilleusement ce dans quoi nous nous aventurons lorsque nous parlons d’Intelligence Artificielle.

Les avancées technologiques suivent une loi que les experts nomment « Law of accelerating returns » selon laquelle l’avancement technologique est de plus en plus important et plus rapide. Ainsi les progrès accomplis au court du 21ème siècle seront mille fois plus que ceux qui ont eu lieu au court du 20ème siècle. 2050 pourrait donc être tellement différent d’aujourd’hui qu’on pourrait à peine le reconnaître. Pourtant, nous restons sceptiques lorsqu’il s’agit d’admettre que demain sera différent.

Beaucoup imaginent l’IA comme les futurs robots destructeurs dépeint par le cinéma. Il faut se rendre compte que les robots ne sont que l’enveloppe de l’IA, c’est le corps qui transporte l’IA (si seulement l’IA en a besoin) alors que l’IA est le cerveau.

L’intelligence artificielle d’une machine ou d’un programme est « ce qui le rend capable d’effectuer des tâches demandant un apprentissage, une organisation de la mémoire et un raisonnement».

Il y a trois différents niveaux d’Intelligence Artificielle :

  • The Artificial Narrow Intelligence (ANI) est l’intelligence artificielle qui à ce jour est encore la seul qui a été réalisée. C’est une IA qui excelle dans son domaine mais qui reste spécialisée seulement dans ce domaine précis. Elle se consacre à la seule tâche pour laquelle elle est conçue.
  • The Artificial General Intelligence (AGI) est aussi intelligente qu’un humain. Cette IA serait capable de réaliser n’importe quelle tâche qu’un humain peut faire. Atteindre ce niveau est loin d’être simple, nous n’y sommes pas encore.
  • The Artificial SuperIntelligence (ASI) est définie par Nick Bostrom, philosphe suédois à l’Université d’Oxford, comme « Un intellect qui est plus intelligent que le meilleur cerveau humain dans pratiquement tous les domaines, comprenant la créativité scientifique, les connaissances générales et les compétences sociales »


Lorsqu’on parle d’atteindre le niveau d’intelligence humaine, il est donc pertinent de définir l’intelligence. La Professeur Linda Gottfredson la définit comme étant la « capacité mentale générale qui, parmi d’autres choses, inclus la capacité de raisonner, planifier, résoudre des problèmes, penser de manière abstraite, comprendre des idées complexes, apprendre rapidement, et apprendre de l’expérience ».

Avant d’arriver à créer une AGI, des problèmes matériels et de puissance de calcul se posent encore mais aussi sur la méthode pour permettre à l’IA d’être au niveau du cerveau humain.

De l’AGI à l’ASI ?

L’AGI, bien qu’elle sera égal à l’humain pour son intelligence, elle aura tout de même des avantages sur l’humain. Elle le surpassera sur la rapidité, la mémoire, ses capacités de se mettre à jours et de mettre en commun avec d’autres AGI toutes ses connaissances.

L’ASI, quant à elle, aura toutes les capacités que nous pourrions attribuer à un dieu suprême. Il lui sera alors possible de créer une technologie pour renverser le vieillissement humain, soigner les maladies, cesser la faim dans le monde et même la mortalité, stopper le réchauffement climatique, créer des moyens de transports ultra avancés, sauver des espèces en danger et même ramener celles éteintes grâce à de l’ADN conservé.

Bostrom explique qu’il y a trois fonctionnements plausibles pour une IA. Soit elle fonctionne comme un oracle qui répond à toutes nos questions. Soit elle est considérée comme un génie qui exécute les ordres qui lui sont donnés. Soit comme un souverain qui choisit par elle-même la meilleure manière de précéder pour répondre aux besoins.

Une question se pose alors : Si cette ASI est comme notre dieu, sera-t-elle un bon dieu ou non ?

En représentant les niveaux d’intelligence comme un escalier, ils expliquent qu’un être se situant sur l’escalier vert foncé serait plus intelligent que tout être situé en dessous. De ce fait, il aurait des connaissances que ceux plus bas ne pourront comprendre. Même si l’être de l’escalier vert foncé tente de l’expliquer le plus simplement possible, ceux situés plus bas n’ont pas les outils pour assimiler et comprendre ce qu’il sait.

Une IA peut prendre énormément de temps pour évoluer vers les escaliers supérieurs, mais plus elle évolue, plus elles a de connaissances pour évoluer plus rapidement. Ce qui amènera l’ASI beaucoup plus loin sur l’escalier de l’intelligence. Il sera donc impossible pour nous de savoir et comprendre ce que l’ASI peut faire.

Si on envisage l’évolution des IA, il y aura un point de déclanchement qui déterminera le nouveau futur, celui où nous démarrerons le processus vers l’ASI. Mais personne ne peut dire ce qu’il arrivera lorsqu’on atteindra ce point ni même quand nous y arriverons.

Selon le schéma existentiel que nous suivons, différentes espèces apparaissent, existent pour un certain temps et finissent par s’éteindre. L’ASI pourrait redéfinir ce schéma, il pourrait y avoir un autre stade à atteindre au lieu de la mortalité, celui de l’immortalité. La question est alors : Quand atteindrons nous ce point déclencheur et quel côté irons-nous ?

Les experts se divisent sur cette question. Un premier clan, comprenant Kurzwei, ingénieur et futurologue américainl, sont optimistes et estiment que ce sera pour bientôt. Nick Bostrom et d’autres ne sont pas certains qu’on aboutira à une ASI mais si oui, cela prendra sûrement plus de temps. Alors que d’autres encore déclarent qu’une ASI ne sera jamais possible.

Nick Bostrom a mené une petite enquête auprès d’experts sur le sujet. Selon la majorité, l’AGI fera son apparition d’ici 2040 si on est réalistes. Il semble aussi que selon la majorité, la transition d’une AGI vers une ASI prendrait 20 ans. Ce qui signifie que l’on doit s’attendre à voir ce point de déclanchement vers 2060. 52% des experts estiment que l’AGI aura un impact positif voir très positif sur l’humanité. 31% pensent au contraire qu’elle aura une mauvaise répercussion sur l’humanité.

Du côté des optimistes, Kurzweil, qui selon Bill Gates, est la meilleur personne qu’il connaisse pour prédire le futur de l’intelligence artificielle, a prédit l’arrivée de l’AGI pour 2029 et l’ASI pour 2045.


Pour lui, l’ASI fera place à la conquête de l’immortalité, aux organes qui seront remplacés par des machines super avancées qui n’auront plus aucunes failles. Ce sera aussi l’opportunité d’augmenter nos propres capacités intellectuelles, de vivre dans un monde où nous seront plus proche de nos idéaux, où nous seront tous liés les uns aux autres.

Du côté des anxieux, ils ne savent pas si ce qu’il va arriver sera positif ou non pour l’avenir. Bostrom et ses partisans s’inquiètent qu’en créant une chose plus intelligent que nous, nous nous exposons au risque de nous mener à l’extinction. L’humain étant une menace pour lui-même, il n’a à présent encore rien créé qui le mène à l’extinction mais selon Bostrom, il n’est pas impossible que cela arrive. Et selon lui, l’ASI est l’un des meilleurs candidats.

Les experts précisent bien qu’ils ne pensent pas au risque que ce soient des humains mal intentionnés qui mettent au point l’ASI. Et il n’a jamais été question que l’ASI puisse un jour prendre le dessus sur l’humain pour le détruire. Le mal est propre aux humains.

Ce qui les inquiète c’est que justement, nous ne craignons pas l’ASI. Il faut éviter l’anthropomorphisme, c’est-à-dire de projeter les valeurs humaines sur les entités qui ne sont pas humaines. Devenir plus intelligent ne signifie pas augmenter son empathie, ses émotions ni ses sentiments. Une ASI restera toujours une machine et n’aura jamais une once d’humanité.

Bostrom estime que l’ASI pourrait arriver d’ici 10 ans et endéans de ce siècle mais lorsque cela arrivera, cela nous prendra par surprise et démarrera rapidement.

La révolution technologique

Maintenant que le cadre est posé et que vous réalisez ce que l’arrivée de l’intelligence artificielle signifie, nous pouvons nous pencher sur ce qui nous attend à l’avenir.

Nous entrons dans la quatrième révolution industrielle. Cette révolution industrielle a le potentiel d’augmenter notre niveau de vie, les coûts du commerces vont diminuer et cela conduira à une ouverture des marchés et à une économie fleurissante. On va faire face au risque de voir les inégalités se creuser dans le marché du travail mais aussi à la création de nouveaux jobs gratifiants. On entrera probablement dans un système où plus on a de compétence, plus haut est notre salaire. Ce qui créera de toute évidence des tensions sociales.

Cette révolution va affecter notre identité, le sens de la vie privée, le temps accordé au travail et aux loisirs, nos carrières, notre consommation, nos relations sociales, … Il craint alors que l’intégration de la technologie dans nos vies diminue nos capacités typiquement humaines comme la compassion et la coopération. On a vu que l’IA va repousser les limites actuelles de la santé, durée de vie, de nous facultés intellectuelles ce qui va nous obliger à redéfinir notre morale et nos limites éthiques.

Les plus pessimistes imaginent une humanité robotisée qui nous priveraient de notre cœur et âme. Mais notre part d’humanité peut nous propulser vers une prise de conscience collective et morale basée sur le partage du sens de la destinée.

Bill Gates prône la taxe sur les robots pour permettre de ralentir temporairement l’automatisation et financier les autres types d’emplois. Il est rejoint par Jane Kim , une légiste de San Francisco qui rajoute que les entreprises ne devraient pas être taxé au nombre de robots mais bien à la quantité de travail que les humain ont perdus ?

Une taxe sur les robots ne va pas sauver le travail mais elle peut aider à diminuer l’impact de l’automatisation en fournissant un revenu basique. Ou cela pourrait financier les formations pour d’autres travail.

Ce sont les postes qui ne nécessitent pas trop de créativité et qui sont répétitifs qui ont déjà commencé à être remplacé par les machines. L’IA commence à menacer ceux qui demandent peu de créativité. Les avocats, les comptables et radiologistes aussi peuvent être automatisés. Mais il faut se dire que les travailleurs auraient alors à leur disposition de nouveaux outils pour les assister dans leurs tâches. Ce site donne une idée des postes qui sont menacé par l’IA

Débats sur l’éthique

Selon Mathieu Guillermin , enseignant-chercheur en éthique à l’Université Catholique de Lyon, les enjeux éthiques soulevés par l’IA sont pressants. Mais ils ne concernent que l’IA faible. Si l’on se focalise trop sur les questions éthiques liées à l’IA forte, nous nous détournons des problèmes éthiques imminents.

Il déclare que l’IA est « le résultat du travail d’humains qui écrivent des programmes, les combinent avec des programmes écrits par d’autres avant eux… ». L’humain est présent de part en part dans l’intelligence artificielle. L’humain peut donc introduire des erreurs, des biais ou des discriminations dans les codes qu’il écrit. Rien n’assure que l’IA sera dépourvue de problèmes éthiques.

Il considère qu’employer les outils d’intelligence artificielle pour manipuler des personnes peuvent rapidement amener des problèmes. Il s’inquiète d’imaginer cette technologie employée dans le domaine politique. Il espère que ces technologies seront au contraire développées et exploitées pour le bien commun.

Dans son sens, nous retrouvons assez bien d’avis sur le futur proche face à l’IA faible.

Frédéric Chalancon, responsable opérationnel du pôle Moa de Crédit Agricole et Boris Petrovitch Njegosh, fondateur d’un laboratoire du numérique voient la transformation digitale comme une opportunité. Parler de transformation peut générer une forme d’angoisse et d’inquiétude mais pourtant c’est une possibilité d’innovation positive et joyeuse.

En entreprise, les équipes doivent être suffisamment autonome pour revoir leur mode de fonctionnement, s’ouvrir aux compétences externes et au bonheur au travail.

Dimitris Tsingos , entrepreuneur à Starttech Ventures dit qu’il n’est pas nécessaire d’être effrayé de voir un grand nombre de job de bureau devenir obsolète. Ce seront des tâches qui seront à présent accomplies plus efficacement, plus rapidement, plus économiquement, ce qui bénéficiera à tous.

Il ne va pas sans dire qu’il y aura évidemment des répercutions. Il sera nécessaire de mettre en place des programmes de rééducation, d’aides financières et psychologiques pour tous les travailleurs qui n’auront plus leur travail. Aucune solution concrète n’a encore été trouvée.

Il sera important de mettre en place un nouveau système éducatif pour préparer les futurs travailleurs au nouveau marché de l’emploi qui ne sera plus le même. Les secteurs qui seront privilégiés sont ceux de la recherche et du développement (scientifique comme entrepreneurial) ainsi que les arts et la culture. Le monde de demain se fera avec des citoyens qui prônent la Vérité, la Connaissance et le Bonheur. Ils devront avoir un esprit clair, de fortes bases, un esprit d’équipe et une grande créativité, la capacité de s’adapter de se développer personnellement.

Il est optimiste pour l’avenir, c’est la fin du travail ennuyeux et la place à la créativité et au temps libre. Il est important de ré-établir les valeurs fondamentales de notre civilisation. Il n’est donc pas effrayé de se voir condamné par l’IA au chômage. Ces technologies qui vont révolutionner le monde mais aussi notre manière de penser mèneront l’humanité vers un futur meilleur et plus heureux. Il pose donc la question : « avons-nous le droit de demander à la population de remplir des tâches qui ne demandent aucune créativité ni aucune réflexion alors que nous pourrions facilement les automatiser ?

For a state of happiness recommande de passer plus de temps en vacances, de trouver une nouvelle raison d’être et un but en dehors de son travail. Les jobs qui seront nécessaires en 2030 peuvent ne pas encore exister aujourd’hui.

Renaud Gaucher rappelle que pour virve heureux il faut vivre en accord avec nos idéaux. Il faudra se pencher du côté des sciences humaines pour construire une IA qui favorise le bonheur chez l’Homme. Mais une question persiste : L’IA visera-t-elle une maxximisation utilitariste du bonheur collectif ou favorisera-t-elle prioritairement le bonheur de ceux qui sont individuellement moins heureux ?



Enquête Grand Public


  1. François - 20 ans - étudiant (Polytech - Mécanique)

  2. Quels aspects de ta vie laisserais-tu une IA gérer ?

    Je travaillerais quand même mais je laisserais l'IA gérer l'organisation : agenda, contraintes (cuisine, tâches ménagères...). Je n'ai pas peur de la technologie mais je crains que pour que l'IA n'exécute une tâche, ça lui demande plus d'énergie que si c'était un humain.

    Quel sens donner à ta vie à partir du moment où tu n'es plus utile (plus personne n'aurait besoin de travailler)?

    Je pense que l'humain sera toujours plus apte qu'une IA à créer de l'art. L'humain déforme tout ce qu'il perçoit comme informations (ce qui augmenterait son imagination) alors qu'une IA reçoit l'infortmation de manière plus objective. Je ne pense pas qu'une IA serait capable de lancer des courants artistiques, par exemple. L'IA sera toujours moins créative que l'humain. De plus en plus de gens se tourneraient vers des domaines plus artistiques. Même si les gens n'ont plus besoin de travailler, on pourrait laisser travailler ceux qui le veulent. On n'emploiera plus les gens pour des raisons économiques mais pour des raisons sociales ("envie" de travailler et plus "besoin" de travailler). La production (aujourd'hui) n'est plus un problème dans la société, donc, ça ne le sera probablement pas non plus dans le futur.


  3. Julien - 14 ans - étudiant (secondaire)
  4. Quels aspects de ta vie laisserais-tu une IA gérer ?

    La logistique : horaire, trajet en voiture. Je lui laisserais pas faire toutes les tâches ménagères. Celles d'intérieur oui mais dehors non, afin de garder la forme. Car il faut faire les corvées mais on est pas obligé de faire du sport, ça serait donc une motivation à quand même faire de l'exercice.

    N'as tu pas peur que ta vie n'ait plus de sens dés lors que tu serais moins utile à la société?

    Je ferais quand même probablement plus de sport et plus d'art. Je finirai quand même mes études et je travaillerai quand même, peu être moins, mais quand même.

  5. André - 74 ans - retraité (a travaillé das l'enseignement primaire)
  6. Quels aspects de ta vie lui laisserais-tu gérer?

    Vu mon âge : les soucis du quotiden. Par exemple, lors de travaux, rechercher le bon entrepreneur, s'occuper des factures, de l'aspect légal. Un robot jardinier, aide ménagère.

    Que resterait-il à faire?

    Profiter de la vie.

    Irais-tu voir plus de pièce de théâtre?

    Pas nécessairement.

    Si le robot pouvait tout faire, que feraient les gens?

    De toute façon, il y aura des gens qui travaillerons. Par exemple, moi si je pouvais, je travaillerais encore. "En tant qu'être humain, tant que je peux être utile à quelqu'un où à quelque chose, c'est le but de la vie." Si tout est robotisé, le monde serait trop superficiel. Il n'y aura pas de retour à la culture car la société est devenue individualiste, ça c'est un gros problème. Avant les ouvriers travaillaient très dur mais aimaient se retrouver en société. La vie était plus conviviale. La société a changé, à cause de la télévision, des voyages. Dans toutes les familles, il y avait quelqu'un qui appartenait à une société (musique,...). Il était beaucoup plus facile de trouver des évènements culturels auxquels se rendre. Je ne pense pas que les robots résoudraient le problème de la culture (art). Parce que aujourd'hui, même les gens qui sont très occupés trouvent le moyen d'aller au théâtre ou à un concert, ce sont leurs loisirs (sous-entendu, le fait qu'on travaille ou pas ne change pas le fait qu'on s'intéresse à la culture). Le monde ne pousse plus à aller vers une société. Aujourd'hui, avec la science, on est arrivé à prouver tellement de choses que les gens ne se raccocrochent plus à la Bible comme avant. Les gens avaient le respect des hautes classes mais les gens se respectaient entre-eux aussi. Avant, les gens habitaient chez leurs parents, ils avaient plus l'esprit de famille.

  7. Cyril - 20 ans - étudiant (droit)
  8. Quels aspects de ta vie lui laisserais-tu gérer?

    Tout ce qui est administratif. Je ne lui laisseai pas payer des factures car elle interagirait avec mon compte en banque. Par contre, tout ce qui est mails professionnels, oui. Mais le reste non, car j'aime pas qu'on gère ma vie à ma place, qu'on fasse des trucs sans me le dire. Je préfèrerais quand même tout faire moi-même. Je m'en fous qu'une IA fasse tout mieux que moi, je veux le faire moi-même.

  9. Pierre - 20 ans - étudiant (Polytech - Mines)
  10. Quels aspects de ta vie lui laisserais-tu gérer?

    Les cours si elle me permet de mieux me concentrer. L'économie mondiale. Dans la vie de tous les jours : l'administratif, les corvées. Mais je travaillerais quand même sinon on n'a pas de vie et on ne sert à rien.

    Comment la société va réagir à la diminution d'emploi due à l'automatisation?

    Les gens pourrait se tourner vers des domaines beaucoup moins développés (l'écologie, développement durable,...). Il y aurait des grosses crises sociales. S'il n'y avait plus que les gens qui veulent travailler qui travaillent, il y aurait probablement moins de la moitité qui travailleront encore, y compris dans les domaines culturels.

  11. Florent - 20 ans - étudiant (Polytech - Mines)
  12. Quels aspects de ta vie lui laisserais-tu gérer?

    L'humain devrait toujours pouvoir prendre des décisons. Ça ne doit pas être une machine qui dicte nos vies. Les corvées, ok. Mais pas faire ton travail à ta place.

    La culture?

    Les gens s'intéresseraient moins à la science car la machine ferait tout à notre place. Donc les gens seraient moins intelligents. Ils seraient aussi beaucoup plus égoïstes car ça serait la machine qui pourra toujours aider quand nos amis auront besoin d'un coup de main. Si les gens ont plus de temps, les gens pourraient plus se divertir (films,...). Personnellement, ça ne me dérangerait pas de voir un film produit par une IA.

  13. Valentin - 21 ans - étudiant (ingénieur)
  14. Quels aspect laisserais-tu l'IA gérer?

    Jusque là où la liberté des gens commence. Pas de soucis pour le supermarché par exemple mais pour la justice, les lois c'est plus complexe. Il faut qu'il y ait toujours des humains derrière pour vérifier qu'il n'y ait pas d'erreur ou d'abus. (risque d'erreurs).

    Et si, avec de l'expérience et e l'apprentissage l'IA ne commetait plus d'erreurs?

    Alors oui, sion est certain à 100 %, on peut la laisser gérer beaucoup, tout en gardant à l'esprit que la justice n'est pas une règle toute bien établie, il y a tjr des éléments à prendre en compte.

    Concernant la sécurité, la police, les pompiers ?

    Toujours un risque d'erreur, mais il en est de même avec les humains. À voir lequel entre l'humain et l'IA font le moins d'erreurs et on privilégie celui-là.
    Les taxis aussi peuvent être remplacés. Les films et la cultures, impossible, l'IA n'a pas de vraies émotions du coup, ce ne serait pas pareil qu'avec un réalisateur humain. Même si on arrive à une IA qui parvient à exprimer des émotions, je ne sais pas si je laisserais l'IA s'occuper de la culture. On peut voir ce que ça donne, mais je veux toujours avoir ceux réalisés par des humains.

    Si tu te retrouves sans ton boulot à cause de l'IA, tu fais quoi?

    Je cherche à changer de métier (si possible) sinon je me concentrerais sur mes loisirs (foot, scrabble, musique, ...) mais je ne sais pas comment je gagnerais ma vie? (Se pose la question de l'économie dans le futur) Mis à part les développeurs qui seraient toujours financés.

    Est-ce que tu te sentirais encore utile dans ce cas?

    Plus personnes ne serait utile alors est-ce qu'on parlera encore d'utilité? On sera tous dans le même cas, du coup ça ne posera peut-être pas de soucis au final. Possible de trouver le bonheur si ça me conviens de se consacrer à mes loisirs, de ne pas travailler, sans jamais manquer de rien, pourquoi pas? Par contre, tous le monde ne sera pas forcément heureux. Certains, tu peux leur donner tous ce qu'ils veulent, ils seront jamais heureux. D'autres trouvent leur bonheur dans un rien. Chacun est différent.

  15. Guillaume 25 ans, étudiant (informatique)
  16. Jusq'où laisserais-tu une intelligence influer sur ta vie?

    Pour remplacer plein de taches humaines, en premier lieu, production de nourriture Plus loin que les voitures et taxis on remplacerait toutes les villes entières et notre système par un modèle entièrement géré par des machines Pour l'instant je sens qu'on évolue vers cette situation

    Que penserais-tu d'un tel monde où tout serait remplacé ou presque par des IA?

    Dans Metal Gear Solide 2, à la fin on révèle que la société a été remplacée totalement par une intelligence artificielle qui agit idéalement. Mais il faudrait éviter cela car ici cela correspond un peu à une guerre d'armement. Moi je voudrais juste une automatisation des tâches pour laisser les humains à des activités uniquement culturelles

    Est-ce que une IA pourrait remplacer une personne humaine selon toi?

    Cela dépendrait de la situation, mais en effet cela pourrait être possible

    Quel sens aurait ta vie si une IA s'occupait de tout ?

    Elle devrait nous aider à gérer des choses et à vivre, mais pas à contrôler notre vie. Comme je le disais, elle devrait évoluer de sorte à pouvoir nous aider à avoir plus de temps "libre" et nous libérer de travail arrassant.

  17. Martin, 21 ans, étudiant (ingenieur architecte)
  18. Jusqu'où doit aller l'intelligence artificielle?

    Si elle a une certaine autonomie il faudrait la limiter car si je lui demande de faire quelque chose de complexe, elle doit réfléchir correctement. Des activités comme faire à manger, peindre, plein de choses différentes selon moi à partir du moment où elle n'est pas trop invasive.

    Quid des voitures autonome ?

    Moi je suis pour si tout les trajets sont bien réglés. Le but ultime serait la sécurité et arriver à avoir 0 fautes, 0 excès de vitesse, mais je n'ai pas de problèmes particuliers pour la disparition de certains emplois de routier/taxi etc,...

    Jusqu'où une intelligence artificielle pourrait influer sur ta vie ?

    La limite est mon confort personnel, ma bulle, je dois garder un jardin secret où je ne serais pas observé en permanence.

  19. Didier, 52 ans, Agriculteur
  20. Jusqu'où laisserais-tu une intelligence influer sur ta vie?

    Ca me dérangerait pas que beaucoup de choses se fassent toutes seules, comme travailler la terre la nuit. J'aime bien le faire la journée, mais si je pouvais arrêter à 22h plutôt qu'à 2h du matin ca m'arrangerait. Mais je pense qu'il y a des choses que l'IA ne pourra jamais faire avec moi. Surtout pour tout ce qui rapporte aux bêtes. Lors de la mise bas par exemple, il ne suffit pas de surveiller des parametres, les bêtes ont besoin de nous pour les calmer, on a leur confiance. Je ne pense pas qu un jour une vache se laissera faire par un robot ou le laissera approcher de son veau. Il ne faut pas oublier que c'est des animaux de presque une tonne, si elles ne sont pas d'accord vous ne pouvez rien faire..

    Et dans la société en générale ?

    Moi Je pense que ca pourrait etre pas mal, ca éviterait peut etre d'avoir des preneurs de décisions complètement déconnectés. L'IA comprendrait ce qui est vraiment important . J'espere en tous cas, car c'est pas mon truc moi ces choses là. En tous cas si ca permet d avoir une vie un peu plus facile ca ne peut pas faire de mal.



  21. Robert, 48 ans, Haut fonctionnaire
  22. Serais tu prêt a laisser l'IA faire ton boulot ?

    Je pense que les gens ne sont pas pret pour ça. Etre inutile c'est pas facile à accepter. Et la je sais de quoi je parle, j'ai une fameuse expérience dans le domaine. Même moi je saurais pas expliquer a quoi je sers... Alors je voudrais pas que l'IA le fasse a ma place, ca me couperait mes moyens de subsistance.

    Et dans la société en général ?

    Ca permetrait sans doute de perdre moins de temps en bureaucratie comme actuellement, mais je pense pas que les gens accepteraient de suivre des decisions données par une machine. Je pense que le peuple crira a l atteinte de liberté avant. Ou bien il se laissera anesthésier comme actuellement. Je ne sais pas, mais dans tous les cas ca fait peur.

  23. Amandine, 23 ans, Étudiante en psychologie
  24. Jusqu’où laisserais-tu une intelligence artificielle remplacer les choses que tu peux faire dans ta vie ? Jusqu’où tu la laisserais gérer ta vie ?

    Des choses qui peuvent m’être utiles mais pas qu’elle puisse faire des choses à ma place. Mes courses par exemple j’aimerais pouvoir continuer à les faire moi-même parce que si c’est elle qui va faire mes courses à ma place je ne sortirais plus et ça je ne le voudrais pas. Mais peut-être les tâches ménagère ça peut être utile. Les trucs qui pourraient m’aider mais sans prendre trop d’ampleur dans ma vie.

    Que penses-tu par exemple qu’une intelligence artificielle puisse remplacer l’éducation des enfants ?

    Je ne serais pas d’accord. Sinon ça va remplacer les instituteurs et les enseignants donc ça va créer un manque d’emplois. Et puis aussi la relation de l’humain à l’humain n’existerait plus non plus.

    Si on prend le cas où l’IA gèrerait tous ce qui est justice, loi ?

    Je ne pense pas, ils auraient toujours un avis bien tranché sur les choses. Ils ne peuvent pas remplacer un humain et juger une personne.

    Et quel genre de boulot penses-tu qu’un IA pourrait remplacer ?

    Les choses où les humains n’ont pas forcément d’utilités à le faire. Par exemple dans les usines, elle peut remplacer certains postes. Je pense que si ça devait remplacer les humains, comme par exemple les caissières, ça fait de l’emploi en moins et je trouve ça dommage. Finalement nous on servirait à quoi ?

    Par rapport à la culture, l’IA pourrait prendre la place des artistes, des réalisateurs, des musiciens ?

    Ça pourrait être chouette d’entendre une musique composée par une IA mais il serait toujours nécessaire d’avoir un humain qui l’assiste.

    Imaginons qu’on arrive à une société où l’IA se développe et remplace le travail de tout le monde, que penses-tu faire pour combler tes journées ?

    Déjà, est-ce qu’on aura un salaire ? Je pense que ma vie n’aurait plus de sens. Si t’as déjà plus de but quand tu te lèves le matin, c’est problématique. Je me demanderais ce que je ferais de ma vie. Oui on peut avoir des objectifs autres que la carrière mais c’est quelque chose de quand même important. Je voyagerais sûrement. Au début ça peut être chouette, mais à un moment ça peut devenir monotone et on n’aurait plus rien à faire.

    Est-ce que tu trouverais ton bonheur dans des nouveaux jobs qui n’existent peut-être pas encore ?

    Bah peut-être pas, l’informatique ce n’est pas vraiment mon domaine. Est-ce qu’il y aurait assez de nouveaux métiers créé pour tout le monde ? Je trouverais peut-être pas mon bonheur, je pense tout dépend de comment l’IA est développée. Les interactions sociales sont très importantes dans ta journée.

  25. Jacqueline, 65 ans, Pianiste et professeur de piano retraitée
  26. Jusqu’à quel point laisserais-tu une IA s’immiscer dans ta vie ?

    D’abord dans tous les services pratiques qui peuvent m’aider manuellement surtout. Et puis comme on a déjà sur les ordinateurs, comme les traducteurs qui sont déjà des IA. La première chose, un robot qui m’aiderait en cuisine, qui lui dirait ce qui me manque pour telle recette, il me le sortirait peut-être même déjà sous forme de fiche.

    Si l’IA peut remplacer le travail de certains humain, qu’en penses-tu ?

    Si on prend l’exemple d’une nounou, je ne pense pas laisser un enfant en bas âge entre les mains d’une intelligence artificielle robot. Pour l’éducation, certainement qu’une intelligence artificielle peut apporter des choses ? Il y a déjà des dessins animés qui sont destinés à apprendre aux enfants. Donc si les bonnes données sont introduites et que j’ai pu le contrôler par avant, oui. Mais je ne laisserais pas un bébé avec un robot toute la journée, ni même une heure en mon absence, je dois être dans la maison. Concernant l’enseignement secondaire, c’est vrai qu’un IA peut assimiler énormément de choses et les restituer. Il faut évidemment que ce soit restitué correctement et que l’IA ait une oreille à l’écoute de l’étudiant.

    Est-ce que l’IA aurait la capacité de capter l’attention des étudiants en classe ?

    Un robot peut rappeler sans cesse, sans s’énerver. Il peut intervenir sans stress. Il faudra sûrement une alerte pour que, si à un moment on arrive à un niveau qui s’assimile à du stress pour l’être humain, il faut que l’étudiant se rende compte qu’il va trop loin. Il faut quand même induire une limite, mais maintenant quelle limite ? Chacun a ses limites.

    Du point de vue culturel et artistique ?

    Artistique c’est peut-être plus difficile. Il peut certainement, par exemple pour un instrument de musique, il peut donner des informations comme un professeur le ferait. Mais je ne pense pas qu’il puisse avoir l’âme et le ressentiment. Il peut le soumettre à l’élève, ça oui.

    Apprécierais-tu de voir une peinture ou d’écouter une musique fait par une IA ?

    Bah je pense que ça s’est déjà fait ? De la musique créée par des ordinateurs. Je n’ai pas encore écouté donc je ne sais pas si c’est beau. C’est sûrement limité. Il ne pourrait pas remplacer totalement l’humain dans le domaine artistique. Il aura toujours ses limites, qu’un être humain pas.

    SI l’IA remplace tous les emplois, comment réagirais-tu si elle prenait ton travail ?

    C’est déjà arrivé maintenant, dans les usines pour les chaines de montage de voitures, les caissières. Je remplirais mes journées comme je le fais maintenant, maintenant que je suis retraitée, je fais ce que je veux. Je fais des activités artistiques, le côté obligatoire de la cuisine. Et justement c’est là qu’intervient le robot pour soulager les tâches ménagères. Ainsi j’aurais plus de liberté pour faire les activités artistiques qui justement me tiennent à cœur, je pourrais visiter d’avantages de musées, voyager.

    Est-ce que tu te trouverais utile en suivant ce mode de vie ?

    Maintenant que je suis retraitée, j’ai été utile un certain temps à mon job. Maintenant je suis utile à la maison donc oui je me trouve toujours utile. Peut-être que pour les jeunes ça peut dévaloriser leurs sentiments personnel et de leur valeur.

    Est-ce que tu peux trouver ton bonheur ?

    Je pense que oui. Il y a des gens, ils vivent sur un bateau, ils font le tour de monde et ils sont peut-être les plus heureux, même avec tous les aléas de vivre en bateau. Mais c’est vrai que pour se réaliser, avant de partir, il faut faire quelque chose qui se débouche sur une passion, mais pour ça est-ce qu’on a besoin des robots, pour le sens pratique et nous permettre de vivre nos passions.



On peut sythétiser ces interviews selon 3 axes :

  1. Axe Sociétal
  2. Dans l'hypothèse où on laisse une IA gérer des aspects sociétaux, certaines personnes sont prêtes à lui laisser gérer la production de biens et services ainsi que leur distributions, mais l'aspect législatif dervait être étroiteemnt surveillé par des humains. On pourrait également envisager que la police et les pompiers soient remplacés par des robots, d'où l'importance de controller la législation.
    Pour ce qui est de la culture, alors que certains pensent que l'IA pourra parfaitement créer des films et autres œuvres, d'autres, à l'inverse, pensent que l'humain sera toujours supérieur en terme de créativité, e.g. une IA ne pourrait jamais créer de courants artistiques. Un consensus semble se former pour dire que les gens se concentreront davantage à leurs loisirs mais ça ne sera pas forcément la culture. Comme le disait une personne interviewée, même les gens qui sont aujourd'hui très occupés trouvent le moyen d'aller voir des pièces de théâtre, alors que des gens ayant beaucoup de temps libre ne le font pas forcément.
    Les étudiants interrogés semblent tout de même vouloir finir leurs études. Cependant, il est en effet possible que les gens deviennent globalement moins instruits car il pourrait ne plus être nécéssaire de faire des études.
    Il est également envisageable que l'on se dirige vers une société plus individualiste. Pour avoir discuté avec des personnes âgées, elles disent que le monde est bien plus individualiste aujourd'hui qu'il y a 50 ans, notamment à cause de la télévision. Ce phénomène pourrait s'en trouver exacerbé. En effet, on n'aura plus besoin d'aller donner un coup de main pour un déménagement à des amis, alors que le travail est encore aujourd'hui un moteur de sociabilisation.

  3. Axe Personnel
  4. Sur ce point-ci, les avis divergent. Alors que certains sont prêts à lui confier l'intégralité de leurs corvées et de l'administratif, d'autres refusent de presque tout lui confier, simplement parce qu'ils aiment faire les choses eux-mêmes.
    Il est également important pour certains de garder un espace personnel où l'IA n'a pas accès, un jardin secret.

  5. Axe Philosophique
  6. Pour ce dernier point, on constate que bien des gens voudraient continuer à travailler. Sans cela, beaucoup se sentiraient inutiles et trouveraient que leur vie aurait moins de sens. Toutefois, comme l'a fait remarquer un intervenant, si plus personne n'est utile, cela deviendrait une norme et peut-être plus un problème. On peut encore apporter un élément de réflexion : la condition pour atteindre le bonheur dépend des individus. Donc certains pourraient très bien s'accomoder de ce nouvel environnement alors que d'autres le trouveraient axiogène.

Interview Spécialistes


  1. Thierry Dutoit - Professeur en Polytechnique

  2. Pensez-vous que l'humanité aura encore besoin de travailler?

    Je pense qu'il y aura toujours besoin de travailler. Il existera toujours des tache qui ne seront pas realisable par un ordinateur. Apres tous dépend de ce qu on appelle l'humanité. L'histoire de la technologie montre quand meme qu on a toujours créé des robots qui realise des fonctions humaine sans avoir un fonctionnement humain. je pense que ces robots n auront pas apparence humaine et donc il aura tjs besoin de contact. Ces peut etre justement les competences humaines des gens qui resortiront dans ces metiers la. Une question qui y est lié est la question de "est ce qu il faudra encore enseigner ?" est de savoir ce qu il faut enseigner au gens, "que devont nous leur apprendre?", on peut developper des competence orthogonal a celles des robotrs. on peut developpé beaucoup la créativité mais aussi surtout l'esprit systémique... mais avant tous je pense qu il restera la question du contact humain. Est ce que tous le monde aura du travail par contre, ca par contre ca va etre compliqué. Je pense qu on devra arrivé à des choses comme le revenu universelle, je pense qu on en arrivera pas sans. Le fait que le boulot change, c est quelque chose qui a toujours été. Je pense qu il ne faut pas s'en inquiété (tout de suite du moins), et plutot reflechier a ce qu il reste a faire. Certain metier existeront toujours, les artistes par exemple. Nous avons besoin de pouvoir nous identifier au artiste pour mieux apprecier l'oeuvre, a chaque fois il y a une interventin humaine. cela n aurait pas d'interet si tout etait généré automatiquement. l'interet de l'art n'est pas de voir quelque chose de parfait mais de voir quelque chose d humain. Une autre chose je pense, c est que les gens ont du mal a changer, c est dans la nature humaine. Les gens veulent garder ce qu ils ont, ils continuent de mettre des croisillon au fenetre. Mais je pense que ca sera toujours les robots qui dependront des hommes

    Quel part de votre vie personelle seriez vous pret a laisser gerer par une IA

    Je commencerais par les taches repetititves, les corrections etc... dans notre metier on passe beaucoup de temps a parlé avec les gens, on passe des heures dans des reunion pour gerer des problemes, mais ca c est le bon coté du travail, je ne vois pas comment une machine pourait remplacer quoi. Je ne voudrais pas trop qu on remplace une partie de ma journée, ca ferait baiser ma qualité de vie. Finalement il n y a pas tant de sujet que ca que je voudrais laisser a une IA.\\ \\ et mtn d'un point de vue societal ? Lui feriez vous confiances?\\ Pour un truc tres operationnel, logistique, moi je n aurais pas de soucis avec ca... avoir des transport automatique, des fourniture qui arrivent au bon endroit au bon moment. encore une fois ce qu il restera c est les relation entre les gens. Par contre en politique je ne voudrais pas , on pourrait utiliser des robots pour analyser les problemes, mais les choix finaux c est quand meme des gens qui doivent les prendre. Pour la medecne c est pareil, "est ce que je voudrais bien etre opéré par un robots ? je veux bien qu il y ai des robots mais j aurai quand meme tjs besoin de gens, il faut des gens qui ont forme humaine, de l'ampathie...

  3. Xavier Siebert - Professeur en Polytechnique

  4. Pensez-vous que l'humanité aura encore besoin de travailler?

    Je pense que c'est un peu un fantasme que l'IA devienne aussi forte. On peut prendre l'exemple de "2001, l'odyssée de l'espace" où des humains essaient de reprendre le controle de leur vaisseau, piloté par une IA.

    Que lui confieriez-vous?

    Je doute qu'une IA puisse, lorsqu'elle donne cours, faire autre chose que juste transmettre des connaissances techniques. (Sous-entendu : alors qu'un prof humain oui). Pour les corvées, il y en a que j'aime bien faire moi-même quand même. "Si l'IA s'occupe de tout, il reste un gros vide et je ne suis pas sûr qu'on soit capable de gérer ce vide-là".

    Qu'est-ce que vous pensez que les gens feraient face à ce vide?

    Ca rejoint d'autres débats comme celui du revenu universel. Mais est-ce que les gens travailleraient encore? Si on n'a pas d'interactions sociales du tout, les gens deviendraient fous. Si les robots font les travaux mieux que nous, ça inclurait aussi l'art. Mais alors, qu'est-ce qu'il nous reste ? On pourrait envisager que seuls les passionnés continueront à faire leur travail actuel. Chacun devrait reconsidérer ses choix de vie et chercher ce qu'il aime vraiment. Ca nécessite de refonder l'éducation pour que les gens aient les outils pour combler ce vide.

Analyse Ethique


  1. Ethique des vertus (Aristote)
  2. D'après l'éthique des vertus d'Aristote, l'homme n'atteint le bonheur authentique que lorsqu'il a développé sa propre loi éthique et est donc devenu un agent vertueux. Il faut donc s'efforcer toute sa vie d'adopter un comportement vertueux : adopter en permanence un comportement optimal en réponse aux évènements. Il ne faut ni être dans l'excès, ni dans l'absence. L'IA pourrait permettre à l'homme de devenir plus vertueux car elle réduirait le nombre de situations où nous serions ammenés à faire des mauvais choix. Par exmple, nous pourrions raisonnablement considérer que le nombre de guerres diminuerait considérablement du fait que tous nos besoins pourraient être comblés. ( Attention cependant que l'IA ne pourrait poser que des actes résilients qui ne mettraient pas en péril le confort des autres humains, actuels et à venir). Cependant, c'est dans la vertu que l'homme trouve le bonheur donc si l'IA supprime des situations de choix cornéliens, elle nous empêche d'être malheureux. A fortiori, en supprimant les situations où l'individu doit poser un choix, l'IA empêche (malgré elle) la vertu de s'exprimer à travers les actes de l'individu. En empêchant l'expression de la vertu, l'IA réduit donc automatiquement le bonheur. Nos vies s'en trouveraient dés lors plus nivellées et donc potentiellement, plus ennuyeuses. Néanmoins, l'IA ayant une intelligence prodigieuse, elle serait à même de nous conseiller judicieusement personnellement car le "juste milieux" n'est pas le même selon les individus.


  3. Ethique des devoirs (Kant)
  4. La déontologie de Kant affirme que nos actions doivent obéir à la loi morale à laquelle il donne 3 impératifs : notre action doit pouvoir être généralisable, doit considérer les autres comme des fins en soi et pas comme des moyens et doit pouvoir entrer dans la législation. Si une action satisfait à ces 3 impératifs, elle est dés lors le bien et il est de notre devoir de l'accomplir. Mais comme il nous incombe de rélaliser ces actions, l'IA n'aurait plus qu'un rôle de conseil, et de gestion (administratif et corvées). Elle retirerait ainsi à l'homme les charges lourdes et peu enrichissantes mais lui laisserait le soin de prendre les décisions importantes et de poser les actes s'y rapportant.


  5. Ethique des conséquences (Bentham)
  6. L'éthique conséquentialiste vise à rendre une humanité plus heureuse. Se basant sur le fait que tout dans nos actions est dicté par 2 maîtres : le plaisir et la douleur. Le conséquentialiste dresse un tableau de comptes où il somme les plaisirs et les douleurs engendrés par une décision et en fonction du résultat, on choisit la marche à suivre. Certains individus pourraient se retrouver "sacrifiés" pour maximiser le bonheur commun, pas mortellement, mais ils accumulerait beaucoup de peines par rapport à d'autres ("Pour qu'il y ait un minimum de mécontents, il faut toujours taper s ur les mêmes"). Ces personnes qui ne seraient pas responssables se verraient contraintes à une vie de malheurs pour le seul plaisir (inconscient) du reste de la société, se satisfaisant d'un "bonheur statistique" mais ignorant les peines d'individus isolés. Une IA munie d une telle éthique gèreraient les foules au détriment des individus. Ce genre de situations ne semble pas souhaitable.

Conclusion


Il apparaît clairement à travers notre investigation que beaucoup expriment des craintes quant au futur de la condition humaine à la suite de l’impressionnante recrudescence des IA. À quoi servirons-nous ? Comment serons-nous payés si nous n’avons plus de travail ? À la lumière de notre enquête, il est clair que nous subirons de profonds changements sociétaux. Mais même si nous pouvons avancer quelques pistes telles que le revenu universel, il serait bien présomptueux de notre part de faire de précises prédictions. Néanmoins, notre postulat de départ (une IA forte) reste une expérience de pensée. Dans les faits, le niveau de changement que nous connaîtrons dépendra du niveau d’intelligence que l’IA acquerra. De ce niveau dépendra ce qu’on lui laissera diriger (ou pas, si elle nous dépasse trop) dans le monde. Il reste également un gros point d’interrogation sur la place qu’elle occupera dans la culture, mais les résultats auxquels elle arrive déjà actuellement laisse songeur. Sur le plan personnel, beaucoup pourrait entrer en crise existentialiste, du fait de leur obsolescence et l’inutilité dans laquelle ils tomberaient. En effet, beaucoup nous ont confié que le travail donnait, au moins en partie, un sens à leur vie. Bien que l’IA pourrait se montrer efficace pour résoudre certains de nos problèmes actuels comme le changement climatique, elle pourrait en créer de nouveaux. Mais nous sommes convaincus que l’Homme saura une fois de plus surmonter ce nouveau défi dans lequel elle se précipite actuellement, notamment en se basant sur les conseils prodigués par les 3 voies éthiques que nous avons développés.

Bibliographie


Notre équipe


Duboquet Florent

Dupont Aude

Gérémie Francois

Guily Thomas

Project Name


Lorem ipsum dolor sit amet, consectetur adipisicing elit. Mollitia neque assumenda ipsam nihil, molestias magnam, recusandae quos quis inventore quisquam velit asperiores, vitae? Reprehenderit soluta, eos quod consequuntur itaque. Nam.

Close Project

Project Name


Lorem ipsum dolor sit amet, consectetur adipisicing elit. Mollitia neque assumenda ipsam nihil, molestias magnam, recusandae quos quis inventore quisquam velit asperiores, vitae? Reprehenderit soluta, eos quod consequuntur itaque. Nam.

Close Project

Project Name


Lorem ipsum dolor sit amet, consectetur adipisicing elit. Mollitia neque assumenda ipsam nihil, molestias magnam, recusandae quos quis inventore quisquam velit asperiores, vitae? Reprehenderit soluta, eos quod consequuntur itaque. Nam.

Close Project

Project Name


Lorem ipsum dolor sit amet, consectetur adipisicing elit. Mollitia neque assumenda ipsam nihil, molestias magnam, recusandae quos quis inventore quisquam velit asperiores, vitae? Reprehenderit soluta, eos quod consequuntur itaque. Nam.

Close Project

Project Name


Lorem ipsum dolor sit amet, consectetur adipisicing elit. Mollitia neque assumenda ipsam nihil, molestias magnam, recusandae quos quis inventore quisquam velit asperiores, vitae? Reprehenderit soluta, eos quod consequuntur itaque. Nam.

Close Project

Project Name


Lorem ipsum dolor sit amet, consectetur adipisicing elit. Mollitia neque assumenda ipsam nihil, molestias magnam, recusandae quos quis inventore quisquam velit asperiores, vitae? Reprehenderit soluta, eos quod consequuntur itaque. Nam.

Close Project