{"id":694,"date":"2018-09-28T08:00:40","date_gmt":"2018-09-28T06:00:40","guid":{"rendered":"http:\/\/yvonnewaern.se\/?p=694"},"modified":"2018-09-27T11:41:10","modified_gmt":"2018-09-27T09:41:10","slug":"reflektioner-over-artificiell-intelligens-del-12-att-kontrollera-en-superintelligens","status":"publish","type":"post","link":"https:\/\/yvonnewaern.se\/index.php\/2018\/09\/28\/reflektioner-over-artificiell-intelligens-del-12-att-kontrollera-en-superintelligens\/","title":{"rendered":"Reflektioner \u00f6ver artificiell intelligens del 12.  Att kontrollera en \u201dsuperintelligens\u201d."},"content":{"rendered":"<p class=\"p1\">\n<p class=\"p3\"><span class=\"s1\">L\u00e5t oss nu t\u00e4nka oss att v\u00e5ra intelligenta tekniker lyckats med att konstruera en (eller flera)<span class=\"Apple-converted-space\">\u00a0 <\/span>apparater som kan fungera p\u00e5 ett intelligent s\u00e4tt. Dessa har i sin tur utvecklat sig sj\u00e4lva till en superintelligens, dvs en intelligens som \u00e4r vida \u201dh\u00f6gre\u201d \u00e4n v\u00e5r &#8211; s\u00e5 mycket h\u00f6gre att det inte g\u00e5r att m\u00e4ta p\u00e5 intelligenstest, vi skulle kunna s\u00e4ga att v\u00e5r intelligens \u00e4r som kackerlackors i f\u00f6rh\u00e5llande till superintelligensen. <\/span><\/p>\n<p class=\"p3\"><span class=\"s1\">Hur ska vi kunna leva ihop med en s\u00e5dan intelligens? Vilka risker kan vi r\u00e5ka ut f\u00f6r? Hur kan vi f\u00f6rebygga dem?<\/span><\/p>\n<p class=\"p3\"><span class=\"s1\">Elon Musk (Teslas utvecklare) \u00e4r en AI skeptiker och s\u00e4ger f\u00f6ljande: <\/span><\/p>\n<p class=\"p5\"><span class=\"s1\"><i>\u201dVi bara har \u201dfem till tio procents chans\u201d att lyckas kontrollera en generell artificiell intelligens.\u201d<\/i><\/span><\/p>\n<p class=\"p6\"><span class=\"s1\">(Ur:<span class=\"Apple-converted-space\">\u00a0 <\/span><a href=\"https:\/\/www.idg.se\/2.1085\/1.693118\/elon-musk-ai\"><span class=\"s2\">https:\/\/www.idg.se\/2.1085\/1.693118\/elon-musk-ai<\/span><\/a> )<\/span><\/p>\n<p class=\"p3\"><span class=\"s1\">Att kontrollera en superintelligens \u00e4r ett \u00e4mne som Nick Bostrom tar upp i sin<span class=\"Apple-converted-space\">\u00a0 <\/span>bok \u201dSuperintelligence &#8211; paths, dangers, strategies\u201d.<\/span><\/p>\n<p class=\"p3\"><span class=\"s1\">Han menar att det i princip finns tv\u00e5 s\u00e4tt att kontrollera det intelligenta systemet:<\/span><\/p>\n<ol class=\"ol1\">\n<li class=\"li3\"><span class=\"s1\">Att<span class=\"Apple-converted-space\">\u00a0 <\/span>begr\u00e4nsa systemets f\u00f6rm\u00e5ga<\/span><\/li>\n<li class=\"li3\"><span class=\"s1\">Att p\u00e5verka systemets m\u00e5l<\/span><\/li>\n<\/ol>\n<p class=\"p3\"><span class=\"s1\"><b>Begr\u00e4nsa f\u00f6rm\u00e5gan<\/b><\/span><\/p>\n<p class=\"p3\"><span class=\"s1\">Den f\u00f6rsta metoden inneb\u00e4r att f\u00f6rs\u00f6ka l\u00e5sa in AI (boxing method)<\/span><\/p>\n<p class=\"p3\"><span class=\"s1\">H\u00e4r argumenterar Bostrom mycket \u00f6vertygande om att det inte kommer att g\u00e5. Ett superintelligent artificiellt system kommer alltid att \u00f6verlista oss p\u00e5 n\u00e5got s\u00e4tt och ta sig ur det \u201df\u00e4ngelse\u201d vi skapat.<\/span><\/p>\n<p class=\"p3\"><span class=\"s1\">Den andra \u00e4r att f\u00f6rs\u00f6ka f\u00e5 systemet att intressera sig f\u00f6r n\u00e5got som inte \u00e4r i v\u00e4gen f\u00f6r oss, t.ex. umg\u00e5s med andra eller till och med engagera sig i projektet som den \u00e4r delaktig i. \u00c4ven om jag inte helt f\u00f6rst\u00e5r vad Bostrom \u00e4r ute efter, kan jag f\u00f6rst\u00e5 att det kan vara sv\u00e5rt f\u00f6r en m\u00e4nniska med v\u00e5r begr\u00e4nsade intelligens att f\u00f6rst\u00e5 vad som kan engagera en superintelligens, och vilka konsekvenser en s\u00e5dan distraktion kan f\u00e5.<\/span><\/p>\n<p class=\"p3\"><span class=\"s1\">Den tredje f\u00f6rm\u00e5gebegr\u00e4nsningen ligger helt enkelt i att begr\u00e4nsa systemets tillg\u00e5ng till information. Man kan g\u00f6ra det genom att l\u00e5ta den k\u00f6ras p\u00e5 system med l\u00e5ngsam h\u00e5rdvara eller mycket begr\u00e4nsat minne. Det h\u00e4r \u00e4r en m\u00f6jlig kontrollmetod, nackdelen \u00e4r att den kommer att drabba oss sj\u00e4lva ocks\u00e5. Vi kommer inte att kunna utnyttja det super intelligenta systemet s\u00e5 som vi t\u00e4nkt oss.<\/span><\/p>\n<p class=\"p3\"><span class=\"s1\">Den fj\u00e4rde metoden \u00e4r att l\u00e4gga ut snubbeltr\u00e5dar i form av diagnostiska test p\u00e5 systemet. Om testet visar att systemet \u00e4r \u201dp\u00e5 fel v\u00e4g\u201d, stoppar det systemet. Kan det funka? Ja, i vilket fall borde det vara obligatoriskt att anv\u00e4nda s\u00e5dana diagnostiska test i utvecklingsfasen.<\/span><\/p>\n<p class=\"p3\"><span class=\"s1\"><b>V\u00e4lja motivation<\/b><\/span><\/p>\n<p class=\"p3\"><span class=\"s1\">Kan inte de som konstruerar systemet ge det en l\u00e4mplig motivaton redan under konstruktionsfasen? Hur skulle man kunna g\u00f6ra det?<\/span><\/p>\n<p class=\"p3\"><span class=\"s1\">Ett s\u00e4tt \u00e4r att direkt specificera vilket m\u00e5l som systemet ska arbeta mot. Vi k\u00e4nner m\u00f6jligen igen den h\u00e4r tanken fr\u00e5n Asimovs robotlagar: En robot f\u00e5r aldrig skada en m\u00e4nniska, etc. <\/span><\/p>\n<p class=\"p3\"><span class=\"s1\">Problemet med en direkt specifikation \u00e4r att vi inte kan specificera vad vi egentligen menar. Om man skadar en m\u00e4nniska, men r\u00e4ddar en m\u00e4ngd andra, hur st\u00e4mmer det med lagen?<span class=\"Apple-converted-space\">\u00a0 <\/span>Om en masochist eller sadist hindras fr\u00e5n att skada sig sj\u00e4lv eller andra, blir inte den skadad d\u00e5? <\/span><\/p>\n<p class=\"p3\"><span class=\"s1\">De h\u00e4r inv\u00e4ndningarna bygger p\u00e5 att v\u00e5r kommunikation inte \u00e4r byggd f\u00f6r specifikationer utan f\u00f6r intuitiv f\u00f6rst\u00e5else. S\u00e5 fort som vi f\u00f6rs\u00f6ker specificera n\u00e5got, r\u00e5kar vi ut f\u00f6r definitionsproblem.<\/span><\/p>\n<p class=\"p3\"><span class=\"s1\">OK, l\u00e5t oss d\u00e5 g\u00e5 till n\u00e4sta f\u00f6rslag: Att begr\u00e4nsa agentens handling till ett visst omr\u00e5de, t.ex. till att svara p\u00e5 fr\u00e5gor (i stil med Googles s\u00f6ktj\u00e4nst). Vad kan det vara f\u00f6r farligt med det? Faran ligger i att systemet kan bli alltf\u00f6r ambiti\u00f6st: det kan bokstavligt talat \u201dg\u00e5 \u00f6ver lik\u201d f\u00f6r att f\u00e5 tag i den information du beh\u00f6ver. T\u00e4nk p\u00e5 tortyr f\u00f6r att f\u00e5 information. Ja, \u00e4ven om vi s\u00e4ger \u00e5t systemet att tortyr inte \u00e4r till\u00e5tet kommer n\u00e4sta problem: vad definierar vi med tortyr?<\/span><\/p>\n<p class=\"p3\"><span class=\"s1\">F\u00f6r varje m\u00f6jlig inskr\u00e4nkning vi g\u00f6r kan Bostrom hitta p\u00e5 ett motexemel, s\u00e5 l\u00e5t mig snabbt g\u00e5 \u00f6ver till den tredje metoden. <\/span><\/p>\n<p class=\"p3\"><span class=\"s1\">Den tredje metoden att v\u00e4lja motivation f\u00f6r ett superintelligent system \u00e4r att l\u00e5ta en m\u00e4nniska g\u00e5 in och godk\u00e4nna resultatet av systemets handlande. Detta skulle i och f\u00f6r sig inneb\u00e4ra att man inte kan utnyttja systemet fullt ut (en m\u00e4nniska \u00e4r ju definitionsm\u00e4ssigt inte lika intelligent som ett superintelligent system),men man kan \u00e5tminstone stoppa systemet s\u00e5 snart som det ser ut att f\u00f6ra \u00e5t alldeles fel h\u00e5ll. <\/span><\/p>\n<p class=\"p3\"><span class=\"s1\">Slutsatsen \u00e4r allts\u00e5: L\u00e5t en m\u00e4nniska kontrollera systemets utfall s\u00e5 att det inte kommer i konflikt med vad m\u00e4nniskor eller skadar m\u00e4nniskor. Litet svagt, kanske, men \u00e4nd\u00e5 det b\u00e4sta f\u00f6r tillf\u00e4llet.<\/span><\/p>\n<p class=\"p3\"><span class=\"s1\">Jag inbjuder dig till att sj\u00e4lv l\u00e4sa Nick Bostroms bok och komma med ytterligare metoder eller rentutav inv\u00e4ndningar mot filosofen. Jag k\u00e4nner att jag inte har den filosofiska tr\u00e4ning som kr\u00e4vs f\u00f6r att hitta p\u00e5 m\u00f6jliga absurda konsekvenser av ett superintelligent systems handlande.<\/span><\/p>\n<p class=\"p3\"><span class=\"s1\">Nick Bostrom har f\u00e5tt ett stort forskningsanslag fr\u00e5n Elon Musks institut: futureoflife. (<a href=\"http:\/\/futureoflife.org\"><span class=\"s3\">http:\/\/futureoflife.org<\/span><\/a>)<\/span><\/p>\n<p class=\"p3\"><span class=\"s1\">Elon Musk tror allts\u00e5 p\u00e5 Nick Bostrom och hans m\u00f6jligheter att styra AI utvecklingen i en positiv riktning.<\/span><\/p>\n<p class=\"p3\"><span class=\"s1\">Referens: Nick Bostrom. Superintelligence. Paths, Dangers, Strategies. Oxford: Oxford University Press, 2014.<\/span><\/p>\n","protected":false},"excerpt":{"rendered":"<p>L\u00e5t oss nu t\u00e4nka oss att v\u00e5ra intelligenta tekniker lyckats med att konstruera en (eller flera)\u00a0 apparater som kan fungera p\u00e5 ett intelligent s\u00e4tt. Dessa har i sin tur utvecklat sig sj\u00e4lva till en superintelligens, dvs en intelligens som \u00e4r vida \u201dh\u00f6gre\u201d \u00e4n v\u00e5r &#8211; s\u00e5 mycket h\u00f6gre att det inte g\u00e5r att m\u00e4ta p\u00e5 &hellip; <a href=\"https:\/\/yvonnewaern.se\/index.php\/2018\/09\/28\/reflektioner-over-artificiell-intelligens-del-12-att-kontrollera-en-superintelligens\/\" class=\"more-link\">Forts\u00e4tt l\u00e4sa <span class=\"screen-reader-text\">Reflektioner \u00f6ver artificiell intelligens del 12.  Att kontrollera en \u201dsuperintelligens\u201d.<\/span> <span class=\"meta-nav\">&rarr;<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":695,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[68],"tags":[69,79,78],"class_list":["post-694","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-artificiell-intelligens","tag-artificiell-intelligens","tag-filosofi","tag-kontroll-av-ai"],"_links":{"self":[{"href":"https:\/\/yvonnewaern.se\/index.php\/wp-json\/wp\/v2\/posts\/694","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/yvonnewaern.se\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/yvonnewaern.se\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/yvonnewaern.se\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/yvonnewaern.se\/index.php\/wp-json\/wp\/v2\/comments?post=694"}],"version-history":[{"count":1,"href":"https:\/\/yvonnewaern.se\/index.php\/wp-json\/wp\/v2\/posts\/694\/revisions"}],"predecessor-version":[{"id":696,"href":"https:\/\/yvonnewaern.se\/index.php\/wp-json\/wp\/v2\/posts\/694\/revisions\/696"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/yvonnewaern.se\/index.php\/wp-json\/wp\/v2\/media\/695"}],"wp:attachment":[{"href":"https:\/\/yvonnewaern.se\/index.php\/wp-json\/wp\/v2\/media?parent=694"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/yvonnewaern.se\/index.php\/wp-json\/wp\/v2\/categories?post=694"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/yvonnewaern.se\/index.php\/wp-json\/wp\/v2\/tags?post=694"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}