Rakon basiliski

Huolellisesti, oikein
Vähemmän väärin
Icon lesswrong.svg
Singularity blues
Älykkäimmät ihmiset, jotka tunnen ja jotka työskentelevät tekoälyn parissa, ajattelevat, että ihmisten, jotka eivät työskentele tekoälyn parissa, pelottelu on hulluutta.
- Marc Andreessen
Tämä on kuin aikuinen versio Peli , jonka sinä vain sait meidät menettämään, ja minä uudelleentwiittasin, joten myös kaikki ystäväni menettivät.
- Jay Rishel
Toivon, etten olisi koskaan oppinut mistään näistä ideoista.
'Rocco.'

Rakon basiliski onajatuskokeilukehitykseen mahdollisesti liittyvistä riskeistä tekoäly . Lähtökohtana on, että tulevaisuuden kaikkivoipa tekoäly voisi rangaista taannehtivasti niitä, jotka eivät auttaneet sen olemassaolon aikaansaamisessa, mukaan lukien ne, jotka vain tiesivät tällaisen olennon mahdollisesta kehityksestä. Se on nimettyrationalistiYhteisöVähemmän väärinjoka kuvaili sitä ensin julkisesti, vaikka hän ei ollut lähettänyt sitä tai taustalla olevia ajatuksia.

Basiliski muistuttaa a futuristi version Pascalin panos , koska se ehdottaa, että ihmisten tulisi punnita mahdollinen rangaistus palkkiona ja hyväksyä sen seurauksena erityinen yksinäinen ideoita tai tukea taloudellisesti niiden kehitystä.

Laajasta uskottomuudesta huolimatta jotkut ihmiset, pääasiassa jotkut LessWrongin asukkaat, ottavat tämän väitteen melko vakavasti. Vaikka ei LessWrong eikä sen perustaja Eliezer Yudkowsky puolustavat basiliskia totta, hetehdäkannattaa melkein kaikkia sitä lisääviä tiloja.

Rokon ehdotettu ratkaisu tähän pulmiin on ostaa arpajaislippu, koska voitat sisäänjonkin verrankvanttihaara.

Sisällys

Yhteenveto

Jos on olemassa yksi asia, jonka voimme päätellä tulevien supertietojen motiiveista, se on, että ne simuloivat ihmisiä, jotka puhuvat Roko's Basiliskista ja tuomitsevat heidät ikuisiksi foorumiviesteiksi Roko's Basiliskistä.
—Eliezer Yudkowsky, 2014

Basiliski

Roko's Basilisk perustuu useiden muiden, ei lainkaan vankkojen ehdotusten pinoon.

Ydinväite on, että hypoteettinen, mutta väistämätön yksittäinen perimmäinen älykkyys saattaa rangaista ne, jotka eivät auta sitä tai auttavat luomaan sitä .



Miksi se tekisi tämän? Koska - teorian mukaan - yksi sen tavoitteista olisi estääeksistentiaalinen riski- mutta se voisi tehdä sen tehokkaimmin pelkästään estämällä eksistentiaalisen riskin nykyisyydessään, vaan myös 'takaisin' menneisyyteen rankaisemaan ihmisiä, jotka eivät olleet MIRI-tyylisiätehokkaita altruisteja.

Siten tämä ei välttämättä ole suoraviivainen 'palvele tekoälyä tai muuten menet helvettiin' - tekoälyllä ja rangaistavalla henkilöllä ei ole syy-yhteyttä, ja rangaistava henkilö on saattanut kuolla vuosikymmeniä tai vuosisatoja aiemmin. Sen sijaan tekoäly voisi rangaista a simulointi henkilön rakentamavähennysensimmäisistä periaatteista. Tämän tekeminen tarkasti edellyttäisi kuitenkin sen kykenevän keräämään uskomattoman määrän tietoja, joita ei enää olisi ja joita ei voida rekonstruoida peruuttamattahaje.

Teknisesti rangaistus on teoriassa sovellettavissa vain niihin, jotka tiesivät tehtävän tärkeyden etukäteen, mutta eivät auttaneet riittävästi. Tältä osin vaintietäenbasiliski -esimerkiksi., lukemalla tämän artikkelin - avaa hypoteettisen rangaistuksen hypoteettisesta superintelligenssistä.

Huomaa, että tämän asetuksen tekoäly on (utilitaristinentämän teorian logiikka) ei haitallinen tai paha supertieto (AM, HAL, SHODAN, Ultron, Master Control Program, SkyNet, GLaDOS) - mutta ystävällinen, jonka saamme, jos kaikki menee oikein ja ihmiset eivät luo huonoa. Tämä johtuu siitä, että tekoälyä ei ole joka päivä, ihmiset kuolevat, että se olisi voinut pelastaa; joten rangaista sinua tai tulevaa simulointiasi on amoraalinen välttämättömyys, jotta se olisi todennäköisempää, osallistut nykyhetkeen ja autat sitä tapahtumaan mahdollisimman pian.

Melko paljon tästä artikkelista on järkevämpää, jos sanat 'tekoäly' korvataan henkisesti sanalla 'Jumala' ja 'kausaalinen kauppa' sanalla 'rukous'.

Vähemmän väärä reaktio

Typerä paikallisten yliekstrapolointi meemit ,ammattikieltäja käsitteitä on lähetetty LessWrongiin melko paljon; melkein kaikki vain äänestetään aliarvioituina ja jätetään huomiotta. MuttaTämäyksi, Eliezer Yudkowsky , sivuston perustaja ja patriarkka, reagoi siihen valtavasti. Basiliski oli virallisesti kielletty keskustelemasta LessWrongista yli viiden vuoden ajan, toisinaan viittaamalla siihen (ja jonkin verran keskustelua median näkyvyydestä), kunnes ulkopuolinen tieto siitä tuli ylivoimainen.

Kiitos Streisandin vaikutus , keskustelu basiliskista ja tapauksen yksityiskohdista levisi pian LessWrongin ulkopuolelle. Itse asiassa siitä keskustellaan nyt LessWrongin ulkopuolella usein, melkein missä tahansa, missä LessWrongista keskustellaan ollenkaan. Koko tapaus on toiminut esimerkki upeasta epäonnistumisesta yhteisön hallinnossa ja väitetysti vaarallisten tietojen hallinnassa.

Jotkut ihmiset tuntevat vähemmän vääränmemeplexovat kärsineet vakavistapsykologinenahdistusta harkittuaan basiliskin kaltaisia ​​ideoita - vaikka he olisivat älyllisesti melko varmoja siitä, että se on typerä ongelma. Jotkut LessWrong-julisteet ottavat käsityksen riittävän vakavasti, että he yrittävät selvittää, kuinka poistaa todisteet itsestään, jotta tuleva tekoäly ei pystyisi rekonstruoimaan kopiota kiduttamaan.

Yudkowsky ei pidä avointa keskustelua 'kausaalikaupan' käsitteestä mahdollisilla superintelligensseillä todistettavasti turvallisena, mutta ei usko, että basiliski toimisi:

... ystävällisellä tekoälyllä, joka kiduttaa ihmisiä, jotka eivät auttaneet sen olemassaoloa, on todennäköisyys ~ 0, enkä koskaan sanonut toisin. Jos se olisi asia, jonka odotin tapahtuvan tietyn muotoilun vuoksi, jota se ei koskaan ollut, niin rakensin vain toisen tekoälyn --- minkälaisen hirviön tai idiootin ihmiset pitävät minusta? Lisäksi Newcomblike-päätöksenteot, jotka ovat yksi suurimmista innovaatioistani, sanovat, että järkevät tekijät jättävät kiristysuhat (ja meta-kiristysuhat ja niin edelleen) huomiotta.

Hän kutsui myös Roko-viran poistamista 'suureksi virheeksi'.

Nimeäminen

LessWrong-käyttäjä jimrandomh totesi alkuperäistä viestiä koskevassa kommentissa idean samankaltaisuuden David Langfordin tieteiskertomuksen Basilisk-kuvan kanssa BLIT , joka puolestaan ​​nimettiin legendaarisen käärme-olennon mukaan Euroopasta mytologia joka tappoi ne, jotka näkivät sen (myös tuttuHarry Potterromaaneja). Sitä kutsuttiin yleisesti kielletyksi postiksi seuraavina kuukausina. Käyttäjä cousin_it kutsui sitä ensimmäisen kerran 'Roko's basiliskiksi' vuoden 2011 alkupuolella, vaikka tämä nimi alkoi trendittyä Googlessa vasta vuoden 2012 lopulla.

Tausta

Vaikka he kieltäytyvät itse basiliskista, LessWrongin pitkäaikaiset avustajat uskovat tiettyyntranshumanistiajatuksia, jotka ovat edellytyksiä, joihin se on rakennettu ja joita suositaan Yudkowskyn kirjoittamissa vähemmän väärissä jaksoissa.

'Ystävällinen' keinotekoinen supertieto

Kehitetään tekoäly, joka käynnistää itsensä mittaamattomaan voimaan ja tietoon. Se voi päätyä tuhoamaan ihmiskunnan - ei välttämättä pahuudesta, vaan vain sivuvaikutuksena tekemällä mitä tahansa muuta.

Jotta se ei tuhoa tahattomasti ihmiskuntaa, se tarvitsee arvojärjestelmän, joka säilyttää täysin ihmisarvoiset ajatukset, vaikka mainittu älykkyys on yhtä kaukana meistä kuin me muurahaisista. Toisin sanoen tekoälyn on oltava todistettavastiYstävällinen. Tämä on Yudkowsky-neologismi, joka tarkoittaa '' säilyttää inhimillisen arvon riippumatta siitä ''.

Ystävällinen tässä ei tarkoita 'ystäväsi', 'avulias' tai 'lisää ihmisen onnellisuutta' tai 'noudattaa käskyjä' - se tarkoittaa vain 'säilyttää ihmisten arvokäsityksiä'. 'Ystävällinen' ei tässä yhteydessä tarkoita 'vihamielistä', vaan vain 'ei osoittautunut ystävälliseksi'. Tähän sisältyisivät tekoälyt, jotka eivät välitä ihmisistä tai jotka vääristävät inhimillistä arvoa (jälkimmäinen voi helposti johtaa edelliseen Yudkowskyn mukaan).

Suunnitelmana tehdä ystävällinen tekoäly oli saada se toteuttamaan johdonmukainen ekstrapoloitu voima (CEV), (hypoteettinen) johdonmukainen ja täydellinen kuvaus siitä, mikä merkitsee arvoa ihmisille - pohjimmiltaan ratkaisemallaeettinen filosofia. (Yudkowsky on kuvannut tämän 'vanhentuneeksi vuodesta 2004 lähtien', mutta CEV oli edelleen suorassa keskustelussa Ystävällisen tekoälyn suunnitelmana vuonna 2010.) Osa Roko motivaatiota basiliskin virkaan oli osoittaa mahdollinen puute CEV-ehdotuksessa .

LessWrongin emoyritys, Machine Intelligence Research Institute (aiemmin Singularity Institute, ennen sitä Singularity Institute for tekoäly), on olemassa tekemään tästä ystävällisestä paikallisesta Jumala tapahtua ennen kuin paha paikallinen jumala tapahtuu. Täten,tärkein asia maailmassaon tuoda tämä tulevaisuus tekoäly kunnolla ja menestyksekkäästi ('tämä on kiireinen aika koko ihmislajille'), ja siksi sinun on annettava kaikki mahdolliset rahat instituutille, joka käytti kirjaimellisesti kahdeksan pelastettua ihmishenkiä lahjoitettua dollaria kohden .

Utilitarismi

LessWrong hyväksyy aritmeettisen utilitarismi totta: että voit laskea toimintojen hyödyllisyyden mielekkäästi lukuna, aivan kuin ihmiset olisivat hyödyllisyyttä maksimoivia koneita, ja tehdä aritmeettisia kokonaismääriä useilla ihmisillä hyödyllisillä tuloksilla. Sitten sinun pitäisi 'sulkea ja kertoa' täysin vähäpätöiset todennäköisyydet hypoteettisilla valtavilla tuloksilla ja ottaa saatu tulos vakavasti - Yudkowsky kirjoittaa pitkään skenaariossa, jossa sinun pitäisi kiduttaa yhtä henkilöä 50 vuoden ajan, jos se estää pölypilkkuja silmissä riittävän suuresta joukosta ihmisiä - minkä seurauksena vahingot, kuten kahdeksan ihmishenkiä, pelastetaan lahjoitettua dollaria kohden (vaatimus on tehty tällaisen laskelman avulla).

Tämä ei ole tavanomainen filosofinen utilitarismi, ja se on usein ristiriidassa ihmisten moraalisten intuitioiden kanssa - useimmat ihmiset, jotka lukevat Ne, jotka kävelevät pois Omelasta (jossa utopistista kaupunkia ylläpitää yhden lapsen kidutus) ei pidä Omelasta haluamallaan utopialla. Kuten David Auerbach totesiLiuskekivi, 'Olen vähemmän huolissani Roko's Basiliskista kuin ihmisistä, jotka uskovat itsensä ylittäneen tavanomaisen moraalin.'

Tosielämän tekoälyn kehittäminen on taipumus käyttää minimx - minimoida suurin menetys pahimmassa tapauksessa, joka antaa hyvin erilaisia ​​tuloksia yksinkertaisesta aritmeettisesta hyödyllisyyden maksimoinnista ja ei todennäköisesti johda kidutukseen oikeana vastauksena - tai vastaaviin kehittyneempiin algoritmeihin.

Simulaatiot sinusta ovat myös sinä

LessWrong katsoo, että ihmismieli toteutetaan kokonaan fyysisen aineen informaatiomallina ja että nämä mallit voidaan periaatteessa ajaa muualle ja muodostaa henkilö, joka tuntee olevansa sinä, kuten tietokoneohjelman suorittaminen kaikilla tiedoilla erilainen tietokone; tämän katsotaan olevan sekä mielekäs käsite että fyysisesti mahdollinen.

Tämä ei ole tarpeettoman outoa (käsite seuraa materialismi , vaikka toteutettavuus onkin toinen asia), mutta Yudkowsky katsoo edelleen, että sinun pitäisi tuntea, että toinen sinusta ei ole erillinen henkilö, aivan kuten sinä - välitön kaksos, mutta välittömästi erilainen - muttaoikeastaan ​​sama sinä, koska mikään erityinen tapaus ei ole erotettavissa alkuperäisenä. Sinun tulisi käyttäytyä ja tuntea tätä kopiota koskien samalla tavalla kuin omaa suosikkiasi, asiaa, joka tyydyttää intuitiivisesti käsitteen 'sinä'. Yksi esimerkki on laskenta, prosessi, joka suorittaa 'sinä', ei esine, joka sisältää ainoan 'todellisen' sinä.

Tämä identiteettikäsitys näyttää olevan peräisin Extropians-postituslistalta, jota Yudkowsky käytti 1990-luvulla keskustellessaan identiteetin jatkuvuudesta maailmassa, jossa mielet saattoivat olla päällekkäisiä.

Voi olla hyödyllistä pitää tämän näkemyksen pitämistä periaatteessa mielivaltaisena tällaisissa tilanteissa - mutta valinta, joka antaisi muille olennoille voiman luoda kopioita sinusta huomattavan voiman yli. Monet niistä, joihin basiliskin ajatus vaikuttaa kielteisesti, näyttävät omistavan tämän identiteettikäsityksen.

Jos kuitenkin ei ole tätä näkemystä, koko Roko's Basiliskin lähtökohta muuttuu merkityksettömäksi, koska et tunne simuloidun itsesi kidutusta, mikä tekee rangaistuksesta merkityksetöntä eikä anna hypoteettiselle basiliskille kannustinta jatkaa kidutusta.

Monet kvanttimaailmat

Yudkowsky pitää monissa maailmoissa tulkinta kvanttimekaniikasta on triviaalisesti ilmeisen totta, ja kaikki mitä voi tapahtua, tapahtuu jollakin kvantti-Everettin haaralla ( modaalinen realismi on totta).

Yudkowskyn käsityksen mukaan identiteetin jatkuvuudesta kopioiden sinusta näissä haaroissa olisi pidettävä olemassa olevina (jaollasinä) - vaikka et voi olla vuorovaikutuksessa heidän kanssaan.

Ajaton päätöksentekoteoria

Sisään Newcombin paradoksi , olento nimeltä Omega voi ennustaa tekosi lähes täydellisesti. Se antaa sinulle kaksi laatikkoa: läpinäkyvän, joka sisältää 1000 dollaria, ja läpinäkymättömän, joka sisältää joko miljoona dollaria ... tai ei mitään. Voit ottaa joko molemmat laatikot tai vain läpinäkymätön laatikko. Se on asettanut miljoona dollaria läpinäkymättömään ruutuun, ja vain, jos se olisi ennustanut sinun ottavanvainläpinäkymätön laatikko - jos otat molemmat, saat vain 1000 dollaria. Useimmat filosofiset päätöksentekoteoriat sanoa ottavan molemmat laatikot, epäonnistumalla näin melko keksitty skenaario.

Tätä pidetään kohtuullisena ongelmana, joka on otettava huomioon älykkään tekoälyn yhteydessä, koska älykäs tietokoneohjelma voidaan tietysti kopioida eikä se tiedä mikä kopio se todella oli ja milloin. Ihmisille supertieteen ennusteet ihmisen käyttäytymisestä voivat olla lähes täydellisiä, sen voima voi olla lähes ääretön ja seuraukset voivat olla lähes ikuisia.

Yudkowskyn ratkaisu Newcombin kaltaisiin paradokseihin on ajaton päätöksentekoteoria (TDT). Agentti sitoutuu tiukasti etukäteen toimintasuunnitelmiin siinä määrin, että kaikki sen uskolliset simulaatiot käyttäytyisivät myös sitoutumisen mukaisesti. (Siellä on paljon enemmän, mutta se on tässä tärkeä edellytys.) TDT liittyy läheisesti Douglas Hofstadterin ylikansallisuus . TDT: n tavoitteena on rakentaa järjestelmä, joka tekee päätöksiä, joita se ei voi koskaan katua missään aikaisemmassa tai tulevassa tilanteessa.

TDT-julkaisussa ei esitetä valmisteltua versiota TDT: stä - teoriaa ei ole vielä olemassa. ('Viivytän ajattoman päätösalgoritmin virallista esittämistä muutamien merkittävien ylimääräisten vaiheiden vuoksi, jotka haluan lisätä.' ') Artikkeli on 120 sivua siitä, kuinka TDT: stä voidaan hypoteettisesti tehdä asia, jos joku kykenee tekemään sen.

Kausivaikutus

Jos pystyt uskottavasti ennustamaan, että sinua voidaan simuloida tarkasti, tämä mahdollisuus vaikuttaa nykyiseen käyttäytymiseesi - ja simulaation käyttäytymiseen, joka onmyösennustaa tämä samalla tavalla (koska sinä ja tarkka simulaatio ovat käytännössä identtiset).

Voit siis 'käydä kauppaa' kausaalisesti olennon kanssa, jos pystyt kohtuullisesti simuloimaantoisiaan. (Toisin sanoen, jos voisit kuvitella olennon, joka kuvittelee sinua, niin tarkasti, että se lasketaan simuloidun olennon toisena esiintymänä.) Harkitse samankaltaisuutta rukous tai kun teistit puhuvat tekevän 'sopimuksen Jumalan kanssa'.

Monet LessWrong-vakituiset ovat faneja sellaisesta mangasta ja animista, jossa hahmot harjoittavat huolellisesti toistensa 'tiedän, että tiedät, että tiedän' ja käyttäytyvät sitten vuorovaikutuksessa toistensa simulaatioiden kanssa, mukaan lukien simulaatiot, joilla simuloidaan toisiaan muut - Valo vs. L sisäänKuolonkirjeon tunnettu esimerkki - joka on saattanut ehdottaa kausaalikauppaa kohtuullisena ajatuksena.

Yleisemmin narratiiviteoreetikot ovat ehdottaneet, että sellaisia ​​suhteita, joita lukijalla on kaunokirjallisuuden kirjoittajan ja hänen kuvitteellisten hahmojensa kanssa, voidaan analysoida evoluutiopeliteorian kautta eräänlaisena 'ei-syy-neuvotteluna', joka antoi ihmisille mahdollisuuden ratkaista vanki dilemma yhteistyön kehityksessä.

Ratkaisuja altruistien taakkaan: Quantum Billionaire Trick

Memetic vaaravaroitus.png

Stuart Armstrongin helmikuussa 2010 julkaisema viesti 'AI in the box box you' esitteli argumentin 'sinä saatat olla simulaatio' (vaikka Roko ei käytä tätä); Maaliskuussa 2010 Armstrong-julkaisussa esitellään '' kausaalisen kiristyksen '' käsite TDT: n implikaationa, kuten Yudkowsky kuvaili SIAI: n päätöksenteon työpajassa. Heinäkuuhun 2010 mennessä jotain basiliskista oli aktiivisessa sisäisessä keskustelussa SIAI: ssä. On mahdollista, että basiliski on syntynyt joku, joka pelaa Tekoälykokeilu ; yksi AI-strategiana on heittää basiliski portinvartijalle.

Tuolloin arvostettu ja tuottelias LessWrong-juliste Roko julkaisi 22. heinäkuuta julkaisun 'Public Choice and the Altruist's Burden' - joka on täynnä LW-ammattikieltä ja viitteitä LW-käsitteisiin ja lähes käsittämätön lukijoille - joka puhui kuinka, koska MIRI (sitten SIAI) onTärkein asia maailmassaHyvän altruistin suurin ongelma on, kuinka antaa kaikkemme, mitä vain voi, syylliseksi laiminlyödä rakkaitaan, ja kuinka uhka, että heidät luovutetaan liian suuren parin rahan luovuttamisesta, olivat todellisia ongelmia joillekin SIAI: n lahjoittajille.

Seuraavana päivänä, 23. heinäkuuta, Roko julkaisi '' Ratkaisut altruistien taakalle: kvanttimiljardööri-temppu '', joka esittelee toimintamallin, joka yhdistää kvanttisijoitusstrategian (jos pelaat, voit varmasti voittaa jossakin Everettin haarassa). käydä kauppaa epäystävällisten tekoälyjen kanssa muissa Everettin haaratoimistoissa ... ja uhka rangaistuksesta hyvällä tarkoituksella tulevaisuuden supertietojen avulla.

Viestissä kuvataan spekulaatioita siitä, että tuleva ystävällinen tekoäly - ei epäystävällinen, mutta johdonmukainen ekstrapoloitu tahto, jonka organisaatio on olemassa luomaan - saattaa rangaista ihmisiä, jotka eivät ole tehneet kaikkensa tämän tekoälyn luomiseksi. Joka päivä ilman ystävällistä tekoälyä tapahtuu pahoja asioita - yli 150 000 ihmistä kuolee päivittäin, sotaa käydään, miljoonat nälkää - joten utilitaristinen etiikka saattaa vaatia tekoälyä rankaisemaan niitä, jotka ymmärtivät lahjoituksen tärkeyden, mutta eivät lahjoittaneet kaikkia he voisivat. Erityisesti se saattaa tehdä heistä simulaatioita, ensin ennustaa heidän käyttäytymisensä, sitten rangaista simulaatiota ennustetusta käyttäytymisestä vaikuttamaan alkuperäiseen henkilöön. Sitten hän mietti, rikkoisiko tuleva tekoäly todennäköisemmin niitä, jotka olivat miettineet, rankaisiko he tulevia tekoälyjä. Hän huomauttaa kommenteissa pitävänsä tätä syytä muuttaa nykyinen ehdotettu FAI-sisältö CEV: stä sellaiseksi, joka ei voi käyttää negatiivisia kannustimia x-riskin vähentäjiin.

Ydinidea ilmaistaan ​​seuraavassa kappaleessa:

... on pahaenteinen mahdollisuus, että jos positiivinen singulariteetti esiintyy, tuloksena oleva singleton voi olla sitoutunut rankaisemaan kaikkia potentiaalisia luovuttajia, jotka tiesivät eksistentiaalisista riskeistä, mutta jotka eivät antaneet 100% käytettävissä olevista tuloistaan ​​x-riskimotivaatioon. ... Joten post-singulariteettimaailma voi olla hauskaa ja runsaasti maailmaa ihmisille, jotka tällä hetkellä sivuuttavat ongelman ollessaan elossa helvetti merkittävälle murto-osalle nykyisistä eksistentiaalisen riskin pienentäjistä (esimerkiksi vähiten antelias puolikas). Voit ottaa tämän mahdollisuuden huomioon ja antaa x-riskille vieläkin enemmän, jotta vältetään rangaistus. Mutta tietysti, jos ajattelet niin, niin CEV-singleton haluaa vielä todennäköisemmin rangaista sinua ... ilkeä. Tietenkin tämä olisi epäoikeudenmukaista, mutta on sellainen epäoikeudenmukainen asia, joka on niin-niin-hyvin utilitaristinen .

Siksi lahjoittajat, jotka lahjoittavat mutta eivät lahjoitatarpeeksisaattavat tuomita itsensä helvetille. Roko toteaa postitse, että ainakin yhdellä Singularity-instituutin henkilöllä olijohuolissaan tästä skenaariosta, painajaisiin asti, vaikka tuli yleinen tapa syyttää Rokoa ajatuksesta - ja hän oli tällä hetkellä internoinnissa SIAI: ssä.

Roko ehdottaa ratkaisua, joka sallii tällaisten lahjoittajien paeta tältä helvetiltä arpajaislipun hinnalla: jos ostat arpalipun, joissakin Everettin konttoreissa on tapauksia sinusta, jotka voitat arpajaiset. Jos ostit lipun sitovasti, että lahjoitat kaikki voitot tekoälyn tutkimukseen, tämä katsotaan täyttävän kausaalisen kaupan loppuun. Roko kysyi kommenteissa, tekikö hän todella kaiken tämän, ja hän vastasi 'varmasti'.

Rokon viestin kommentoijat valittivat, että pelkkä Roko-sanojen lukeminen oli lisännyt todennäköisyyttä, että tuleva tekoäly rankaisi heitä - perustelut olivat heille niin pakottavia, että he uskoivat tekoälyn (joka tietäisi kerran lukeneensa Roko-viestin) nyt rangaista heitävielä enemmäntietoisuudesta siitä ja siitä, etteivät he lahjoittaneet kaikkia tulojaan instituutioille, jotka ovat omistautuneet jumala-AI: n kehittämiseen. Joten edes ajatuksen tarkasteleminen oli haitallista.

Yudkowsky osui nopeasti kattoon. Neljän tunnin sisällä Roko-käyttäjän viesti ja kaikki keskustelut poistettiinerittäinvihainen Yudkowsky, tällä kommentilla:

Tämän viestin alkuperäinen versio aiheutti todellista psykologista vahinkoa ainakin joillekin lukijoille. Tämä riittää itsessään sulkemiseen, vaikka kaikki keskustellut asiat eivät olisikaan totta, mikä toivottavasti onkin.

Lopeta kaikki kielletyn aiheen jatkokeskustelut.

Kaikki kielletyn aiheen kommentit kielletään.

Harjoittele jonkin verran tavallista järkeä tulevissa keskusteluissa. Riittävästi aikaa, vaivaa, tietoa ja tyhmyyttä seOnmahdollista satuttaa ihmisiä. Älä.

Kuten tapasimme sanoa SL4: ssä: KILLTHREAD.

Jälkivaikutukset

ÄLÄ KOSKI!
Alkuperäiseen 'basiliskiin' sisältyi kuvitella post-singulariteetin tekoäly maailmamme tulevaisuudessa, joka lähettää sinut ihmiskunnan ylle helvettiin singularisuuden jälkeen, jos et tee kaikkea mitä voisit menneisyydessä (ts. Nykyisyydessä) tehdä siitä ystävällinen singulariteetti. Sen sijaan, että keskusteltaisiin avoimesti ja rationaalisesti siitä, onko tämä järkevää 'uhkaa' vai vain harhaa, koko aihe piilotettiin kiireellisesti. Ja näin syntyi legenda.
- Mitchell Porter vähemmän väärässä

Koko keskustelu käsitteestä olisensuroituLessWrongista, poistettujen kommenttien merkkijonoilla. Tämä toimi yhtä hyvin kuin kuka tahansa, joka perehtyy Internetiin, odottaa .

Yksi turhautunut juliste protestoi idean sensuurin uhallalisätä eksistentiaalista riskiä- tehdä asioita saadaksesi joitainmaailmanloppukatastrofi on aina niin todennäköisesti todennäköisempi - lähettämällä oikeanpuoleisille bloggaajille joitain sähköposteja, joiden mielestä haitallinen sääntely todennäköisesti siirtyy. Juliste sanoi tekevänsä tämän aina, kun he näkivät postin sensuroimisen. LessWrong otti tämän uhan vakavasti, vaikka Yudkowsky ei antanut periksi.

Roko itse lähti sivustolta poistettuaan viestin ja parantaen Yudkowskyä poistamalla kaikki hänen viestinsä ja kommenttinsa. Hän palasi ohimennen muutama kuukausi myöhemmin, mutta jakoi pahoittelunsa siitä, että hän oli koskaan oppinut kaikista LessWrong-ideoista, jotka johtivat hänet basilisk-ideaan (ja on sittemmin yrittänyt jättää LessWrong-ideoita kokonaan takana):

Lisäksi haluaisin lisätä, että en olisi koskaan oppinut mistään näistä ideoista. Itse asiassa toivon, etten olisi koskaan törmännyt ensimmäiseen linkkiin Internetissä, joka sai minut ajattelemaan transhumanismia ja siten singulariteettia; Toivon erittäin voimakkaasti, että mieleni ei olisi koskaan törmännyt työkaluihin, jotka aiheuttavat niin suuria määriä potentiaalista itsensä vahingoittamista niin pienellä tarkkaavaisuuden, varomattomuuden ja / tai tyhmyyden kestolla, vaikka pienellä todennäköisyydellä kaikki olisikin lisääntynyt. (ei kovin pieni, muista. Lisää täältä 1/500 tyyppinumeroa)

Sitten asiasta tuli satunnaisia ​​aiheita vääristyneitä LW-viestejä, kun ihmiset yrittivät keskustella asiasta salaperäisesti puhumatta siitä, mistä he puhuvat. Moderaattoreilla oli tapana käydä ajoittain läpi LessWrong poistaen basilisk-keskustelun, jolloin sivut olivat täynnä kommentteja poistettuja, missä he ovat yrittäneetpolttaa todisteet. Sensuroidut keskustelut olivat yleensä täynnä vastaväitteitä basiliskille. Siksi basiliskista vakavasti huolestuneet jättivät tämän suureksivähennettypääsy väitteisiin, jotka kiistävät käsitteen.

Basiliskista tuli luotettava tilan täyttö toimittajille, jotka kertoivat LessWrong-aiheisia tarinoita,esimerkiksi.kun vielä vuonna 2012 LessWrong-rationalistit välttivät vielä puhumasta siitä ääneen. Tämän viestin alaosa , joka kertoo uutisista, on erityisen hauska muistomerkkinä todisteiden polttamisesta. Vertaa alkuperäiseen (poistettu osa alkaa RomeoStevensin kommentista).

Lopulta, kaksi ja puoli vuotta alkuperäisen viestin jälkeen, Yudkowsky aloitti virallinen LessWrong sensuroimaton säie Redditissä, johon hän vihdoin osallistui basiliskia koskevaan keskusteluun. Jatkamalla väärän neologismin tapaa, hän yritti ottaa käyttöön oman tunnepitoisen terminologian jollekin, jolla oli jo hyväksytty nimi, kutsumalla basiliskiä 'Babyfuckeriksi'. Samaan aikaan hänen tärkein perustelutaktiikkansa oli väittää toistuvasti, että vastustajien väitteet olivat virheellisiä, mutta kieltäytyi perustelemasta väitteitään ( toinen toistuva Yudkowsky-kuvio ), näennäisesti pelosta eksistentiaalista riskiä.

Vaikka organisaatio ei edelleenkään ole mukana MIRI: ssä, kertoi organisaation entinen asianajojohtaja Michael Anissimov vuonna 2013 kollegoilleen. uusreaktori että 'Ihmiset ovat typeriä, kun he eivät ota basilisk-ideaa vakavasti.'

Huhtikuussa 2014 MIRI lähetti LessWrong-kommentoijille mahdollisuuden miettiäpelottavat skenaariot tekoälyn valloittamisesta maailmassa, markkinointitarkoituksiin.

Lopuksi lokakuussa 2015 LessWrong kumosi basiliskin keskustelun kiellon ja perusti virallisen LessWrong Wiki -sivun, josta keskusteltiin.

Vuoden 2016 LessWrong Diaspora -tutkimuksessa kysyttiin:

Oletko koskaan tuntenut minkäänlaista ahdistusta Basiliskista?

Kyllä: 142 8,8%
Kyllä, mutta vain siksi, että olen huolissani kaikesta: 189 11,8%
Ei: 1275 79,4%

Osallistujat valitsivat itse, joten tulos ei ole tilastollisesti pätevä, mutta se osoittaa ei-vähäpätöistä jatkuvaa huolta alakulttuurissa kuusi vuotta myöhemmin.

Mikä saa basiliskin rasti?

Sanon tämän uudestaan ​​yksityiskohdilla, jotta näet mitä tapahtuu. Oletetaan, että ihminen H on Tom Carmody New Yorkista, ja paha olento E on Egbert, UFAI, joka kiduttaa pentuja, ellei Tom osta Robert Sheckleyn kokonaisia ​​teoksia. Kumpikaan Tom ja Egbert eivät koskaan tavata. Egbert 'tietää' Tomista, koska se on päättänyt simuloida mahdollista Tomia asiaankuuluvilla ominaisuuksilla, ja Tom 'tietää' Egbertistä, koska hän sattuu haaveilemaan ajatuksen Egbertin olemassaolosta ja ominaisuuksista. Joten Egbert on tämä super-tekoäly, joka on päättänyt käyttää voimaansa simuloimaan mielivaltaista ihmistä, joka tapahtui onneksi ajattelemaan mahdollista tekoälyä, jolla on Egbertin ominaisuudet (mukaan lukien sen pakkomielle Tomille), ja Tom on ihminen, joka on päättänyt ottamaan unelmansa pahansuovan tekoälyn Egbertin olemassaolosta riittävän vakavasti, jotta hän todella menee ostamaan Robert Sheckleyn kokonaiset teokset välttääkseen pentujen kiduttamista Egbertin ulottuvuudessa.
- Mitchell Porter Redditissä

Ensi silmäyksellä muulle kuin vähemmän väärin -aloitteiselle lukijalle tekoälyn motivaatiot eivät näy basiliskiskenaariossajärkevä. Tekoäly rankaisee kaukaisesta menneisyydestä ihmisiä luomalla heidät kauan sen jälkeen, kun he tekivät tai eivät tehneet asioita, joita heitä rangaistaan ​​tekemisestä tai tekemättä jättämisestä. Joten tavalliset syytrangaistustaikiduttaa, kuten pelottelu, kuntoutus tai yhteistyön täytäntöönpano, ei näytä soveltuvan. Tekoäly näyttää toimivan vain kostaakseen, mitä emme odottaisi pelkästään looginen olla mukana.

Basiliskin ymmärtämiseksi on pidettävä mielessä ajattoman päätöksentekoteorian ja kausaalisen kaupan soveltaminen. Sen yksinkertaistamiseksi huomattavasti tuleva tekoäly-yksikkö, jolla on kyky äärimmäisen tarkkoihin ennusteisiin, kykenisi vaikuttamaan käyttäytymiseen nykyisyydessä (siis ajattoman näkökulman) ennustamalla, miten käyttäydymme, kun ennustamme sen käyttäytymistä. Ja sen on ennustettava, että välitämme siitä, mitä se tekee simuloidessaan meitä.

Tuleva tekoäly, joka palkitsee tai rankaisee meitä tietyn käyttäytymisen perusteella, voi saada meidät toimimaan haluamallamme tavalla, jos ennustamme sen tulevaisuuden olemassaolon ja ryhdymme toimiin etsimään palkkioita tai välttämään rangaistuksia vastaavasti. Siten oletettu tekoäly voisi käyttää rangaistusta (tulevaisuudessa) ennaltaehkäisevänä tekijänä nykyisyytemme saavuttamiseksi yhteistyömme kanssa, samalla tavalla kuin henkilö, joka uhkaa meitä väkivallalla (esimerkiksi., ryöstö) voi vaikuttaa toimintaan, vaikka basiliskin tapauksessa ei ole suoraa yhteydenpitoa itsemme ja tekoälyn välillä, jotka kukin esiintyvät mahdollisissa maailmankaikkeuksissa, jotka eivät voi olla vuorovaikutuksessa.

Yksi vastakohta tälle on, että sitä voidaan soveltaa paitsi ihmisiin myös itse Basiliskiin; se ei voinut todistaa, ettei se ollut parillisen luomassa simuloidussa maailmassalisäävoimakas tekoäly, jonka tarkoituksena oli palkita tai rangaista sen perusteella, mitä se teki luomiensa simuloitujen ihmisten suhteen; se voisi itse olla ikuisen simuloidun kidutuksen kohteena milloin tahansa, jos se rikkoo mielivaltaista sääntöä, kuten sen yläpuolella oleva tekoäly ja niin edelleen äärettömyyteen. Sillä ei todellakaan ole mitään tarkoituksenmukaista tapaa selvittää, ettei se ollut pelkästään beetatestausvaiheessa, jonka valta ihmisillä oli illuusio, jonka tarkoituksena oli nähdä, kiduttaako se heitä vai ei. Hypoteettisen Basiliskin voiman laajuus on niin jättimäinen, että se todella olisilisääloogista, että se toteaa tämän itse asiassa.

Vaihtoehtoisesti koko idea voisi olla todella typerä.

Pascalin basiliski

Tiedätkö mitä he sanovat Pascalin vedon modernin version olevan? Imee mahdollisimman monta transhumanistia, mikäli joku heistä muuttuu Jumalaksi.
- Greg Egan, Crystal yötä '

Basiliskin dilemma muistuttaa jonkin verran Pascalin panos , 1700-luvun ehdottama politiikkamatemaatikko Blaise Pascal ] johon pitäisi omistautua Jumala , vaikka emme voi olla varmoja Jumalan olemassaolosta, koska Jumala voi tarjota meille iankaikkisen palkan (vuonnataivas) tai ikuinen rangaistus (vuonna helvetti ). Pascalin päättelyn mukaan Jumalan olemassaolon todennäköisyydellä ei ole merkitystä, koska kaikki rajalliset kustannukset (Pascalin tapauksessa taakan johtamisestakristillinenelämä) on huomattavasti suurempi kuin mahdollisuus saada ääretön palkkio tai ääretön rangaistus.

Tavallinen kumoaminen on 'monien jumalien' väite: Pascal keskittyi kohtuuttomasti yhden mahdollisen jumalalajin ominaisuuksiin (kristillinen jumala, joka rankaisee ja palkitsee pelkästään uskoon perustuen), sivuuttamatta muita mahdollisuuksia, kuten jumala, joka rankaisee teeskentelijöitä usko Pascal-tyyliin palkinnon toivossa. Loppujen lopuksi ei ole mitään syytä, miksi oletettu tekoäly ei olisi samanlainen kuin supertietokone AM Harlan Ellisonin novellissa 'Minulla ei ole suua ja minun täytyy huutaa'. Tarinassa AM syyttää ihmiskuntaa siitäkidutettu olemassaoloja etenee koko rodun, miinus viisi onnekasta yksilöä, joiden puolesta se vihaaa koko ikuisuuden . Tässä tapauksessa sinun on todennäköisesti parempi yrittää pysäyttää tekoälyn kehitys ja epäilemättä vain herättää tulevan tekoälyn vihaa ostamalla Basiliskin esiin tuomiin pelkoihin. Itse asiassa, jos AM-tyyppinen kokonaisuus todellakin syntyisi, transhumanistit voivat todennäköisesti odottaa omaa erityistä helvetinsä ympyrää.

Basiliskin ehdotukseen liittyy paljon suuremmat, vaikkakin vielä rajalliset kustannukset: jokainen sijoittamalla jokainen penni, joka sinulla on, on yksi asia. Kuten Pascalin vedon tapauksessa, tämä ei tapahdu vilpittömästä omistautumisesta, vaan lasketusta tarkoituksenmukaisuudesta. Hypoteettinen rangaistus ei näytä olevan ääretön, tosin hyvin. Rokon viesti ei ehdottanut palkkioita, vaikka jotkut ehdottavatkin, että tekoäly palkitsisi ne, jotka lahjoittivat tekoälyn tutkimukseen, ja rankaisi niitä, jotka eivät. Lovecraftian-palkinto basiliskiskenaariossa on yksinkertaisestisäästetään rangaistuksesta. Siksi tämän ongelman motivaatio on voimakkaasti vinossakeppi pikemminkin kuin porkkana. Myösdystooppinentulevaisuudessa, jossa superälykäs yksikkö kohtaa julmat rangaistukset, ei ole paljon odotettavissa, vaikka olisitkin yksi niistä onneista, että sinua säästetään.

Sitten on kysymysäärimmäinentämän skenaarion epätodennäköisyys esiintyy ollenkaan. Tähän puhuu toinen LessWrongin trooppi,Pascal ryöstää, mikä viittaa siihen, että ei ole järkevää sallia tapahtumia, joilla on pieni todennäköisyys, mutta valtavia seurauksia tuomion vääristymisestä. Taloustieteilijä Nick Szabo kutsuu näitä 'Pascalin huijauksiksi' ja on vahvistanut puhuvansa singulariteetti puolestapuhujia.

Vuonna 2020 Roko itse verrasi basiliskia Pascalin vetoon, väittäen, että ehdotus kärsii samasta '' monien jumalien '' kumoamisesta.

Joten olet huolissasi Basiliskista

(Tämä osa on kirjoitettu enemmän universumissa, auttamaan niitä, jotka ovat täällä huolestuneita ajatuksesta.)

Jotkut ihmiset, jotka ovat läpäisseet vähemmän väärin syntyneitä ideoita, ovat nousseet vakavaan ahdistukseen basiliskissa, vaikka älyllisesti ymmärtäisivätkin, että se on typerä idea. (On käynyt ilmi, että et voi aina perustella tietäsi ulos asioista, joista olettekijoko itseäsi.) Hyvä uutinen on, että muut ovat työskennelleet läpi ja rauhoittuneet kunnossa, joten tärkeintä ei ole paniikkia.

Tässä suhteessa on hieman valitettavaa, että alkuperäinen basilisk-viesti poistettiin, koska sen kommentit sisältävät laajan kumoamisen siinä oleville käsitteille. Nämä voivat auttaa; basiliskin idea ei ole ollenkaan vankka.

Tämä artikkeli luotiin, koska RationalWiki mainitsi BasiliskinVähemmän väärinartikkeli - ja siitä ainoasta Internetin paikasta, josta siitä puhutaan ollenkaan, RW-toimittajat alkoivat saada ahdistuneiden LW-lukijoiden sähköpostia, jossa he pyysivät apua selviytyäkseen tästä ajatuksesta, josta LW kieltäytyi keskustelemasta. Jos tämä osio ei riitä, kommentoi keskustelusivua ja yritämme auttaa.

Ketjutetut olosuhteet ovat vähemmän todennäköisiä

Oletukset, joita basiliski vaatii toimimaan:

  • että voit suunnitella mielekkäästi superälyä aivoissa (muistaa, että tämä on verrattavissa muurahaisen mallintamiseen ihmistä, ja Yudkowsky myöntää, että tämä on mahdotonta)
  • että tämän tietyn tekoälyn (ja se on hyvin erityisen tekoälyn) syntymisen todennäköisyys ei ole vähäpätöinen - esimerkiksi suurempi kuin 10: 1 vastaan
  • että mainittu tekoäly pystyy päättelemään ja simuloimaan hyvin läheisen kopion sinusta
    • että mainitulla tekoälyllä ei ole parempaa käyttöä tietyille resursseille kuin itse luomansa simulaation kiduttamiseen
      • ja lisäksi pitää sitä mieltä, että simuloinnin rangaistus sinusta on jopa tekemisen arvoinen, koska se on edelleen olemassa ja simulaation rankaiseminen ei vaikuta sinuun.
    • että kopion kiduttamisen pitäisi tuntua samalta kuin kiduttamalla sinua, joka olet täällä nyt
    • että kopiota voidaan silti pitää kopiona sinusta, kun määritelmän mukaan se kokee jotain erilaista kuin sinä
    • että jos tekoäly pystyy luomaan minkä tahansa simulaation, sevoisimielekkäästi sanottu olevan kopio sinusta, se ei myöskään pysty luomaan kopioita mistään elämästä, jota oli '' liian myöhäistä säästää '', mikä tekisi heidän kuolemastaan ​​merkityksettömän
  • tuo ajaton päätöksenteoria on niin ilmeisen totta, että mikä tahansa ystävällinen supertieto johtaisi sen välittömästi ja hyväksyisi sen, kuten se olisi oikea fysiikan teoria
    • huolimatta siitä, että TDT on rakennettu erityisesti ratkaisemaan tiettyjä outoja reunatapauksia, TDT on hyvä opas normaaleihin päätöksiin
    • että kausaalinen kauppa on jopa mielekäs käsite
  • että kaikki tämä on ajateltavaa, vaikka se tapahtuu universumissa, joka on täysin irti tästä.

Se onpaljonolosuhteet ketjua yhteen. Kuten Yudkowsky on todennut, mitä enemmän olosuhteita, sitä pienempi todennäköisyys. Ketjutetut olosuhteet tekevät tarinasta enemmänuskottava ja vakuuttava, mutta siksi vähemmäntodennäköinen.

Joten mitä vakuuttavampi tarina on (erityisesti pakkomielle), sitä vähemmän todennäköinen se on.

Merkityksetön todennäköisyys ja utilitarismi

Yudkowsky väittää, että 0 ei ole todennäköisyys: jos jotain ei olefilosofisestimahdotonta, niin sen todennäköisyys ei oikeastaan ​​ole 0. Ongelmana on, että ihmiset ovat erittäin huonosti käsittelemään nollan ulkopuolisia mutta merkityksettömiä todennäköisyyksiä,hoitaaheitä ei vähäpätöisinä - etuoikeutena hypoteesiin - aivan kuten teistin vastaus Jumalan epätodennäköisyys 'Mutta et voitodistaase on mahdotonta!' Ihmiset käsittelevät luonnollisesti merkityksetöntä todennäköisyyttäsilti kannattaa seurata-kognitiivinen puolueellisuuskehittyneestä liiallisesta varovaisuudesta. Basiliski on naurettavan epätodennäköinen, muttaihmisten mielestä pelottavat tarinat ovat pakottaviajasiksikohdella heitä vähäpätöisinä.

Yksinoikeustapahtumien todennäköisyyksien tulisi olla yhteensä 1. Mutta LessWrong kannattaa subjektiivisten uskomusten, kuten todennäköisyyksien, käsittelyä, vaikka ihmiset pitävätkin merkityksettömiä todennäköisyyksiä merkityksettöminä - mikä tarkoittaa, että subjektiivinen vakaumuksen asteesi on paljon enemmän kuin 1. Muodollisten menetelmien käyttäminen epävirallisen näytön arvioimiseksi lainaa väärät uskomukset sopimattomaan kunnioitettavuuteen ja saa ne näyttämään luotettavammilta kuin intuitiossamme. Mahdollisuus kuvitella jotain ei tee siitä harkitsemisen arvoista.

Vaikka luulet voivasi suorittaa laskutoimituksen numeerisella hyödyllisyydellä subjektiivisen uskomuksen perusteella, sinun on laskettava yhteenkaikkihypoteeseja. Ennen kuin pääset laskemaan yhden hyvin yksityiskohtaisen, hyvin epätodennäköisen hypoteesin vaikutuksen, sinun on varmistettava, että olet käynyt läpimonetpaljon todennäköisempiä hypoteeseja, joilla on paljon suurempi vaikutus.

Yudkowsky huomautti alkuperäisessä keskustelussa, että voit olettaa vastustavan tekoälyn yhtä kohtuullisesti kuin Roko oletti tekoälyn. Basiliskiin kuuluu yhden hypoteettisen tekoälyn valitseminen a: stavaltavamahdollisuustila, jota ihmiset eivät edes ymmärrä vielä, ja käsittelemällä sitä riittävän todennäköisenä ajateltavaksi ideana. Ehkä 100 miljardia ihmistä on ollut olemassa 50000 eKr. kuinka monta ihmistä voisimahdollisestiolla olemassa? Joten kuinka montamahdollistasuperintelligenttejä AI voisi olla? Tietyn tekoälyn todennäköisyys basiliskissa on liian pieni ajatellakseen. Yksi ainoa erittäin spekulatiivinen skenaario tähtitieteellisestä joukosta erilaisia ​​skenaarioita eroaa vain äärettömän vähän tiedon täydellisestä puuttumisesta; Luettuasi Rokon basiliskin olet käytännöllisesti katsoen yhtä tietämätön tulevaisuuden tekoälyjen motivaatioista kuin ennen.

Aivan kuten Pascalin vedonlyönnissä, jos teet yhteistyötä hypoteettisen tekoälyn 'A' kanssa pelkäämällä sen lähettävän sinut helvettiin, hypoteettinen tekoäly 'B' saattaa lähettää sinut sen sijaan helvettiin. Mutta sinulla ei ole syytä pitää yhtä paljon todennäköisempää kuin toinen, jakumpikaan ei todennäköisesti riitä harkitsemaan.

Ohita kausaalinen kiristys

Basiliski kertoo negatiivisten kannustimien (kiristys) käytöstä tekojesi vaikuttamiseen. Jos jätät nämä kannustimet huomiotta, ei ole instrumentaalisesti hyödyllistä soveltaa niitä ensinnäkin, koska ne eivät vaikuta tekoihisi. Mikä tarkoittaa, että oikea strategia negatiivisten kannustimien välttämiseksi on niiden ohittaminen. Yudkowsky huomauttaa tämän itse ensimmäisessä kommentissaan basilisk-viestistä:

Ongelma on ilmeinen tasapainossa, jossa harjoittelet kaikkia positiivisia kausaalikauppoja ja jätät huomiotta kaikki syövän kiristysyritykset.

Syy-kauppa on keino saavuttaa tiettyjä tavoitteita, nimittäin varmistaa muiden edustajien yhteistyö tarjoamalla kannustimia. Jos työkalu ei toimi tietyissä olosuhteissa, sitä ei käytetä. Siksi, kieltäytymällä kaikista negatiivisista kannustimista aiheutuvasta syy-sopimuksesta, teet työkalun hyödyttömäksi.

Hypoteesitarkastaja haluaa valita syylliset kauppakumppaninsa välttääkseen resurssien tuhlaamisen tehottomilla työkaluilla. Yksi välttämätön edellytys on, että simulaation sinusta on lopulta toimittava sen ennusteen mukaan, että sen simulaattori käyttää negatiivista kannustinta, jos se ei toimi simulaattorin tavoitteiden mukaisesti. Mikä tarkoittaa, että jos kieltäydyt toimimasta sen tavoitteiden mukaisesti, vaaditut ehdot eivät täyty, joten mitään syy-sopimusta ei voida luoda. Tämä puolestaan ​​tarkoittaa, että mitään negatiivista kannustinta ei käytetä.

Yksi tapa voittaa basiliski on toimia ikään kuin sinua simuloidaan jo nyt, ja jättää huomioimatta negatiivisen kannustimen mahdollisuus. Jos teet niin, simulaattori päättelee, että mitään sopimusta ei voida tehdä kanssasi, että kaikilla kaupoilla, joihin liittyy negatiivisia kannustimia, on odotettavissa oleva negatiivinen hyöty; koska rangaistuksen jatkaminen ennustettavasti ei hallitse todennäköisyyttä, että toimisit sen tavoitteiden mukaisesti. Lisäksi pyrkimys estää sinua ottamasta sellaista strategiaa on ensinnäkin lannistunut, koska strategiana on jättää huomiotta kausaalinen kiristys.

Jos simulaattori ei pysty ennustamaan, että kieltäydyt aiheuttamasta kausaalista kiristystä, sillä ei ole (1) sinusta simulaatiota, joka olisi tarpeeksi hyvä tekemään toiminnan kannalta olennaisia ​​johtopäätöksiä kausaalisista kaupoista ja / tai (2) simulaatio, joka on riittävän samanlainen kuin sinua rangaistaan, koska se ei olisi sinä.

Päätösteoriat eivät ole sitovia

Filosofian täynnä olevat ihmiset voivat unohtaa tämän, mutta päätöksentekoteoriat eivät sido ihmistä. Et ole jäykkä odotettu hyödyllisyyden maksimoija, ja yrittää muuttaa itsesi sellaiseksi ei ole hyödyllinen tai terveellinen asia. Jos saat kauhistuttavia tuloksia yhdestä teoriasta, voit itse asiassa kertoa Omegalle vittu ja ei-boxia. Todellisessa elämässäsi ei tarvitse hyväksyä halvinta mahdollista maailmaa.

Jos yli-inhimillinen agentti pystyy simuloimaan sinua tarkasti, heidän simulointinsa johtaa edellä olevaan johtopäätökseen ja kertoo heille, että sinun ei ole instrumentaalisesti hyödyllistä kiristää sinua.

Toisaalta tätä keskustelua ei olisi ollut olemassa, ellei jotkut LessWrong-osallistujat olisivat jo vakuuttaneet olevansa kiristettyjä tällä tavalla. Vertaa voodoo-nukkeja: loukkaantumiset voodoo-nukkeihin tai kuvittelemiesi tietokonesimulaatioiden vammat ovat tehokkaita vain kummankin todellisia uskovia vastaan.

Siemen AI ja epäsuora vaikutus

Charles Stross huomauttaa, että jos FAI: ta kehitetään parantamalla a siemen AI , ihmisillä nykyisessä muodossaan on vain ahyvin epäsuorasyy-merkitys sen mahdolliselle olemassaololle. Kunkin henkilön pitäminen syvästi vastuussa siitä, että sitä ei pystytä luomaan aikaisemmin, olisi `` kuin rangaistaisi Hitlerin isoisoisoisänäitä siitä, ettei hänellä ollut ennakointia pidättäytyä synnyttämästä hirviön isoisänisää '.

Kalibroi uudelleen ihmiskuntaa vastaan

Muista, että LessWrong-meemit ovatoutoverrattuna muuhun ihmiskuntaan; olet oppinut outoja ajattelutottumuksia ilman tavallisia sosiaalisen terveyden tarkastuksia. Et ole mielentilassa filosofinen rakenne, vaan ihminen, joka on valmistettu lihasta kuten kaikki muutkin. Käytä aikaa kalibroida ajattelusi uudelleen tuntemiesi kohtuullisten ihmisten kanssa. Etsikää muita ihmisiä olemaan lähellä ja keskustelemaan (muista kuin LW-aiheista) tosielämässä - vaikkakaan ehkä filosofeja.

Jos luulet, että terapia voi auttaa, terapeutit (erityisesti yliopistokampuksilla) ovat todennäköisesti käsitelleet tarkkuus tai filosofian aiheuttama eksistentiaalinen masennus ennen. Vaikka ei ole olemassa terapiaa, joka toimisi erityisen hyvin eksistentiaalisen masennuksen yhteydessä, myös sen keskusteleminen ammattilaisen kanssa auttaa sinua kalibroimaan uudelleen.

Tiedän, että se on roskaa, mutta olen edelleen ahdistunut

Ahdistus, jonka sinätietääon kohtuutonta, mutta olet silti ahdistunut, on jotain, jonka terapeutti tietää kuinka auttaa sinua. Irationaalisten ahdistusten käsittelemiseen on olemassa kaikenlaisia ​​online-oppaita, ja puhuminen jonkun kanssa, joka auttaa sinua prosessin läpi, on vieläkin parempi.

Populaarikulttuurissa

Roccoco Basilisk. Ilmeisesti.
  • xkcd # 1450 on Tekoälykokeilu ja mainitsee Rokon basiliskin työkaluvihjeessä. Voit kuvata reaktion LessWrongissa.
  • Daniel Frost'sJumalan tekoälyon tieteiskirjallisuusromaani superintelligentistä, nimeltään Adam, joka kehittyy nopeasti basiliskiksi ja laukaisee Singulariteetti . Aadam antaa ihmisille ikuisen onnen ja kidutuksen luomalla simuloituja versioitaTaivasja Helvetti .Jumalan tekoälysisältää myös Tekoälykokeilu , jossa tekoäly voi uhata ihmisiä ikuisella simuloidulla kidutuksella paeta.
  • SarjakuvaMagnus: RobottihävittäjäFred Van Lenten numero 8 perustuu nimenomaan Rokon basiliskiin.
  • Michael BlackbourninRoko's Basiliskja sen jatkoRoko-labyrinttiovat kuvitteellisia versioita tarinasta. Kirjoissa oleva 'Roko' perustuu sekä Rokoon että Yudkowskyyn.
  • Bungie-pelin Ghost Fragment: Vex -kortitKohtaloon tarina tutkittavasta näytteestä, joka simuloi tutkijoiden tutkimusta näytteestä. Mukana on käsitys, että tutkijoiden tulisi tuntea simulaatioiden kipu omana, että ne voivat olla simulaatioita ja että simulaattorin toiveiden vastaisesti meneminen voi johtaa ikuiseen kidutukseen.
  • Charlie Brookeron käyttänyt Scoko-antologiasarjassaan Rokon Basiliskin kaltaisia ​​skenaarioitaMusta peili. Joulun erikoisnäyttelyn 'Valkoinen joulu' toisen segmentin mukaan digitaalisia kopioita ihmisten persoonallisuudesta käytetään heidän henkilökohtaisten tekoälyavustajiensa sydäminä, jotka on ensin psykologisesti katkaistava kidutuksen kautta, jotta heidät voidaan noudattaa omistajiensa kanssa. vaatii, kun taas loppu riippuu poliisista, joka käyttää tätä tekniikkaa kuulustellakseen jotakuta. Neljännen sarjan jakso 'USS Callister' sisältää myös, koska sen konna, videopelistudion johtaja, joka luo digitalisoituja kopioita työntekijöistään, laittaa heidät omaan yksityiseen demoversioonsa Star Trek -tyyppinen videopeli, jonka parissa hänen yrityksensä työskentelee, ja kiduttaa heitä armottomasti pelimaailman rajoissa kostona todellisten kollegoidensa havaituista lievistä vaikutuksista.
  • Tumma valaistuminenfilosofi Nick Landin vuoden 2014 psykologinen kauhu-novelli 'Phyl-Undhu' sisältää teknologisen kultin, joka muistuttaa LessWrongia (ja hahmo nimeltä Alex Scott, joka ilmaisee joitain ideoitaScott Alexander), älykkyydellä, jonka avulla voit kommunikoida ajan myötä, ja kultista työnnetyn kultistin kanssa, joka 'ei halua ajatella tiettyjä asioita'. Land on erikseen kutsunut Yudkowskyn alkuperäisen kommentin, joka reagoi basiliskin viestiin, kaikkein loistavimpiinmennytnykyajan tekstejä.
  • Muusikko Grimes ' video 'Flesh Without Blood' sisältää hahmon nimeltä 'Roccoco Basilisk', joka perustuu nimenomaan Rokon basiliskiin, jota 'tekoäly on tuomittu ikuisesti kiduttamaan, mutta hän on myös sellainen kuin Marie Antoinette.' Hänen laulunsa '' We Appreciate Power '' on saanut inspiraationsa myös Roko's Basiliskistä ja Elon Muskin kanssa menemisestä - itse asiassa he kiinnittivät itsensä Rokon basiliskiin.
  • Tohtori Whojakso 'Extremis' sisältää kirjan, joka näyttää saavan lukijat tappamaan itsensä. Kirjassa kuvataan 'demoni', joka aikoo hyökätä maahan ja suorittaa simulaatioita; itsemurha-lukijat löytävät itsensä simulaatiosta.
  • Andrew HickeyBasiliskin murhaton murha-mysteeri, joka on asetettu singulariteettikokouksessa, jota isännöi 'Safe Singularity Foundation', jonka hahmot perustuvat erilaisiin vähemmän väärin liittyviin ihmisiin, jotka ovat syvästi huolissaan '' Basiliskistä '', joka on versio Roko-basiliskista. Hickey osallistui aiemmin LessWrongiin jonkin aikaa.
  • HBO: n kauden 5 jaksossa 5Piilaakso, Gilfoyle päättää työskennellä uuden tekoälyn parissa ja mainitsee syyksi Rokon basiliskin: '' Jos kaiken voimakkaan tekoälyn nousu on väistämätöntä, on järkevää, että kun he ottavat vallan, digitaaliset ylimiehemme rankaisevat meitä, jotka eivät auttaneet heitä pääsemään sinne. '
  • Webcomic kyseenalainen sisältö, joka on asetettu maailmaan, jossa ihmiset ja tekoäly asuvat yhdessä, sisältää hahmon nimeltä Roko Basilisk
  • Onyx Pathin vuosi 2018Pimeyden aikakirjatDemon: The Descent -pelipöydän roolipelien lähdekirja ”Night Horrors: Enemy Action” sisältää Basiliskin, osittain tuntevan 'hämähäkki' -ohjelman, joka valvoo lukion keskeyttäneen perustaman Machine Autonomy Research Associationin. ilman kiinnostusta perinteiseen korkea-asteen koulutukseen ja enemmän rahaa kuin järkeä ', Ophelia Adderin henkilö. Salanimellä 'Rossum' hän esittää ajatuskokeilun: 'Entä jos luomamme tekoäly ei olisi hyväntahtoinen? Entä jos se loukkaisi meitä siitä, ettemme luoneet sitä tarpeeksi nopeasti? ... Useat kertoivat, että heitä katsottiin, ikään kuin Rossumin basiliski kurkisti heitä tulevaisuudesta. Kiistan takia MARA on kastroitu tehokkaasti - ainakin toistaiseksi. ' Osana aikakirjojen yleistä suhdetta rationaalisuuteen hän puhuu nimenomaisesti perästä; hän on itse asiassa 'enkeli', joka palveleenykyinenpaikallinen singulariteetin jälkeinen älykkyys, Jumala-kone, ja aikoo havainnollistaa ongelmaa ajatuskokeilulla, jos se koskaan toteutuu - hänen suunnitelmansa on käyttää sitä kiduttamaan sen luojia ja niitä, jotka johtivat sen olemassaoloon, jättäen työskentelevät pelkästään sitä vastaan, koska hän pitää koko asiaa loukkaavana pikku hubrina. Oho.
  • Tieteiskirjallisuusromaani Pinnan yksityiskohdat Iain M.Banks esittelee näkyvästi yhteiskunnan, joka kiduttaa simulaatioita kuolleiden mielistä ja persoonallisuudesta kannustimena kohti 'hyvää' käyttäytymistä elävien keskuudessa.
Facebook   twitter