Čestmír Strakatý: Kulveit: Umělá inteligence je nebezpečí, už jí nerozumíme. Covid reálně mohl uniknout z laboratoře
Čestmír Strakatý 3/30/23 - Episode Page - 30m - PDF Transcript
Tady je Čestmír strakatý, vítejte u dalšího dílu mého podkástu.
Mnes je mým hostem Jan Kulvajt, odborník na kompleksní rezika působící na Institutu Budoucnosti Lidstva v Oxfordu.
Čekám to správně.
No a nový je hlavně na Karlově Univerzitě, na Centru pro teoretická studia, kde máme točka nový výzkumnou skupinu, která se tady těmo témo to mohli zabijovat, takže v Praze.
Nově na Karlově Univerzitě, vítám vás, dobrý den.
Vyste se poměrně intensivně vynoval kovidu a jeho refleksy, bylste mimo jiné spolu autorem.
Vím, že je jenom části takové té tabulky PES, která tedy chvíli formovala opatření vlády, ale mozlouho ne.
Bylste jen z vědců, kterým se tedy relativně hodně nasluchalo, minimálně část, řekněme v hřínosti, jim nasluchala.
Teď si vynojete umělé inteligenci a mě napadá, jestli ten kovid, co se týče nějakých globálních problémů a rizik pro budoucnost, nebyl jenom takový pěna dní, zahrívací, nevím, kolo, vlastně nic.
A ta opravdová rizika, ta opravdová témata přicházejí až třeba s tu umělou inteligencí.
Jo, je to tak. Tak vlastně ta FHA, ta instituce, který jsem pracal posledních asi 4-5 let, už to je skoro.
V Oxfordu tak se zabývá, tak našim primárním tématem jsou jako egzistenční rizika, čli vůbec nějaký největší rizika, který dělictvů hrozí.
Z tohohle toho pohledu, tak kovid určitě takovým rizikem nebyl, ale na druhou stranu, mezi těmi rizikami je nějaká plinulá škála,
potenciálně obrovským rizikem pro lidstvo jsou pandemii, který by byli mnohem horši dneš kovid,
ale samozřejmě spoustat tý reakce, toho státu a lidí a tak jako je, může být podobná mezi těma pandemiama.
Takže z tohohle toho pohledu to, já jsem se víc zabýval jiným a globálním rizikom, a je to uměl inteligencí před kovidem,
a když v lednu 2020 nebo 2021 začalo byť jasný, že jako kovid bude velký problém,
tak jsem musel uděl, že je to něco, co je jako zároveň, jako poměrně dost problém jsem osoby a zároveň to je, ale jako docela,
jak říkáte, tak je to takový, takové jako malá ukázka nějakých větších rizik.
Když říkáte, že vlastně velké riziko pro lidstvu můžou být pandemie obecně,
nenud někovid, ale nějaké další pandemie, tak možná, že to všechny ty reakci a to, jak vlastně lidé na to reagovali
a jaké poučínci z toho vzalina možná ukazuje, jak jsme připraveni na další pandemie nebo nepřipraveni.
No to je pravda, to není úplně optimistický, závěr. Jedna z věcí, které já z toho covidu mě přijde se celkem jednoznačně
jako pliné, že lidstvo třeba nedokáže regulovat dobře tak zvonej gain of function výskum,
což jako výskum, který číní různí patogeny, třeba věry, tak je číní nějakým způsobem nevezpečnější, že třeba pro běhlej pokusi
třeba něco, co se neumíší říct mezi lidma, tak jak se to dá modifiko, aby se to umělo říct mezi lidma.
No a u toho, u covidu je, že jsem zřejmě jako taková živá občas divoká debata o tom, jestli mohl uniknout z laboratoře nebo ne,
a do čeho bych se nechtěl pustit, ale ten problém je, že vůbec jako takovou debatou,
že to je vůbec jako velmi realná debata, že bezpečnost těch laboratoří je taková,
že bez ohledu na to jestli jako uniknost tý laboratoře nebo ne, tak je to jako zcela realná možnost,
a ty uniky patogenů z těch laboratoří se jako dělají, nebo číní, nebo stávají spíš,
ne že by je někdo vypouštěl, ale že se neumí tě laboratoře za bezpečit, tak dobře.
A zároveň se podnikají poměrně riskantní experimenty.
No a podle mě jako jedno ze zjevních poučení s covidu mohlo být, že jako tady někty typy toho výzkou můby měli být mnohem regulovaníší.
A jako reakcelitstva v tom je taková opatrná a spíš nejerekvátí.
Čilej, ono se teď o tom znovu hodně mluví.
Znovu se teď o tom hodně mluví v soběslosti s tím, že americké úřady přišli s informací,
že podle jejich informací covid právě byl nějakým způsobem tím gain of function výzkumem vytvořen v čínské laboratoři
a tam osud nějakým způsobem unikl nebo a tak dále.
Tohle je podle vás hypotéza, která je realistická, pravdivá možná,
a možná ukazuje na to, že tedy ten problém je vlastně jako hlupší.
Já myslím, že ta hypotéza je něco, jako nikdo, kdo nemá nějaký hrozně zvláštní informace
ze vnitř z toho, jak to v té laboratoři fungovala,
tak je to hypotéza, kterou nikdo nemůže jako vyloučit s tostečnou výstotou.
Já bych se jako nedad pouštěl do spekulací,
takže ta hypotéza má jako správná důvěra v tu hypotézu, je prostě 30% nebo 80%,
to je poměrně složitá debata, a my musíme umět 50 z nejistotou,
já jako nevím, jestli kovit unikl z laboratoři s nějakou jako dístotou,
to podle mě umí říct to velmi málo lidí,
ale ta situace, kdy máme tady tu nejistotu,
tak ta sama ukazuje, že máme problém.
Když by jsme podobnou nejistotou trpěli ohledně,
já nevím, třeba hvárí jako jaderný elektráren,
který zabyli mnohem, mnohem, mnohem mnohem mít lidí než kovit,
tak by to lidem připadlo absurdní,
že jako nevíme, jestli když někdo staví jadernou elektrárenu,
takže nevíme třeba na 20%,
jestli z toho nebude nějaká katastrofa.
A vy jste přeštím řekl, že ty uniky patogenu,
čuli ty uniky těch vyrůvů a v jiných látek věcích,
které jsou nějakým způsobem upravené tím genofaktionový skoumem,
se dějí?
Ne, spíš, co se, to ne, to jsou jako dvě trochu,
co historicky se ví, že se děje,
ale dá se prostě normálně najít
poměrně podrobní soupisy,
a spolně to, co se dostalo na veřejnost,
že se uniky patogenu z těch,
jako poměrně přísně hlídanejich
i těch nejí přísnějíc hlídanejich biologických laboratořích.
Takže, jako by se řekne tady,
ta laboratoř má nejvyšší groveň bezpečnosti,
tak to neznamená,
že jsme si jistí,
že s tým laboratořem nic neunikne takovým způsobem,
jako jsme si jistí,
že se nic mi stane z jednou elektrárnou,
ale ta míra týstot je mnohem, mnohem menší.
No a to je jako jedna část z toho problému,
a druhá část z toho problému je ten gain of function výskum,
který se zdá,
že má úplně nesmyslný proporce toho,
jako v čem je ten výskum užitečnej
a v čem jaký jsou ryzika,
že když si na to někdo podíval
z pohledu,
jako jestli ten výskum opravdu potřebujeme,
a ten výskum se často zdůvodňuje
tím, že nám pomáhá
a protože nám pomůže se chránit
proti pandemíním.
A to ryziko,
že ten výskum sam tu pandemii způsobí,
tak ta balanca těch přínosů
a ryzika je úplně nesmyslná,
protože v tý pandemii se ukázalo,
že by nám pomohli,
že co reálně pomáhlo bylo úplně jiné typy výskumu,
například urychlit prostě produkci,
vakcínatestování, vakcína.
Spoustu jiných věcí bylo jako skutečně užitečný,
ale ten,
jako zrovnoten gain of function výskum,
tak ten pro vlastně boj s tou pandemii
užitečnej nebyl.
Když jsme na začátku
změněvali tu umělou inteligenci,
tak čím je
pro vás
na inteligence
a tak jak jítte tady chápeme, co to je pro vás?
Je to jako koncepce
hrnující spoustu věcí,
který v různejch
oblastech
nebo
toho, co dělám,
tak v různejch kontekstech
to slovo má trošku jiné významy,
že pokud se
jako bavím s kolegami
s oborou, tak to
chápání toho jako ai
jako trochu jiné,
než když si nevím prostě
jako
jdu někde
po ulici a na billboard,
kde tam napsáno, že ai nebo,
že máme pračku na ktě,
že má ai, tak
to jako chápu,
že lidi jako umělou inteligenci
jako slovo, nebo jako koncept
takže v různejch
i pro mě to
jako v různejch kontekstech
to má různej významy
tomu rozumím a
ta úroveň
kde se oni bavíte se svými kolegii a tak dále
čili ta asi reálnější úroveň
než to, co máte napsat na pračce
nebo když mi nějaký program říká,
že po mojící uměle inteligenci
opravují obrázky, tak a teď
nemyslím nějaký
něco jednodušího,
to je co
je to riziko, na které se připravujete
je to něco, co vnímáte
jako jak
jo, vnímám to asi především jako technologii
nebo jako nějakou nálepku
pro prostě řadu technologii
který momentálně
momentálně
jako nejpokročile ještí
jsou typicky založení na
strojovým učení
hlubokých, neuronovejich sítích
a
jako velkých,
jako rozsáhlých modelech,
který mají jako hodně parametrů
tak to je
vlastně nejpokročile
nebo nejpůsoby vější
jako
ukázky
toho, co teda uměla inteligence
jako umí, tak jsou
založení na nějaký specifičtější
kombinaci technologii
založení
založení je to
v nějakým měkošerším prostoru
toho, že nutně jako nemusí
v budoucnu
být všechno založení
jako úplně tady na těch technologích
a myslím si, že ta technologie
jako umělí inteligence
že
jako úplně zjebně transformativní
a
a
jako
v něčem je to pravděpodobně
důležitější nebo potenciál
nějakou transformativnější
um
transformativnější technologie
nebo vější změna
než
jako možná než jako cokoliv
než co zatím lidstvo objevilo
víc než pára a podobno
no určitě víc než pára
než se to třeba jako důležitější
důležitější než
než
tak psaň
ne ne
ne ne
ne je opravdu to jako těžký
jako přeceň je to
jako že
no a když říkáte
že to je tak důležitější
že to je tak transformativní
tak to je
proč
jeho z takého
jako hodně širokého pohledu
tak když se podíváte na to proč
jsme jako lidi
a teďka tady 7. studiou
a tady prostě jako v nás
je spůst nějaké vláštní elektroniky
kdež to nám je
relativně geneticky blízký
jako šimpanzi
jsou prostě
ne, až tak daleko
to jako vyhynutí v nějakým jako
ubívajícím množství
v nějakého prostoru
tak je jako patrný
že jako
lidi
nebo lidstvo
jako druh, jako homosapiens
tak prostě jako narazil na nějaký
na něco
co nás odlišuje od spoust
jako jiných druhů
no a teď si můžeme
bavit o tam
co to jako je
nebo jako kombinace
a tady
nám nějakým
jako geneticky docela příbůz mným
jako druhům
tak prostě v některých směrych
jsme inteligentnější
a potom taky
jako že máme kulturu
jsme schopní nějak
si předávat myšlenky
máme jazyk
a tak
jsme schopní uvažovat jako nějakým
způsobom
tak takový jeden pohled
jak se na to dívat je
tak pokud vytváříme
nějaký technologie
který
který se zdá
že mají potenciál část
co
jako lidi učinil
jako unikátně mocnym typem
organizmu
tak
jako to je v těch schopnostech nást
systém
jako můžou překonat
a budou překonávat
a je poměrně
tak mě přijde
že je poměrně jako intuitivně jasné
že to je
že to může být dost velká změna
jakože
máte pocit, že
skutečně
nás můžou překonávat
nebo v jakým ohledu
pocit
v jakým ohledu tedy
jako že v tomhle to pořád je tak
že ten člověk řídí
tu umělou inteligenci
je to tak
ne? to už neplatí?
ne
to je hrozně zmáštný
jakým způsobem
něco
jako rozsáhle jazykový model
třeba jako GPT
tři apugul třeba
nebo tak
jakým způsobem ten model funguje
nebo jakým způsobem ten model vznikne
tak
ten model vznikne tak
že prostě jako
lidi
nějaký z těch
laboratoří který to vyví
tak napíšou jako
učící algoditmus
napíšou předpis
jak se prostě má vytvořit nějaká rozsáhlá neuronová sít
která má prostě
jako miliardy parametrů
a napíšou
nějaký vlastně zadání
jako ulohy na který se ta sít učí
a potom
se to učení spustí na nějakým
prostě
ohromným mleštví
mám nějakých
procesorů vhodných pro tady ten typ
ulohy
a specielně třeba to
ten GPT model
tak se učí na uloze jako predikují
další token
ale dá se představit, že to je třák
slovo nebo slovo
pro zjednovišení by se dalo říct
další slovo, když to tak není technicky
tak
ten systém se jako učí
tady na té uloze
no a
jako ukazuje se
že v průběhu toho učení
tak získává
jako abstractnější
abstractnější schopnosti
že zase je to hodně velký zjednovišení
ale můžete si představit, že třeba
na začátku by se ten
model
naučil jako
hrubě jako memorizovat nějaký věci
tak když třeba by se naučil
že když textuje
jako podcast čestní
tak by se naučil, že to jako dobrý doplnit
jako vaše ménu
a tady to by si jako pamatoval
jako kus informace
no ale
když
se ten model
vyřekně mě jako
setkal s uglama
že se můžete představit aritmetiku
že by se ten model na začátku
zapomatoval
že prostě když je někde napsáno
1 plus 3 rovná se
takže se to mě jako doplnuje 4
zať by takových příkladů
vyděl jako 1000 a 1000
tak se může stát, že se jako naučí
jako by nějaký pravidlého
nějakého hlupší
logiku hlupší struktur do toho
co
jak funguje z čítání
a potom na jednou dokáže
potom na jednou dokáže
doplňovat nejenty příklady
který jako viděl
ale i v podstěku libovolní příklady
takže se ten model naučí
prostě nějaké abstractce
nebo nějaké obecnější spůsoby
jak uvažovat
no a
co se dá
jako si tak intuytivně představit
že v průběhu toho
v průběhu toho
učení něčeho jako gpt3
tak ten model
prostě se na začátku
když se jako učí na těch textech internetu
se na začátku naučí
jako by mělký jednoduchý věc
jestli něco zapomatuje
naučí se jako strukturu věd
nebo si naučí, že
já nevím prostě
nebo něco takového
ale na to, aby dokázal predvěkovat
texty na internetu, tak se postupně
musí toho naučit víc a víc o světě
musí získat jako implicitní
si vytvoří jako implicitní model světa
vytvoří si model světa
ve kterým prostě je informace
že nevím Praha je hlavním městem České
protože ta informace
užitečná pro předpovídání
toho, že když se lidi baví o Českou
a hlavním městě, takže to je Praha a tak
no a
problém je, že tady to
do jaký míry to lidi řítí, tak lidi nastaví
celkvý učicí algoritmus
a potom do toho dodají spoustu
takových jako
vlastně jako by
inženířských, jako věcí
jak tam přesně jako nastavit nějaké parametry
jak
jako celý to jako se stavit
jako dost složitý, aby se to skutečně co naučilo
takže v tom do toho je
spoustu lidských důvtypů
ale ten lidský důvtyp
není to
jako ten lidský důvtyp
není jako, není prejvený
v tom, že bysme jako věděli co se to naučilo
a nebo že bysme jako rozuměli
tomu, co se to naučilo
takže my jako máme nějaký
jako
jako ty miliardy parametru
pustíme nějaký učicí algoritmus
a zítkáme něco
a to něco, když potom to
zase vhodně obalí do nějakýho rozhraň
tak
se toho něčeho v podobě
prostě GPT-40
je jako na nějakou otázku
tak vám jako odpoví
docela
docela dobře často
a
v čem nad tím nemáme kontrolu
už teďka
je, že my jako nerozumíme
co se jako děje uvnitř toho
my tomu rozumíme na úrovni toho, že
víme jak vypadá ten učicí algoritmus
a my jako máme
samozřejmě my samozřejmě máme
jako všechny ty miliardy čísel
ale to není
to není lidský interpretová informace
když vám někdo dá
když vám někdo řekne
že ten model vám řekl
že
nevím, když vám ten model
jako řekl, že takhle po přednímu člověku
by se
líbila
tady ten film, co jsem třeba včera skoušel
tak
by mě někdo mohlo říct
tak to my my mím
přesně víme, proč se to stane
a to proč to přesně víme, že
tady jako probyhl, tady jako miliardy
aritmetických operací
když si jako přepočítáš, tak si ověří
že výsledkem je, že se
prosti dotič takhle pobsení osoby
možná bude líbid pulp fiction
ale to je mě k ničemu, protože
to není
jako lidský interpretovatelná informace
že mám nějakou
tři roky počítal, tak mě
vyjíli jako 17
to mě nepomáha
jako chápat, co se tam děje
a s tím taky jsou
vysít ten problém tý kontroly, že
tím, že my úplně nerozumíme tomu
ani těm vnitnostem
a my ani úplně nerozumíme tomu, co je
jako výsledkem, že
některý kolegové o tom tak jako barvit
a poeticky
a jako říkaj, jako to popisou, takže my jako
vyvoláme něco
vyvoláme prostě nějakou
jako entity, která
prostě zvládne třeba konverzovat
v angličtině
ale už máme
mnohem větší problém, tak třeba nějakým způsobem
jako řidit, jakým způsobem konverzuje
což bylo teď
jako celý svět
zažil prostě masivní
a v medi
jako zaznamenou demonstraci
v případě prostě toho
jako Microsoft těho vyhledávání
a to jako
není tak, že by Microsoft
chtěl, aby ten produk
který zvéřejí těli třeba vyhložoval
uživatelům
nebo jako romanticky sváděl
nebo jim říkal, že jich mám
že vzdním prázdný nebo
nebo jim si takovýho, tak to jako není
jako zadání, který by tomu zadel
ať už
prostě ať už úplnej
nebo Microsoft
nebo
taký člověk, to je prostě nějaký
jako emergentní chování
toho modelu
a vlastně
zpousta lidí by jako bylo
dost rádo, kdyby jsme byli v situaci
kde jako můžeme
nějak vyspečně zajistit, že si něco
takého neděje
že ten model třeba se nebude snažit
ty uživatelé manipulovat
lhátim, vidílete
snažit se jako získat nad níma
kontrol, tak to
s ním dost logicky, že by bylo super
aby jsme jej, který
jako takový
zároveň takový jako tendence
a zároveň takový schopnosti mají
tak aby jsme jako nevypouštili
do světa
ale jako faktem je, že to v současnosti
řidi jako neumíme
takže to je
to je na tom znepokojiví
a znepokojiví
i to, že
vlastně co jsem popisouval, že
v modeli
jakože
v průběhu toho učení
tak prostě emergentně získávaj nejspíš
se učí nějaký
spůsob, jak něco
odhadovat, abstrakci, implicitní modeli
světa
tak za posledních
za poslední léta
se ukazuje, že
tady to
prostě funguje líb, když
jsou ty modeli větší
když jste se podělal na
ČED-KPET-2
který je starý už poměrně dlouho
tak
můj když jsme to viděli
tak jsme zažali asi podobnej
wow-effekt jako teď a řadli
dí kolem
čed-KPET
takže vlastně spousta lidí z oboru
to čed-KPET je zas až tak nepřikvapilo
protože ten
wow-effekt nebo šok se žil
už přišel dávno
ale třeba na tom z nepokojiví
nebo třeba na tom
část problému je, že se zdá
že my umíme získat
silníší technologie
tím, že se te věci
staví jako větší
a není plně jasné kde
se tady ten proces může zastavit
ale
jako GPET-4
který se každý může vyskoušet
tak už teď je prostě v řadě věcí
jako lepší než větší na lidí
protože ten model se dokážilo
složit americký právnícký zkoušky
což já ne dokážu
a nebo dokáže
vlastně psá třeba v něče mi
jako lepší
třeba co si ty čestilu jazyka
tak GPET-4 určitě
jako pracuje s jazykem
třeba vítneš já
i prostě
jako
to, že jsem v tom prostřídí
jako
žil
jako prostě léta
a po řadě těch tématů uvažu v angličně
tak stejně prostě ten model
jako implicitně
jako rozumí něče mohledně
jako lípneš já
ve spoustě věcí ten model
vlastně jako
ve spoustě jako konkrétních směrů
ten model jako by překonává lidi
už teďka
ve spoustě věcí jako je neprekonává
ale
lidi mají často takou
obecně pro všich funguje
že často jako věříme
tomu
co by jsme jako rádi, aby to tak bylo
a to mi příš jako velký
vidním z velkých ryzyk
jako u mělí inteligencie
že jako lidi hrozně rádi věří tomu
že jako na naše myšlení
něco jako hrozně specialního
co
ta jají jako nedokáže
jako by napodobit
nebo co
co jako nám vždycky bude dávat
nějakou prostě
jako strategickou údíhodu nebo tak
no a
ještě paděváte na to co
jako eksperti prostě v mešinléningu
tak co
při ptě lety řadily díry
kala že to jsou prostě problémy
který jsou jako extrémně těžký
a bude to trvat prostě 50 let
než se jako k tomu dostanem
no tak
tak gp t4
jako zvládá
a nezvládá je proto
ne, vlastně
jako nezvládá je proto, že by
za posledních pět let prostě někdo
a měl nějaký
jako
jako by převratný
jako vlastně není to výsledkem nějaký
jako převratný invenci v tom, jak postavit ten model
a je to výsledkem to, že ten model je
mnohem mnohem větší
no a tak to je
to ryzyko, které změnujete
že prostě
vy jste změnil to slovo entity
že jsme jako by vytvořili entity
tak asi asi
je tu nezanedblatelná možnost
nebo my to asi nevíme
že prostě když to bude ještě větší
a ještě větší vy jste změnil
řekl, že to vlastně nevíme jaké to má hranice
takže to prostě skutečně rukáže
být člověkem
ne člověkem, ale být srovnatelné
s člověkem
pokud je to tedy v některých ohledach lepší
já se až tak jako neobávám
toho
já se až tak jako
mě přijde, že třeba otázka
jestli ty systémy
jsou
ve všech ohledach srovnatelných s člověkem
není
z pohledu ryzyka, to není úplně zásední
otázka
úplně stačí, aby ty systémy
byli
nebo mocnější než lidi v nějakých
strategických
jako důležité ich
a tohle je podle vás realna možnost
moc děkují, že jste doposlouchali až jsem
zbyt jak rozhovoru
nejde ty na hero hero.co o Lomeno Čestměny
a uslyšíte v něm třeba tohle
ten systém hlavně může
být jako úplně nelický
může jako optimalizovat něco
nebo si může
snažit o něco, co
sama osoba je neškodný nebo je nám
neselzumitelný
ale jako v nedlejším efekte může
být jako katastrofa
A je tam i nějaký dobrý scénar?
Ta budoucnost
může být jako hodně divoká
Jak to zládneme?
Já jsem optimističnější pohledně
určitě nebo tak
že jako řada kolegů je religiopisimističnější
Máte kolegi, kteří říkají
že to vlastně nemůžeme zvládnout
a že to vymkluní z kontrol a tak dále
je vlastně jenom otázka času
Takže to nemůžeme vůbec zvládnout
to si myslím málo kdo
ale jako řada kolegů má
jako pesimističnější
Máte kolegů, kteří řada kolegů
Machine-generated transcript that may contain inaccuracies.
CELÝ ROZHOVOR DLOUHÝ 72 MIN. NAJDETE JEN NA HTTPS://HEROHERO.CO/CESTMIR
Vědec Jan Kulveit působí roky v Oxfordu a nově taky při Karlově univerzitě. Věnuje se společně s kolegy hrozbám, které pro nás můžou být reálným nebezpečím. Covid, který řešil, pro něj v tomhle ohledu znamenal jen takové zahřívací kolo, protože příchod opravdu fatální pandemie je velmi pravděpodobný. Zároveň ale vše mění umělá inteligence, jejíž rozmach bude pro lidstvo transformativní, což předeslal i na konferenci TEDxNárodní, jejíž letošní ročník nesl podtitulem Future of Humanity. Podle Kulveita nás AI povede směry, které teď dost dobře ani nedokážeme domyslet. Reálných hrozeb je mnoho, například je relativně pravděpodobné, že bude řídit korporace a lidé přestanou „svému“ světu rozumět. Vrátili jsme se ale i k původu covidu, za kterým může stát gain of function výzkum virů. Kulveit velmi zajímavě reflektuje to, proč se stále provádí.