Čestmír Strakatý: Kulveit: Umělá inteligence je nebezpečí, už jí nerozumíme. Covid reálně mohl uniknout z laboratoře

Tady je Čestmír strakatý, vítejte u dalšího dílu mého podkástu.

Mnes je mým hostem Jan Kulvajt, odborník na kompleksní rezika působící na Institutu Budoucnosti Lidstva v Oxfordu.

Čekám to správně.

No a nový je hlavně na Karlově Univerzitě, na Centru pro teoretická studia, kde máme točka nový výzkumnou skupinu, která se tady těmo témo to mohli zabijovat, takže v Praze.

Nově na Karlově Univerzitě, vítám vás, dobrý den.

Vyste se poměrně intensivně vynoval kovidu a jeho refleksy, bylste mimo jiné spolu autorem.

Vím, že je jenom části takové té tabulky PES, která tedy chvíli formovala opatření vlády, ale mozlouho ne.

Bylste jen z vědců, kterým se tedy relativně hodně nasluchalo, minimálně část, řekněme v hřínosti, jim nasluchala.

Teď si vynojete umělé inteligenci a mě napadá, jestli ten kovid, co se týče nějakých globálních problémů a rizik pro budoucnost, nebyl jenom takový pěna dní, zahrívací, nevím, kolo, vlastně nic.

A ta opravdová rizika, ta opravdová témata přicházejí až třeba s tu umělou inteligencí.

Jo, je to tak. Tak vlastně ta FHA, ta instituce, který jsem pracal posledních asi 4-5 let, už to je skoro.

V Oxfordu tak se zabývá, tak našim primárním tématem jsou jako egzistenční rizika, čli vůbec nějaký největší rizika, který dělictvů hrozí.

Z tohohle toho pohledu, tak kovid určitě takovým rizikem nebyl, ale na druhou stranu, mezi těmi rizikami je nějaká plinulá škála,

potenciálně obrovským rizikem pro lidstvo jsou pandemii, který by byli mnohem horši dneš kovid,

ale samozřejmě spoustat tý reakce, toho státu a lidí a tak jako je, může být podobná mezi těma pandemiama.

Takže z tohohle toho pohledu to, já jsem se víc zabýval jiným a globálním rizikom, a je to uměl inteligencí před kovidem,

a když v lednu 2020 nebo 2021 začalo byť jasný, že jako kovid bude velký problém,

tak jsem musel uděl, že je to něco, co je jako zároveň, jako poměrně dost problém jsem osoby a zároveň to je, ale jako docela,

jak říkáte, tak je to takový, takové jako malá ukázka nějakých větších rizik.

Když říkáte, že vlastně velké riziko pro lidstvu můžou být pandemie obecně,

nenud někovid, ale nějaké další pandemie, tak možná, že to všechny ty reakci a to, jak vlastně lidé na to reagovali

a jaké poučínci z toho vzalina možná ukazuje, jak jsme připraveni na další pandemie nebo nepřipraveni.

No to je pravda, to není úplně optimistický, závěr. Jedna z věcí, které já z toho covidu mě přijde se celkem jednoznačně

jako pliné, že lidstvo třeba nedokáže regulovat dobře tak zvonej gain of function výskum,

což jako výskum, který číní různí patogeny, třeba věry, tak je číní nějakým způsobem nevezpečnější, že třeba pro běhlej pokusi

třeba něco, co se neumíší říct mezi lidma, tak jak se to dá modifiko, aby se to umělo říct mezi lidma.

No a u toho, u covidu je, že jsem zřejmě jako taková živá občas divoká debata o tom, jestli mohl uniknout z laboratoře nebo ne,

a do čeho bych se nechtěl pustit, ale ten problém je, že vůbec jako takovou debatou,

že to je vůbec jako velmi realná debata, že bezpečnost těch laboratoří je taková,

že bez ohledu na to jestli jako uniknost tý laboratoře nebo ne, tak je to jako zcela realná možnost,

a ty uniky patogenů z těch laboratoří se jako dělají, nebo číní, nebo stávají spíš,

ne že by je někdo vypouštěl, ale že se neumí tě laboratoře za bezpečit, tak dobře.

A zároveň se podnikají poměrně riskantní experimenty.

No a podle mě jako jedno ze zjevních poučení s covidu mohlo být, že jako tady někty typy toho výzkou můby měli být mnohem regulovaníší.

A jako reakcelitstva v tom je taková opatrná a spíš nejerekvátí.

Čilej, ono se teď o tom znovu hodně mluví.

Znovu se teď o tom hodně mluví v soběslosti s tím, že americké úřady přišli s informací,

že podle jejich informací covid právě byl nějakým způsobem tím gain of function výzkumem vytvořen v čínské laboratoři

a tam osud nějakým způsobem unikl nebo a tak dále.

Tohle je podle vás hypotéza, která je realistická, pravdivá možná,

a možná ukazuje na to, že tedy ten problém je vlastně jako hlupší.

Já myslím, že ta hypotéza je něco, jako nikdo, kdo nemá nějaký hrozně zvláštní informace

ze vnitř z toho, jak to v té laboratoři fungovala,

tak je to hypotéza, kterou nikdo nemůže jako vyloučit s tostečnou výstotou.

Já bych se jako nedad pouštěl do spekulací,

takže ta hypotéza má jako správná důvěra v tu hypotézu, je prostě 30% nebo 80%,

to je poměrně složitá debata, a my musíme umět 50 z nejistotou,

já jako nevím, jestli kovit unikl z laboratoři s nějakou jako dístotou,

to podle mě umí říct to velmi málo lidí,

ale ta situace, kdy máme tady tu nejistotu,

tak ta sama ukazuje, že máme problém.

Když by jsme podobnou nejistotou trpěli ohledně,

já nevím, třeba hvárí jako jaderný elektráren,

který zabyli mnohem, mnohem, mnohem mnohem mít lidí než kovit,

tak by to lidem připadlo absurdní,

že jako nevíme, jestli když někdo staví jadernou elektrárenu,

takže nevíme třeba na 20%,

jestli z toho nebude nějaká katastrofa.

A vy jste přeštím řekl, že ty uniky patogenu,

čuli ty uniky těch vyrůvů a v jiných látek věcích,

které jsou nějakým způsobem upravené tím genofaktionový skoumem,

se dějí?

Ne, spíš, co se, to ne, to jsou jako dvě trochu,

co historicky se ví, že se děje,

ale dá se prostě normálně najít

poměrně podrobní soupisy,

a spolně to, co se dostalo na veřejnost,

že se uniky patogenu z těch,

jako poměrně přísně hlídanejich

i těch nejí přísnějíc hlídanejich biologických laboratořích.

Takže, jako by se řekne tady,

ta laboratoř má nejvyšší groveň bezpečnosti,

tak to neznamená,

že jsme si jistí,

že s tým laboratořem nic neunikne takovým způsobem,

jako jsme si jistí,

že se nic mi stane z jednou elektrárnou,

ale ta míra týstot je mnohem, mnohem menší.

No a to je jako jedna část z toho problému,

a druhá část z toho problému je ten gain of function výskum,

který se zdá,

že má úplně nesmyslný proporce toho,

jako v čem je ten výskum užitečnej

a v čem jaký jsou ryzika,

že když si na to někdo podíval

z pohledu,

jako jestli ten výskum opravdu potřebujeme,

a ten výskum se často zdůvodňuje

tím, že nám pomáhá

a protože nám pomůže se chránit

proti pandemíním.

A to ryziko,

že ten výskum sam tu pandemii způsobí,

tak ta balanca těch přínosů

a ryzika je úplně nesmyslná,

protože v tý pandemii se ukázalo,

že by nám pomohli,

že co reálně pomáhlo bylo úplně jiné typy výskumu,

například urychlit prostě produkci,

vakcínatestování, vakcína.

Spoustu jiných věcí bylo jako skutečně užitečný,

ale ten,

jako zrovnoten gain of function výskum,

tak ten pro vlastně boj s tou pandemii

užitečnej nebyl.

Když jsme na začátku

změněvali tu umělou inteligenci,

tak čím je

pro vás

na inteligence

a tak jak jítte tady chápeme, co to je pro vás?

Je to jako koncepce

hrnující spoustu věcí,

který v různejch

oblastech

nebo

toho, co dělám,

tak v různejch kontekstech

to slovo má trošku jiné významy,

že pokud se

jako bavím s kolegami

s oborou, tak to

chápání toho jako ai

jako trochu jiné,

než když si nevím prostě

jako

jdu někde

po ulici a na billboard,

kde tam napsáno, že ai nebo,

že máme pračku na ktě,

že má ai, tak

to jako chápu,

že lidi jako umělou inteligenci

jako slovo, nebo jako koncept

takže v různejch

i pro mě to

jako v různejch kontekstech

to má různej významy

tomu rozumím a

ta úroveň

kde se oni bavíte se svými kolegii a tak dále

čili ta asi reálnější úroveň

než to, co máte napsat na pračce

nebo když mi nějaký program říká,

že po mojící uměle inteligenci

opravují obrázky, tak a teď

nemyslím nějaký

něco jednodušího,

to je co

je to riziko, na které se připravujete

je to něco, co vnímáte

jako jak

jo, vnímám to asi především jako technologii

nebo jako nějakou nálepku

pro prostě řadu technologii

který momentálně

momentálně

jako nejpokročile ještí

jsou typicky založení na

strojovým učení

hlubokých, neuronovejich sítích

a

jako velkých,

jako rozsáhlých modelech,

který mají jako hodně parametrů

tak to je

vlastně nejpokročile

nebo nejpůsoby vější

jako

ukázky

toho, co teda uměla inteligence

jako umí, tak jsou

založení na nějaký specifičtější

kombinaci technologii

založení

založení je to

v nějakým měkošerším prostoru

toho, že nutně jako nemusí

v budoucnu

být všechno založení

jako úplně tady na těch technologích

a myslím si, že ta technologie

jako umělí inteligence

že

jako úplně zjebně transformativní

a

a

jako

v něčem je to pravděpodobně

důležitější nebo potenciál

nějakou transformativnější

um

transformativnější technologie

nebo vější změna

než

jako možná než jako cokoliv

než co zatím lidstvo objevilo

víc než pára a podobno

no určitě víc než pára

než se to třeba jako důležitější

důležitější než

než

tak psaň

ne ne

ne ne

ne je opravdu to jako těžký

jako přeceň je to

jako že

no a když říkáte

že to je tak důležitější

že to je tak transformativní

tak to je

proč

jeho z takého

jako hodně širokého pohledu

tak když se podíváte na to proč

jsme jako lidi

a teďka tady 7. studiou

a tady prostě jako v nás

je spůst nějaké vláštní elektroniky

kdež to nám je

relativně geneticky blízký

jako šimpanzi

jsou prostě

ne, až tak daleko

to jako vyhynutí v nějakým jako

ubívajícím množství

v nějakého prostoru

tak je jako patrný

že jako

lidi

nebo lidstvo

jako druh, jako homosapiens

tak prostě jako narazil na nějaký

na něco

co nás odlišuje od spoust

jako jiných druhů

no a teď si můžeme

bavit o tam

co to jako je

nebo jako kombinace

a tady

nám nějakým

jako geneticky docela příbůz mným

jako druhům

tak prostě v některých směrych

jsme inteligentnější

a potom taky

jako že máme kulturu

jsme schopní nějak

si předávat myšlenky

máme jazyk

a tak

jsme schopní uvažovat jako nějakým

způsobom

tak takový jeden pohled

jak se na to dívat je

tak pokud vytváříme

nějaký technologie

který

který se zdá

že mají potenciál část

co

jako lidi učinil

jako unikátně mocnym typem

organizmu

tak

jako to je v těch schopnostech nást

systém

jako můžou překonat

a budou překonávat

a je poměrně

tak mě přijde

že je poměrně jako intuitivně jasné

že to je

že to může být dost velká změna

jakože

máte pocit, že

skutečně

nás můžou překonávat

nebo v jakým ohledu

pocit

v jakým ohledu tedy

jako že v tomhle to pořád je tak

že ten člověk řídí

tu umělou inteligenci

je to tak

ne? to už neplatí?

ne

to je hrozně zmáštný

jakým způsobem

něco

jako rozsáhle jazykový model

třeba jako GPT

tři apugul třeba

nebo tak

jakým způsobem ten model funguje

nebo jakým způsobem ten model vznikne

tak

ten model vznikne tak

že prostě jako

lidi

nějaký z těch

laboratoří který to vyví

tak napíšou jako

učící algoditmus

napíšou předpis

jak se prostě má vytvořit nějaká rozsáhlá neuronová sít

která má prostě

jako miliardy parametrů

a napíšou

nějaký vlastně zadání

jako ulohy na který se ta sít učí

a potom

se to učení spustí na nějakým

prostě

ohromným mleštví

mám nějakých

procesorů vhodných pro tady ten typ

ulohy

a specielně třeba to

ten GPT model

tak se učí na uloze jako predikují

další token

ale dá se představit, že to je třák

slovo nebo slovo

pro zjednovišení by se dalo říct

další slovo, když to tak není technicky

tak

ten systém se jako učí

tady na té uloze

no a

jako ukazuje se

že v průběhu toho učení

tak získává

jako abstractnější

abstractnější schopnosti

že zase je to hodně velký zjednovišení

ale můžete si představit, že třeba

na začátku by se ten

model

naučil jako

hrubě jako memorizovat nějaký věci

tak když třeba by se naučil

že když textuje

jako podcast čestní

tak by se naučil, že to jako dobrý doplnit

jako vaše ménu

a tady to by si jako pamatoval

jako kus informace

no ale

když

se ten model

vyřekně mě jako

setkal s uglama

že se můžete představit aritmetiku

že by se ten model na začátku

zapomatoval

že prostě když je někde napsáno

1 plus 3 rovná se

takže se to mě jako doplnuje 4

zať by takových příkladů

vyděl jako 1000 a 1000

tak se může stát, že se jako naučí

jako by nějaký pravidlého

nějakého hlupší

logiku hlupší struktur do toho

co

jak funguje z čítání

a potom na jednou dokáže

potom na jednou dokáže

doplňovat nejenty příklady

který jako viděl

ale i v podstěku libovolní příklady

takže se ten model naučí

prostě nějaké abstractce

nebo nějaké obecnější spůsoby

jak uvažovat

no a

co se dá

jako si tak intuytivně představit

že v průběhu toho

v průběhu toho

učení něčeho jako gpt3

tak ten model

prostě se na začátku

když se jako učí na těch textech internetu

se na začátku naučí

jako by mělký jednoduchý věc

jestli něco zapomatuje

naučí se jako strukturu věd

nebo si naučí, že

já nevím prostě

nebo něco takového

ale na to, aby dokázal predvěkovat

texty na internetu, tak se postupně

musí toho naučit víc a víc o světě

musí získat jako implicitní

si vytvoří jako implicitní model světa

vytvoří si model světa

ve kterým prostě je informace

že nevím Praha je hlavním městem České

protože ta informace

užitečná pro předpovídání

toho, že když se lidi baví o Českou

a hlavním městě, takže to je Praha a tak

no a

problém je, že tady to

do jaký míry to lidi řítí, tak lidi nastaví

celkvý učicí algoritmus

a potom do toho dodají spoustu

takových jako

vlastně jako by

inženířských, jako věcí

jak tam přesně jako nastavit nějaké parametry

jak

jako celý to jako se stavit

jako dost složitý, aby se to skutečně co naučilo

takže v tom do toho je

spoustu lidských důvtypů

ale ten lidský důvtyp

není to

jako ten lidský důvtyp

není jako, není prejvený

v tom, že bysme jako věděli co se to naučilo

a nebo že bysme jako rozuměli

tomu, co se to naučilo

takže my jako máme nějaký

jako

jako ty miliardy parametru

pustíme nějaký učicí algoritmus

a zítkáme něco

a to něco, když potom to

zase vhodně obalí do nějakýho rozhraň

tak

se toho něčeho v podobě

prostě GPT-40

je jako na nějakou otázku

tak vám jako odpoví

docela

docela dobře často

a

v čem nad tím nemáme kontrolu

už teďka

je, že my jako nerozumíme

co se jako děje uvnitř toho

my tomu rozumíme na úrovni toho, že

víme jak vypadá ten učicí algoritmus

a my jako máme

samozřejmě my samozřejmě máme

jako všechny ty miliardy čísel

ale to není

to není lidský interpretová informace

když vám někdo dá

když vám někdo řekne

že ten model vám řekl

že

nevím, když vám ten model

jako řekl, že takhle po přednímu člověku

by se

líbila

tady ten film, co jsem třeba včera skoušel

tak

by mě někdo mohlo říct

tak to my my mím

přesně víme, proč se to stane

a to proč to přesně víme, že

tady jako probyhl, tady jako miliardy

aritmetických operací

když si jako přepočítáš, tak si ověří

že výsledkem je, že se

prosti dotič takhle pobsení osoby

možná bude líbid pulp fiction

ale to je mě k ničemu, protože

to není

jako lidský interpretovatelná informace

že mám nějakou

tři roky počítal, tak mě

vyjíli jako 17

to mě nepomáha

jako chápat, co se tam děje

a s tím taky jsou

vysít ten problém tý kontroly, že

tím, že my úplně nerozumíme tomu

ani těm vnitnostem

a my ani úplně nerozumíme tomu, co je

jako výsledkem, že

některý kolegové o tom tak jako barvit

a poeticky

a jako říkaj, jako to popisou, takže my jako

vyvoláme něco

vyvoláme prostě nějakou

jako entity, která

prostě zvládne třeba konverzovat

v angličtině

ale už máme

mnohem větší problém, tak třeba nějakým způsobem

jako řidit, jakým způsobem konverzuje

což bylo teď

jako celý svět

zažil prostě masivní

a v medi

jako zaznamenou demonstraci

v případě prostě toho

jako Microsoft těho vyhledávání

a to jako

není tak, že by Microsoft

chtěl, aby ten produk

který zvéřejí těli třeba vyhložoval

uživatelům

nebo jako romanticky sváděl

nebo jim říkal, že jich mám

že vzdním prázdný nebo

nebo jim si takovýho, tak to jako není

jako zadání, který by tomu zadel

ať už

prostě ať už úplnej

nebo Microsoft

nebo

taký člověk, to je prostě nějaký

jako emergentní chování

toho modelu

a vlastně

zpousta lidí by jako bylo

dost rádo, kdyby jsme byli v situaci

kde jako můžeme

nějak vyspečně zajistit, že si něco

takého neděje

že ten model třeba se nebude snažit

ty uživatelé manipulovat

lhátim, vidílete

snažit se jako získat nad níma

kontrol, tak to

s ním dost logicky, že by bylo super

aby jsme jej, který

jako takový

zároveň takový jako tendence

a zároveň takový schopnosti mají

tak aby jsme jako nevypouštili

do světa

ale jako faktem je, že to v současnosti

řidi jako neumíme

takže to je

to je na tom znepokojiví

a znepokojiví

i to, že

vlastně co jsem popisouval, že

v modeli

jakože

v průběhu toho učení

tak prostě emergentně získávaj nejspíš

se učí nějaký

spůsob, jak něco

odhadovat, abstrakci, implicitní modeli

světa

tak za posledních

za poslední léta

se ukazuje, že

tady to

prostě funguje líb, když

jsou ty modeli větší

když jste se podělal na

ČED-KPET-2

který je starý už poměrně dlouho

tak

můj když jsme to viděli

tak jsme zažali asi podobnej

wow-effekt jako teď a řadli

dí kolem

čed-KPET

takže vlastně spousta lidí z oboru

to čed-KPET je zas až tak nepřikvapilo

protože ten

wow-effekt nebo šok se žil

už přišel dávno

ale třeba na tom z nepokojiví

nebo třeba na tom

část problému je, že se zdá

že my umíme získat

silníší technologie

tím, že se te věci

staví jako větší

a není plně jasné kde

se tady ten proces může zastavit

ale

jako GPET-4

který se každý může vyskoušet

tak už teď je prostě v řadě věcí

jako lepší než větší na lidí

protože ten model se dokážilo

složit americký právnícký zkoušky

což já ne dokážu

a nebo dokáže

vlastně psá třeba v něče mi

jako lepší

třeba co si ty čestilu jazyka

tak GPET-4 určitě

jako pracuje s jazykem

třeba vítneš já

i prostě

jako

to, že jsem v tom prostřídí

jako

žil

jako prostě léta

a po řadě těch tématů uvažu v angličně

tak stejně prostě ten model

jako implicitně

jako rozumí něče mohledně

jako lípneš já

ve spoustě věcí ten model

vlastně jako

ve spoustě jako konkrétních směrů

ten model jako by překonává lidi

už teďka

ve spoustě věcí jako je neprekonává

ale

lidi mají často takou

obecně pro všich funguje

že často jako věříme

tomu

co by jsme jako rádi, aby to tak bylo

a to mi příš jako velký

vidním z velkých ryzyk

jako u mělí inteligencie

že jako lidi hrozně rádi věří tomu

že jako na naše myšlení

něco jako hrozně specialního

co

ta jají jako nedokáže

jako by napodobit

nebo co

co jako nám vždycky bude dávat

nějakou prostě

jako strategickou údíhodu nebo tak

no a

ještě paděváte na to co

jako eksperti prostě v mešinléningu

tak co

při ptě lety řadily díry

kala že to jsou prostě problémy

který jsou jako extrémně těžký

a bude to trvat prostě 50 let

než se jako k tomu dostanem

no tak

tak gp t4

jako zvládá

a nezvládá je proto

ne, vlastně

jako nezvládá je proto, že by

za posledních pět let prostě někdo

a měl nějaký

jako

jako by převratný

jako vlastně není to výsledkem nějaký

jako převratný invenci v tom, jak postavit ten model

a je to výsledkem to, že ten model je

mnohem mnohem větší

no a tak to je

to ryzyko, které změnujete

že prostě

vy jste změnil to slovo entity

že jsme jako by vytvořili entity

tak asi asi

je tu nezanedblatelná možnost

nebo my to asi nevíme

že prostě když to bude ještě větší

a ještě větší vy jste změnil

řekl, že to vlastně nevíme jaké to má hranice

takže to prostě skutečně rukáže

být člověkem

ne člověkem, ale být srovnatelné

s člověkem

pokud je to tedy v některých ohledach lepší

já se až tak jako neobávám

toho

já se až tak jako

mě přijde, že třeba otázka

jestli ty systémy

jsou

ve všech ohledach srovnatelných s člověkem

není

z pohledu ryzyka, to není úplně zásední

otázka

úplně stačí, aby ty systémy

byli

nebo mocnější než lidi v nějakých

strategických

jako důležité ich

a tohle je podle vás realna možnost

moc děkují, že jste doposlouchali až jsem

zbyt jak rozhovoru

nejde ty na hero hero.co o Lomeno Čestměny

a uslyšíte v něm třeba tohle

ten systém hlavně může

být jako úplně nelický

může jako optimalizovat něco

nebo si může

snažit o něco, co

sama osoba je neškodný nebo je nám

neselzumitelný

ale jako v nedlejším efekte může

být jako katastrofa

A je tam i nějaký dobrý scénar?

Ta budoucnost

může být jako hodně divoká

Jak to zládneme?

Já jsem optimističnější pohledně

určitě nebo tak

že jako řada kolegů je religiopisimističnější

Máte kolegi, kteří říkají

že to vlastně nemůžeme zvládnout

a že to vymkluní z kontrol a tak dále

je vlastně jenom otázka času

Takže to nemůžeme vůbec zvládnout

to si myslím málo kdo

ale jako řada kolegů má

jako pesimističnější

Máte kolegů, kteří řada kolegů

Machine-generated transcript that may contain inaccuracies.