Mihai Hotca: Bună seara celor care ne privesc! Bună seara invitaţilor! Numele meu este Mihai Hotca. Sunt avocat în Baroul Bucureşti şi profesor la Universitatea Nicolae Titulescu. În această seară avem în cadrul dezbaterilor noastre o temă foarte provocatoare: inteligenţa artificială între duratele tehnologice şi realităţile juridice să prezinte invitaţii. Începem cu singura doamnă care ne onorează în această seară, dna. Veronica Dobozi, partener în cadrul societăţii de avocatură STOICA şi Asociaţii, apoi imediat în stânga domniei sale dl. Tudor Colţan, avocat din cadrul aceleiaşi societăţi, apoi avem în partea dreaptă pe domnul judecător Cristian Bălan de la Judecătoria Buftea și ultimul, dar nu cel din urmă, dl Adrian Șandru din cadrul Societății Mareş Dănilescu Mareş în asociere cu Dan Lupașcu. Înainte de a trece la dezbateri este cazul să lăsăm să curgă puțină publicitate.Am revenit în direct, fără să vă consider sub spectrul pesimismului şi nici sub vraja optimismului, încercând să mă plasez într-o zonă realistă, este foarte clar că de câţiva ani inteligenţa artificială şi problemele pe care le ridică această formă de inteligenţă sunt foarte actuale. Personal, după ce am văzut filmul Transcendence, Viaţa după moarte din 2014 am luat foarte în serios acest domeniu al inteligenței artificiale. Eram relativ profan în legătură cu acest domeniu pentru că de fiecare dată am considerat că oamenii de ştiinţă care se ocupă de roboţi, de noile tehnologii, de biotehnologii şi aşa mai departe, ştiu foarte bine ce fac, au regulile lor pe care le respectă şi nu am văzut un pericol real pentru om. Gândindu-mă mai profund cu privire la acest subiect, mi-am dat seama că există nişte pericole. Există pericolul ca la un moment dat roboţii sau alte dispozitive care folosesc inteligenţa artificială să pună în pericol chiar existenţa omului şi de data asta nu este punctul meu de vedere. Evident, aş înclina spre, să spunem fundamentarea acestuia, dar oameni de ştiinţă precum Hawking sau Musk Tesla şi aşa mai departe au insistat asupra pericolelor prezentate de inteligenţa artificială. Pentru că suntem între jurişti aici, cred că ar trebui să plecăm în primul şi în primul rând de la legislaţie, de la reglementare. Cum stăm cu reglementarea? Există? Nu cumva e depăşită reglementarea existentă? Ce s-ar putea face şi alte aspecte referitoare la stadiul reglementării cu privire sigur asupra inteligenţei artificiale. Tudor Colțan, pentru că aţi avut preocupări deosebite în acest domeniu, chiar astăzi parcă am văzut un articol care abordează printre altele şi drepturile posibile ale inteligenţei artificiale. V-aş ruga să spargeți gheața.

Tudor Colțan: Bună seara. Vă mulțumesc mult de invitaţie. Da, eu aş porni de la ce a zis Elon Musk pentru că este foarte interesant din două perspective: unu la mână, el a spus că această inteligenţă artificială poate fi chiar invocarea unui demo şi l-a propus ca soluţie, ne priveşte pe noi ca jurişti, existenţa unor reglementări naţionale şi internaţionale cu privire la folosirea ei. De aici am mers noi şi am fost pasionați să căutăm. La ora actuală nu avem o reglementare. Uniunea Europeană, în speţă Parlamentul European, a înfiinţat o comisie în 2015 cu privire la această problemă, inteligenţa artificială şi roboţi, şi din 2015 s-au apucat să cerceteze. Au fost tot felul de întâlniri, iar după doi ani s-a finalizat cu un raport, un raport intermediar cu privire la ce ar presupune inteligenţa artificială şi cu precădere pe răspunderea în anumite cazuri pentru activităţile roboţilor şi ale inteligenţei artificiale. În urma acestui raport s-a emis o recomandare a Parlamentului European care prin această recomandare se încurajează reglementarea de urgenţă a unor cazuri de folosire a roboţilor, a dispozitivelor care se bazează pe inteligenţa artificială, şi cel mai important de a se stabili în mod clar cum pot să răspundă persoanele care folosesc aceste dispozitive. La această recomandare Comisia Europeană a răspuns printr-un document şi a spus că va avea în vedere acest lucru și a spus că este foarte clar că avem nevoie de o legislaţie la nivel european, dar s-a sfiit în a lua o poziţie fermă cu privire la reglementarea unor dispoziţii legale printr-o directivă. Soluţia dată de Comisia Europeană ar fi modificarea sau revizuirea unei directive actuale respectiv Directiva 85/374 cu privire la răspunderea pentru lucrurile defecte, pentru produsele defecte, dar din punctul nostru de vedere nu este o soluţie şi sunt convins că nici comisia de specialişti care a lucrat la respectivul raport nu este de acord cu această soluţie. Unde ar fi probleme? Pe lângă definirea roboţilor inteligenţi, pe lângă definirea aspectelor de drept, esenţa cu privire la inteligenţa artificială, aşa cum foarte bine subliniat, este pericolul pe care aceasta poate să-l aducă în societatea noastră. Dacă ne asumăm evoluţia tehnologică ar fi bine să vedem cum putem reglementa riscurile. La momentul actual nu există o reglementare, există doar această recomandare a Parlamentului European. Mergând mai departe, dacă ne uităm în dreptul nostru intern, nici măcar atât, singura legătură între o anumită răspundere a inteligenței artificiale şi acţiunile roboţilor ar fi o răspundere civilă delictuală pentru lucruri. Dar până nu definim exact ce înseamnă un robot, este foarte greu să facem o conexiune dintre un robot şi un lucru pentru că ştim foarte bine că inteligenţa artificială le oferă poate cel mai important lucru, o autonomie, chiar se merge atât de mult, o autonomie a gândirii şi de aici marile personalităţi în domeniu, pe lângă Elon Musk şi Bill Gates şi-a arătat temerile faţă de acest subiect şi este interesant pentru că ei susţin că soluţia ar fi, chiar în domeniul nostru, reglementarea foarte drastică a folosirii roboţilor şi a inteligenţei artificiale. De ce? Pentru că dacă entuziasmul tehnologiei este foarte frumos, ne poate seduce, peste ani de zile s-ar putea să ne uităm în urmă şi să ne întrebăm de ce nu am reglementat la timp unele lucruri. Și foarte important, la ideea de cum poate să răspundă o persoană raportată la folosirea inteligenţei artificiale, şi mai mult, cu timpul, din păcate, se va ajunge la cum va putea răspunde chiar respectivul dispozitiv.

Mihai Hotca: Da, atunci când discutăm despre inteligenţa artificială, practic discutăm despre dispozitive care au particularităţi similare cu cele ale oamenilor. Pot decide în funcţie de modificările care se produc în jurul lor, pot vorbi limbi străine, pot la un moment dat putem discuta să facă anumite calcule în funcţie de apariţia unor împrejurări intempestive şi aşa mai departe. Totuşi referitor la reglementarea actuală, la nivel naţional, doamna Dobozi, unde ne plasăm? Ce avem şi ce ar mai trebui să facă legiuitorul pentru a nu aştepta cum ne place nouă sau poate cum să ne simţim bine să fim împinşi de la spate de către forul suprem naţional.

Veronica Dobozi: Nu există ceva specific pentru că se porneşte de la ideea că orice fel de inteligenţă artificială, îmbrăcată în orice formă ar fi, fie că este vorba despre un soft, fie că este vorba despre un soft ataşat unui robot umanoid sau unui robot, chiar dacă nu are o formă umană solidă este un lucru. Un lucru este, bineînţeles, proprietatea cuiva, este controlat de cineva, este vândut de cineva. Pentru toate lucrurile acestea există forme de răspundere. Codul Civil şi alte legi care sunt în domeniu sunt suficiente din această perspectivă.  Noi însă gândim mai departe şi privim doar la un simplu exemplu care este al telefoanelor mobile, care în 20 de ani au cunoscut o dezvoltare absolut explozivă. Pe lângă acestea, multiplele întrebuințări care se pot da inteligenţei artificiale sub forma roboticii sunt probabil vor fi multiplicate cu cel puţin 1.000 sau poate chiar mai mult, iar timpul se va scurta cu fiecare start-up care îşi va propune să aducă o nouă îmbunătăţire în domeniu. De aceea eu privesc din perspectiva reglementării ca fiind împărţită în două. Una este reglementarea care se va adresa acelor produse care vor rămâne la forma unor lucruri, adică vor putea fi limitate în perspectiva autonomiei lor, şi cealaltă se va adresa sau aşa ar trebui să se întâmple, să se adreseze viitoarelor descoperiri. Pentru că, aşa cum spuneaţi şi dumneavoastră, lumea stă liniştită, gândindu-se că cei care inventează aceste lucruri sunt limitaţi de anumite reguli. Nu există nicio limită în domeniu, creativitatea umană nu are nicio limită. Buna-credinţă există ca peste tot la unii, şi mai puţin la alţii. Ca urmare, dacă interesul comercial o va cere, orice fel de robot poate fi transformat oricând într-o armă, orice fel de inteligenţă artificială poate să facă bine, la fel de bine cum poate să facă şi rău. Eu mă gândesc la momentul ăsta la nivelul la care s-a ajuns, de exemplu, în domeniul roboţilor umanoizi. Acum câţiva ani, nu cred că sunt foarte mulţi de atunci, şase sau şapte, patru băieţi din Boston s-au adunat într-un garaj şi au pus bazele unei asocieri. Au făcut câteva softuri cu mijloace proprii şi bani puţini. Apoi, în trei sau patru ani au vândut această companie către compania Google cu un miliard de dolari. Ei produc la momentul acesta cei mai buni roboţi umanoizi care deja au nişte performanţe comparabile cu orice aţi văzut prin filmele SF. Ca urmare, dacă softurile vor ţine pasul cu ceea ce ei reuşesc în domeniul acesta, strict administrativ al corpului roboticii, se poate ajunge foarte departe.

Mihai Hotca: Da, practic, cum spuneați, nu există limită. Singura limită în domeniul investiţiilor, în domeniul realizărilor ştiinţifice, este cea dată de imaginaţia omului. Și dacă cel care la un moment dat îşi imaginează ceva, comunică altora, alţii sau poate chiar el vor transpune în practică ceea ce la un moment dat era o idee. Și iată că toată lumea ar fi de bună-credinţă, cum spunem noi jurişti, bona fides praesumitur, presupunem că toată lumea este de bună-credinţă, dar realitatea demonstrează că mai există şi terorişti. Mai există şi oameni bolnavi din punct de vedere psihic, există oameni care au alte scopuri, doresc să iasă în evidenţă, pur şi simplu, chiar şi prin lucruri negative, prin fapte rele şi în momentul în care astfel de dispozitive de inteligenţă artificială ajung pe mâna lor, pericolele sunt greu de imaginat.

Tudor Colțan: Poate nu este întâmplător că primul cercetător din lume în domeniul inteligenţei artificiale a apărut chiar în perioada celui de-al doilea război mondial, Alain Turing, şi prima dată când s-a făcut o afirmaţie cu privire artificială a fost într-o bază secretă MI6 şi acesta a spus că a construit un creier. Nu întâmplător pericolul, practic naşterea acestei pasiuni în domeniul tehnologic s-a născut chiar într-o perioadă de conflict.

Mihai Hotca: Despre creier, din punct de vedere artificial, ne gândim la inteligență, ne gândim la procese pe care le poate derula acel dispozitiv, idei care pot trece prin mintea lui robot și ce vrea să facă, ceea ce posedă la un moment dat. Domnule judecător, cum vede instanța această situație? Sunt tare curios, un judecător de scaun cum vede inteligența artificial? Va fi înlocuit în viitorul apropiat judecătorul?

Cristian Bălan: Viitorul, asta e frumos, când ne gândim la viitor nu putem decât specula și suntem pregătiți pentru surprise.

Mihai Hotca: IBM a creat un dispozitiv Watson care încearcă să înlocuiască avocații. Am văzut și în Franța, se întâmplă același lucru. Sigur, rezultatele sunt discutabile, dar iată că începutul există.

Cristian Bălan: Sunt pasionat de fotbal.

Adrian Șandru: Niște studenți cercetători britanici au creat un judecător CEDO și rata de, să zic așa, în care a nimerit de fiecare dată rezultatul, a prezis rezultatul, a fost de 79%, deoarece i-au impus pe lângă aspectele juridice și un aspect de moralitate, și el a reușit să prezică 79% din cazuri, de fiecare dată soluţia dată de Uniunea Europeană. Așa că trebuie să reflectăm asupra acestui aspect.

Cristian Bălan: A fost o discuție de sezon pe modificările legilor justiţiei în legătură cu vârsta minimă pentru admiterea la Institutul Naţional al Magistraturii. Aţi văzut că discuţiile nu priveau neapărat competenţele candidaţilor, ci experienţa de viaţă. Și cred că anumite sau pentru a rezolva anumite conflicte, de fapt anumite situaţii de viaţă, trebuie să le simţi mai întâi. Și pentru a simţi anumite situaţii şi a vedea anumite rezolvări, trebuie să le poţi trăi şi cred că din perspectiva asta roboţii nu vor înlocui judecătorii, cel puţin la momentul actual, şi asta începusem să vă spun, eu fiind pasionat de fotbal, bineînţele, mă uit la campionate mondiale. În legătură cu întrecerile sportive în general, de ani de zile se pune în discuţie crearea unui arbitru, un calculator arbitru, care trebuie să facă nişte calcule, să ia decizii mult mai simple decât vede un judecător, vede când outside, când e fault, adică ar trebui un soft să facă asta foarte repede şi încă nu s-a reuşit. Abia s-a introdus o tehnologie care verifică dacă mingea a trecut de linia porţii şi tot nu au încredere să treacă peste decizia arbitrului, adică tehnologia va ajuta arbitrul, dar tot arbitrul, după ce primeşte informaţiile prin cască, el va lua hotărârea. În legătură cu comentariile de până acum, aş veni cu două idei. Cred că din perspectiva dreptului Uniunii Europene înţeleg reţinerea Comisiei şi cred că la momentul actual Comisia nu va începe demersurile pentru elaborarea unui act normative, chiar de minima armonizare pentru că a nu cred ca știe de unde să înceapă. Există în anumite domenii niște norme pentru crearea cărora a fost necesar trecerea unei perioade foarte, foarte lungi, de 10, 15 ani în materie de expulzare, în țări unde exista un risc pentru încălcarea drepturilor omului. A început în 1996, după care din hotărâre în hotărâre a reuşit Curtea Europeană să stabilească, de exemplu, zece principii. Cred că acelaşi lucru se va întâmpla şi în această materie. Tehnologia a evoluat încet, încet. Cadrul normativ pe acest sector nu a evoluat deloc. Abia când s-a produs un rezultat concret legiuitorul se gândeşte că ar trebui să intervină. Or timpul acesta pierdut se va reflecta cumva în modalitatea în care va fi condus acest proces legislativ. Dar părerea mea este că tot încet, încet va fi acest process, cu anumite încercări, anumite propuneri, anumite acte normative care nu vor reglementa sufficient, dar vor constitui un început, şi în funcţie de modalitatea în care aceste acte vor reuşi să rezolve anumite situaţii practice, vor interveni în noi modificări pentru ca peste 10, 15 ani să avem nişte norme care să ne poată ajuta. În privinţa reglementării interne, într- adevăr, nu avem o reglementare clară, dar îndrăznesc să spun că avem o realitate. Și cred că ar trebui să vedem problema inteligenței artificiale şi peste posibilitatea angajării răspunderii delictuale. Ne uitam la televizor şi vedem robotul acela celebru, parcă Sofia. Sofia e un concept interesant. Problema e că un stat i-a acordat cetăţenie. Într un anumit stat, Sofia are drepturile pe care le-ar avea un om. Poate în respectivul stat Sofia poate să-şi deschidă un cont bancar şi să aibă un card. Și tot în respectivul stat ea poate intra pe net şi poate cumpăra ceva din România, caz în care se va încheia un contract fără ca măcar persoana din România, asta e frumuseţea internetului, nu ştim niciodată ce facem, dar putem trece peste bariere de mii de kilometri, or persoana din România sigur nu va şti că va intra într-un raport juridic cu Sofia. Sofia va fi suficient de inteligentă cât să conducă acest raport juridic. Poate îşi cumpără o pereche de pantofi. Și roboţii până la urmă trebuie să fie frumoşi, o perucă, să nu mai aibă chelia aceea inestetică. Dar ce se întâmplă dacă Sofia nu-şi îndeplineşte obligaţiile? Ce se întâmplă dacă va exista un conflict în materie contractuală pe acest aspect? Pentru că ăsta este pericolul acestui entuziasm. Este interesant, dar i-a dat cineva cetăţenie. Când i-a dat cineva cetăţenia, a făcut într-un anumit stat transformarea de la bun la persoană. Făcând transformarea asta respectivul bun dobândeşte anumite drepturi. V-am zis, poate intra în raporturi juridice cu alte persoane și cum avem internetul şi posibilitatea reală de a intra în raporturi cu alte persoane, avem o problemă foarte mare dacă, de exemplu, vom avea un litigiu, o instanţă va fi sesizată cu un asemenea litigiu. La prima vedere, s-ar putea rezolva simplu pentru că, sigur, Sofia este proprietatea cuiva şi am putea discuta cu firma respectivă. Dar problemele sunt mult mai delicate. Ce raporturi? În ce măsură va răspunde pe tărâm contractul respectiva companie?

Mihai Hotca: Dle judecător, se pare că nu-i aşa simplu. Să ne gândim un pic. Discutăm despre Internet, despre reţele de socializare. În momentul de faţă, dacă ne închipuim câte date a strâns Facebook, câte date a strâns Twitter, câte date există și circulă prin intermediul internetului. În momentul în care Sofia sau alți roboți mult mai evoluați, pentru că este doar începutul, au acces direct la o conexiune cu o bază de date foarte generoasă, nu se va mai pune problema că nu are experiență, pentru că pe Facebook va găsi multe experiențe, și iată că va putea la un moment dat să facă o selecție proprie a experiențelor altora, să facă o medie sau cine știe cum să analizeze, să proceseze acele date. Aici este pericolul. Ce va face un astfel de robot în momentul în care are acces la un număr aproape nelimitat de informații, de date? Atunci, evident că în mod exponenţial, poate depăși orice inteligență umană, chiar dacă ne gândim la cei mai geniali dintre oameni. Nu va exista o limită. Și dacă această creștere, care practic este exponențială,  va avea un ritm din ce în ce mai accelerat, în câțiva ani reglementarea pe care noi o gândim astăzi va fi probabil desuetă, nu va mai avea nicio legătură, pentru că prima chestiune care ar trebui făcută este una, dacă vreţi, de ordin etic. Permitem dezvoltarea nelimitată? Există un curent care tinde să devină o religie. Se manifestă foarte accentuat în Statele Unite, așa numitul dataism, plecând de la ideea că informațiile simt nevoia să fie libere, așa ca și oamenii, și informațiile doresc libertatea și se discută despre dreptul la libertatea al informației. Un mare scriitor al zilelor noastre, Harari vorbește despre Internetul Tuturor Lucrurilor. La un moment dat se vor aduna atâtea informații încât, plecând de la această libertate de circulaţie a informațiilor, a datelor, cei care vor avea acces la ele vor reacționa într-un anumit fel, vor proceda într-un anumit sens pe care noi nici nu putem să îl concepem pentru că nu avem cum să fim în situația celui care va avea la îndemână o cantitate uriașă de date. Aproape toate datele circulă prin intermediul internetului. Să ne gândim, să facem un exercițiu de imaginație, în limitele noastre umane, cam la ce se poate ajunge în clipa respectivă. Aici este problema, asta spunea și Musk. Domnule, trebuie să reglementăm, și Bill Gates, să punem niște stavile, să nu facem paşi din aceștia exponențiali, să zburăm așa, ci vorba unui concetățean celebru, Pas cu pas. Pentru că pericolele sunt foarte mari și riscurile sunt pe măsură. Nu știm ce pândeşte la colţ în momentul în care un creier artificial ar avea acces la o bază de date foarte, foarte importantă. De ce să nu preia controlul? De ce o parte din ceea ce am văzut în filmul Transcendence să nu se întâmplă cu riscuri foarte mari, cum se propagă informația. Este fabulous filmul, ca o anticipare a ce se poate întâmpla. Și atunci noi vom fi… Da, vă rog.

Veronica Dobozi: Este într-adevăr destul de clar că un viitor în care nu se vor institui niște limite în privinţa cercetării are toate şansele să ajungă acolo unde spuneți, însă la fel de seducătoare este şi ideea ca fiinţa umană să se updateze şi ea ca să ţină pasul cu această inteligenţă artificială. Și acest lucru deja se întâmplă în diverse forme,intervenind cu cealaltă ştiinţă care, la fel, are o dezvoltare explozivă în ultimii ani, şi anume genetica şi manipularea genetică. Există deja un curent în Statele Unite care se cheamă biohacking şi care presupune, presupune mai multe lucruri, printre care inclusiv această updatare a fiinţei umane cu ajutorul inteligenţei artificial, un fel de cyborg sub diverse forme. Este seducător pentru oricine să îţi închipui că implantarea unui microcip care durează câteva minute poate să-ţi aducă avantajul de a vorbi trei patru limbi străine peste noapte sau să cunoşti o bibliotecă clasică, pur şi simplu la un semn. Nu cred că ar rezista foarte mulți, mai ales pe măsură ce acest lucru ar deveni o presiune social. Și aceasta este o direcţie pe care o poate lua inteligenţa artificială în viitor.

Mihai Hotca: Eu mă gândesc că ar trebui astăzi să discutăm inclusiv de răspunderea penală, cum ar trebui să fie conturată. Ce părere aveţi, dle Șandru?

Adrian Șandru: Vreau să spun că ați spus în introducere, l-aţi menţionat pe Stepehn Hawking, și vorbeaţi de updatare, de inteligenţă şi mi-a venit în minte un citat al lui Stephen Hawking,care spunea că inteligenţa presupune adaptabilitatea la ceva nou, la schimbare, capacitatea de a de adapta la schimbare. Inteligenţa artificială susţin unii autori că este axiomatic, încât nu are nevoie de nicio definiţie, deoarece prin acest concept se tranşează complet problema definiţiei şi conceptului. Juridic, eu consider că ne interesează trei caracteristici, şi anume: autonomia, despre care aţi vorbit anterior. Autonomia reprezintă mai mult capacitatea de a lua singur decizii, a unui robot cu inteligență artificială. Cu cât autonomia este mai crescută, cu atât controlul uman este mai scăzut. O acţiune a unui robot a ei presupune o acţiune a unui control uman a unei persoane fizice, o omisiune. O altă trăsătură ar fi impredictibilitatea. Această trăsătură este comună şi persoanelor fizice. Nu se poate prezice cum un robot va acţiona, la fel cum nu s-ar putea prezice nici cum o persoană fizică se poate să acţioneze. Și, în fine, cum aţi spus și dumneavoastră, iresponsabilitatea deoarece, în momentul de faţă, la legislaţia actuală, o acţiune a unui robot cu inteligență artificială nu are niciun fel de consecinţă juridică, atenţie, cu privire la aceasta, deoarece ar putea să atragă consecinţe cu privire la alte persoane. Și consider că nucleu și dezbaterea privind răspunderea penală a roboţilor cu inteligenţă artificială gravitează între necesitatea de a introduce sau nu o astfel de răspundere penală. Ca orice propunere de lege ferenda, aceasta pentru a fi utilă ar trebui să fie în acord cu principiile generale ale dreptului. În materie penală ar trebui să fie în acord şi să studiem prin prisma principiilor fundamentale ale dreptului penal pentru că altfel o propunere de lege ferenda nu ar fi efectivă şi nu ar fi utilă. Astfel, consider că, de exemplu, prin prisma principiului legalităţii, principiul fundamental al răspunderii penale, ar presupune că o faptă comisă de un robot a.i. nu ar putea fi pedepsită atâta timp cât o lege nu prevede acest lucru. Un alt principiu îmi vine în minte acum, principiul cu caracter personal al răspunderii penale. Acesta este o consecinţă al principiului legalităţii, deşi nu este consacrat expres. Acesta ar presupune că o persoană nu poate răspunde penal pentru o faptă comisă de către o altă persoană. Aici discuţia se mută pe tărâmul dreptului civil, la fel cum spunea foarte bine anterior colegul Tudor, în ce măsură acordăm sau nu drepturi unui robot a.i. pentru a putea susține dacă a comis o persoană sau nu o infracţiune. Și în fine, un alt principiu care îmi vine în minte este principiul minimei intervenţii sau principiul subsidiarităţii, cum aţi spus foarte bine, pas cu pas se face o reglementare. Nu dreptul penal ar trebui să fie primul care intervine, nu ar trebui să intervină atât de brutal în reglementarea acestei probleme. Hai să ne punem problema dacă intervenţia dreptului penal ar trebui să se facă atunci când această valoare socială ar fi ocrotită de dreptul civil sau dreptul administrative. Și în fine, mi se pare că această discuţie este multidisciplinară şi discuţia ar trebui să se bazeze atât pe drept, pe cunoştiinţe de informatică, pe cunoştinţe şi foarte mult pe filozofie şi pe conceptul dacă ar putea fi considerată sau nu un robot o persoană.

Mihai Hotca: Sunt, într-adevăr, foarte multe aspecte care trebuie luate în considerare. Eu mă gândesc la următorul lucru, plecând de la ideea foarte frumoasă a doamnei Dobozi, presupunând că omul este updatat și tot așa. Să zicem că este, la un moment dat, asemănător cu un procesor care, din când în când, își schimbă, să spunem sistemul de operare sau este updatat. Dar mai este el om în momentul în care updatarea va deveni preponderentă față de ce era el înainte? Vrem să ajungem la acest lucru? Aici este, dacă vreţi, marea provocare sau marea problemă sau este deja o chestiune fatalistă, nu mai avem de ales. Domnul judecător mai vrea să intervină.

Cristian Bălan: Este puțin probabil ca în viitorul apropiat robotul să răspundă penal în vreun fel, dar să ne uităm și la principiul legalităţii, cum este reglementat astăzi. Problema intervine, prima problemă care se va pune este în ce măsură va răspunde persoana juridică cel mai probabil, nu cred că o persoană fizică își poate permite să dețină în proprietate un asemenea.

Mihai Hotca: De ce? Ia, gândiți-vă! Acum 20 de ani, dacă arătam cuiva un dispozitiv pe care acum noi îl considerăm banal și cu atâtea facilități, nimeni nu ar fi crezut că acel dispozitiv era accesibil oricui. S-ar putea, dar nu trebuie să fie accesibil oricui, câțiva să aibă acces.

Veronica Dobozi: Să-l aducem la curent pe dl. Judecător, China deja a dezvoltat o fabrică pentru roboți umanoizi cu tehnologie japoneză special cu acest scop, să și-l permită oamenii de rând.

Tudor Colțan: Eu aș interveni și aș spune că sunt unii construiţi special pentru nevoile fizice ale oamenilor, de exemplu s-a deschis prima franciză de case de lux cum s-ar spune și acolo se folosesc roboții sexuali care au prins foarte bine la public și în Moscova, de exemplu, există un astfel de loc unde cetățenii de rând, persoane fizice, profită de aceste servicii.

Mihai Hotca: Confirm. Am identificat și eu astfel de situații, dar eu l-aş aduce în discuţie pe Dieter Zetsche de la Mercedes care a făcut acum ceva timp, nu cu mult timp în urmă, câteva predicţii. El spunea printre altele că va apărea robotul fermier, că maşinile în 20 de ani vor fi prevalent autonome, că vor exista atâtea dispozitive folosite în domeniul medical care vor diagnostica mult mai bine decât doctorii şi aşa mai departe. Și asta nu mai devreme de 20 de ani, făcând referire la la Apple, la Microsoft, la Amazon, la Tesla şi că are mai multe informaţii decât noi. Are nişte preziceri foarte clare, el consideră că se vor întâmpla în 20 de ani. Și eu mă gândesc, dacă un astfel de om, foarte informat, care are conexiuni pe care niciunul dintre noi nu le avem, îşi permite să facă astfel de predicţii, eu cred că sunt posibile. Nu le exclude. Viitorul întotdeauna din punctul meu de vedere, are o particularitate certă: este incert. Se poate întâmpla şi aşa, se poate întâmpla şi altfel, cum poate am vrea noi să se întâmple, dar eu cred că cel puţin într-o parte a lumii evoluția roboţilor, evoluţia inteligenţei artificiale la un moment dat va fi de necontrolat.

Veronica Dobozi: Într-adevăr, este cazul să permitem sau nu ca atare a fiinţelor umane să se producă şi până unde ar fi limitele. Cred că necesitatea definirii fiinţei umane este evident, necesitatea definirii juridice a fiinţei umane, pentru că s-ar putea ca în curând ceea ce noi considerăm obişnuit ca fiind fiinţă umană, homo sapiens, care este subiect de drept ca individ peste tot în toată legislaţia naţională, europeană, internaţională, să fie sub semnul întrebării. Ce mai înseamnă fiinţa umană? Cum ați spus.

Mihai Hotca: Avem în istorie nişte exemple care, sigur, cu alte scenarii şi alţi actori, se pot repeat: stăpâni de sclavi. Ei se credeau stăpâni, dar de fapt erau atât de dependenţi de sclavi încât, nu ei erau stăpânii, ci sclavii erau stăpânii. Ceva de genul ăsta se poate întâmpla. Dar pentru că avem şi un invitat special, este vorba de domnul Maxim Macovei din cadrul societăţii Efrim Roşca şi Asociaţii, tocmai de la Chişinău, îl salutăm şi vreau să îi adresez o întrebare din mediul juridic. Ce părere are domnia sa despre folosirea roboţilor, folosirea dispozitivelor cu inteligenţă artificială în domeniul juridic?

Maxim Macovei: Bună seara! Vă mulțumesc frumos. Am urmărit cu mare atenţie discuţiile din cadrul dezbaterii. Sunt de a dreptul fericit aş spune, chiar că au început şi juriştii să discute despre inteligenţa artificial. Este un imperative, cred eu déjà, pentru că tehnicienii merg în fiecare zi şi implementează, nu se gândesc care sunt consecinţele juridice, nu se gândesc care e oportunitatea, cum calificăm munca juridic că deja se implementează. Aţi vorbit despre viitorul inteligenţei artificiale. Eu cred că este suficient să ne oprim chiar la ziua de astăzi, 25 iunie. Putem, cu siguranţă, discuta despre mai multe scenarii în care inteligenţa artificială este implementată masiv. Vă spun din experienţa mea proprie, Facebook ne acordă posibilitatea să downloadăm datele noastre personale care sunt stocate din momentul înregistrării, până în ziua de astăzi. Eu mi-am downloadat datele mele personale care sunt stocate de Facebook. Apropo de Facebook , dacă doriţi puteţi să activaţi aşa opţiune ca Facial Recognition, ceea ce presupune că în orice moment, oricare persoană, oricare user de pe Facebook pune o poză cu dumneavoastră, deşi nu sunteţi în lista de prieteni sau nu  vă dă tag, vă face un tag, Facebook automat vă notifică despre acest fapt. Este un algoritm de inteligență artificial, mai exact este machine learning, care este o sub ramura a inteligenței artificiale. Eu mi-am văzut algoritmul care a fost adaptat între timp de Facebook, de machine learning, am văzut cum arată algoritmul feţei mele. Este implementat deja la scară largă, nemaivorbind de faptul că atunci când spuneţi Hei, Siri și Siri reacţionează sper să reacţioneze acum că sunt pe Iphone, când reacţionează Siri este la fel un neuro language processing prin care este procesat limbajul natural transferat în limbajul care îl înţelege programul şi el vă răspunde şi adaptează, vă oferă un răspuns reieșind din întrebarea dumneavoastră, vă dă un răspuns adaptat pentru întrebarea dumneavoastră. Revenind, nu este neapărat necesar să privim foarte mult în viitor. Putem vorbi chiar de prezent déjà, dar vorbim de Facial Recognition și Voice Recognition, atunci problema parțial probabil este rezolvată de reglementările privind datele personale, dar doar parţial. Cât priveşte serviciile juridice, acum fac, am luat un curs de la Universitatea din Helsinki cu privire la inteligența artificială. Într-adevăr, cum a menţionat colegul, nu există o definiţie clară a ceea ce reprezintă inteligenţa artificial, dar sunt anumite caracteristici şi iată am să vă prezint câteva proiecte interesante. Mai mult decât atât, nu sunt doar nişte discuţii sterile, abstracte. Îmi place să spun că Money talks, banii vorbesc, şi din momentul în care spart-up-urile pe care le voi prezenta strâng investiţii de peste 20 milioane de dolari, atunci cu siguranţă vorbim déjà, când Goldman Sachs investeşte 20 miliarde dolari, vorbim despre o ramura care are potenţial inclusiv în lumea noastră juridică, care ţine nemijlocit de modul de prestare a serviciilor. Iată, punem deoparte problemele, prima problema sau câteva probleme. Companiile din Fortune 500 au la activ 30, 40 de mii de contracte în mediul care derulează, care sunt în proces de derulare. 83% din aceste companii recunosc că procesul este unul anevoios, este foarte complicat, costisitor. Acum numărul solicitărilor la clienţi creşte, statele de personal, juriştii nu se măreşte, costurile urmează să fie reduse, respectiv ultimii ani, doar patentele de machine learning, care este doar o subramură a inteligenţei artificial, au crescut cu 34%. Se investeşte de şase ori mai mulţi bani în inteligenţă artificial, comparativ cu începutul anilor 2000. Tehnicienii care, în cooperare cu juriştii, au venit cu soluţii. Prima soluţie este Lowgic, este un start-up din America, din SUA şi Israel. Lowgic propune următoarea soluţie: au fost luate la întâmplare cinci contracte non disclosure agreements contracte, acorduri de confidenţialitate, au fost luați practic drintre cei mai buni practicieni din SUA care sunt specializaţi şi în non disclosure agreements. Juriul a fost format din trei experţi de la Stanford, Harvard, deci un juriu cu renume, şi au fost puşi împotriva, gen un fel de meci împotriva Lowgic, juriul a selectat 30 de întrebări, fiecare jurist avea la îndemână patru ore pentru a analiza cinci non disclosure agreements, cinci acorduri de confidenţialitate, unul de o pagină, altul de două, de trei, de patru, cel mai mare acord de confidenţialitate avea cinci pagini. Cum credeţi, care crede că au fost rezultatele? Lowgics a analizat NDA-ul cu o acurateţe de peste 90 %, în timp ce cei mai buni jurişti din SUA au avut o rată de precizie de 85%, mai mult decât atât, dacă în mediu, timpul mediu estimat a celor 20 de jurişti pentru analizarea riscurilor care vezi în medie a fost undeva circa 80, 90 de minute, atunci pentru Lowgics a luat 26 de secunde. Vorbim de un start-up în care deja au fost investite, în diferite etape, runde de investiţie de peste 20 de milioane de dolari. Vorbim despre bani, vorbim despre investiţii, vorbim despre lucruri care deja se întâmplă şi vorbim despre o metamorfoză, dacă doriți, a paradigmei, a modului în care vor fi prestate juridice. Tot aici aş vrea să punctez, consider că este important, ar trebui déjà să evităm această dezbatere bidimensională, discuţie, dihotomie dacă vreţi. Dacă vor înlocui juriştii, dacă înlocuiește inteligența artificială juriştii sau nu. Lucrurile stau un pic diferit, din ce am reușit eu să observ în ultima perioadă. Merge o sinergie, mai degrabă, o conlucrare între jurişti, o prelungire a juristului şi transmiterea sarcinilor mai plictisitoare, mai tehnice, care pot fi automatizate, repetitive, transmiterea lor către diferite aplicaţii care utilizează inteligenţa artificială. În acest sens, lowgics este un exemplu perfect, pentru că nu neapărat înlocuieşte juristul, dar un task repetitiv care poate fi automatizat ca studierea unui nda poate fi transferat unei aplicaţii care utilizează inteligenţa artificială. Mai mult decât atât, al doilea start-up despre care vreau să vă povestesc a strâns investiţii de peste 20 milioane dolari, investitorul apropo este Goldman Sachs. Dar ştiţi bine ce reprezintă Goldman Sachs şi în ce investeşte Goldman Sachs. Start-up-ul este agent a.i. gen technologies din Marea Britanie. Acest start-up se preocupă de revizuirea diferitor tipuri de documente, contracte, similar practic cu lowgics, dar care analizează mai multe tipuri de documente. În acelaşi timp, sunt anumite limitări de ordin tehnic la moment. Prima şi cea mai importantă problemă și cea mai costisitoare este procesul de strângere a datelor. Dacă în alte domenii este relativ uşor deja să strângi mult date să le procesezi de machine learning care repet este subramură a inteligenței artificial, nu face altceva decât procesează date, spre exemplu, Lowgics pentru a pregăti, pentru a se pregăti de această bătălie cu juriştii, a fost nevoie de o pregătire de trei ani, de o analiza a peste 10.000 de contracte au fost analizate de către soft, după care au fost pregătiţi să aibă…, deci este vorba despre date, la câte date avem acces şi cum să instruim softul. Din păcate, cunoaştem că este mai închisă. Din ce perspectivă? Probabil avem acces la legislaţie, la jurisprudenţă, dar este nevoie şi de drept pozitiv, să cunoaştem cum se aplică legislaţia. Avem nevoie de multe cunoştinţe, de multe consultaţii ca să putem construi un soft viabil care ar putea fi utilizat în timp real. Deci asta până când rămâne cea mai mare provocare la drept, la adresa start-up-urilor din sfera Legal care implementează inteligenţa artificial. O a doua problemă ar fi dacă déjà pentru Siri este relativ uşor să o adopte, neuro language processing, să proceseze limbajul nostru natural atunci, având în vedere specificitatea termenilor juridici, este o provocare mare acum ca să găsim oameni, în primul rând, care înţeleg acest limbaj, care ar putea să dea instrucţiuni cum acest limbag ar trebuie să fie perceput de către inteligenţă artificial. Acestea la moment rămân cele două mari provocări la adresa start-up-urilor. Dar deja vedeți că sunt soluţii, sunt investiţii, sunt şi primele rezultate, dar nu cred că putem vorbi despre o înlocuire a juriştilor, mai degrabă un transfer de sarcini monotone, repetitive, automatizate şi eliberarea timpului pentru noi, juriştii, pentru sarcini mult mai creative mult mai plăcute până la urmă.

Mihai Hotca: Mulțumim că ne-ați spus lucruri foarte interesante. Şi cei din studio vă salută. Vă transmit gânduri frumoase şi recomandarea de a ţine aproape. Vă salut!

Maxim Macovei: Mulțumesc

Mihai Hotca: Ca o confirmare a dlui Maxim Macovei, vreau să vă întreb vă place Mozart, Bach? Cred că cel puțin anumite piese ne plac tuturor. Vreau să vă spun că în Statele Unite s-a făcut un experiment. Computerul a compus piese. După care, unui auditoriu au fost cântate succesiv piese de Bach, de Mozart şi cele scrise de computer. Foarte mulţi din cei din sală au crezut că unele dintre piesele scrise de computer sunt ale marilor compozitori. Aşa că nu cred că e prea departe momentul în care computerul o să scrie legi. Scrie deja cerere de chemare în judecată în Statele Unite. În momentul în care se vor aduna speţele cu practica judiciară şi un algoritm foarte bine pus la punct care este localizat într-un dispozitiv destinat mediului juridic s-ar putea să facă minuni în domeniul juridic. Să nu vorbim de procent de 90%, ci de 100%. Omul mai are un păcat. Și de ce cred eu că există un risc real să se întâmple? În căutarea fericirii, omul vrea, cum spunea şi domnul avocat mai devreme, să scape de lucrurile plictisitoare, banale. Chestiile astea cu documentarea nu prea sunt iubite de avocaţi. Da, aşa este. Și vrea să scape. După aceea, eu ştiu la un moment dat se poate gândi că după o seară din club, avocatul nu mai are chef să pledea și o trimite pe Sofia în locul lui. Încet, încet transferă din sarcini către inteligenţa artificială şi vine vremea când începe să-şi diminueze propria inteligenţă, pentru că un creier care nu este antrenat, aici este marea provocare, un creier care cedează, acordă altora sarcini, atribuţii şi chiar pierde din ceea ce făcea până la un moment dat. Este doar o chestiune de timp până când va deveni mult mai involuat faţă de momentul vorbirii. Nu va fi o mare problemă pentru inteligenţa artificială să preia controlul, aşa cum şi omul, în momentul în care şi-a dat seama că poate prelua controlul, l-a preluat şi a început să elimine concurenţa de pe Terra. Ce părere aveţi? Vă lansez o nouă provocare.

Tudor Colțan: Ați anticipat foarte bine pentru că şi co-fondatorul Apple și-a pus aceeaşi întrebare. A zis: Ok, inteligenţa artificial ne ajută foarte mult, îi învățăm să facă totul pentru noi. S-ar putea să avem o problem, s-ar putea să vadă că nu suntem atât de eficienți ca ei şi să ne înlocuiască din propria noastră companie. Mergând pe această idée, dacă ar fi să devenim mai pragmatici, vă propun să vedem două speţe reale care s-au întâmplat în SUA. În primul rând, acea maşină care se conduce autonom, era un uber care a călcat într-un mod fatal o femeie care mergea cu bicicleta şi acelui incident cu asistenta digitală Alexa care a înregistrat fără voia lor persoanelor de faţă o convorbire şi a trimis-o singură către o persoană din agenda telefonică. Partea cu inteligenţa artificial, putând fi optimişti, putem vedea lucrurile bune, dar eu consider că ideea dezbaterii cu privire la reglementare, aşa cum spunea şi Elon Musk, e vorba de riscuri. Care este pericolul? În momentul în care identificăm pericolul de abia atunci putem vorbi de reglementarea acelor probleme. Pe aceste două speţe, dacă ele s-ar întâmpla în România, eu consider că legislaţia nu doar că este insuficientă, nici măcar nu avem idee de unde am putea pleca în analizarea unei asemenea speţe.

Mihai Hotca: Revenind la aspectul juridic, vă lansez o provocare, domnule judecător. Care ar fi fundamentarea unei eventuale răspunderi, dacă ar fi să discutăm despre răspunderea civilă, răspunderea penală sau de altă natură a unei, să spunem, persoane electronice, a unei entităţi dotate cu personalitate electronică, să-i spunem. Avem persoana fizică, avem persoana juridică, iată că am putea găsi un loc între ele şi pentru personalitatea juridică în sens electronic evident.

Cristian Bălan: Inevitabil, ca judecător în materie penală, mă gândesc atât la modalitatea în care tragem la răspundere o persoană care a săvârşit o infracţiune, dar mă mai gândesc la un lucru foarte important, cum prevenim. Până la urmă, dacă o persoană primeşte o anumită sancţiune, pedeapsă, măsură educativă, depinde cine şi ce a făcut, asta nu contează pentru societate atât de mult, contează pentru societate cum utilizăm dreptul penal pentru a preveni repetarea respectivului fenomen. Dacă pornim de la cele două speţe expuse de Tudor mai devreme, cred că avem mai multe probleme sau avem cel puţin două probleme. Îtotdeauna sunt multe și asta e frumusețea dreptului. În primul rând, cine răspunde pentru, poate la Uber era mai ușor, dar pentru activitatea asistentei care a înregistrat convorbirea și a trimis-o unei persoane în agendă și dacă, să spunem, aici am putea stabili o relație între cel puțin pentru moment, nu gândesc în viitor că în viitor am spus mai devreme este doar pur speculativ. Dacă pentru moment putem găsi relația dintre respectivele mașinării și o anumită persoană, urmând ca în baza acestei relații să căutăm să angajăm o anumită răspundere civilă sau penală, depinde de gravitatea faptei și de relevanța ei în dreptul intern, problema va fi cum facem noi ca în viitor să prevenim acele fenomene, repetarea acestor fapte pentru că dacă mașinile au o anumită autonomie, atunci noi pedepsim o persoană fără vreun efect asupra conduitei viitoare a mașinii. Avem acum în dreptul civil ideea de garanție obiectivă, în cazul răspunderii pentru fapta lucrului, pedepsim sau tragem la răspundere civilă paznicul juridic, asta e, îl tragem la răspundere, o să repare prejudiciul. Ce facem pentru societate? Cum prevenim în viitor repetarea acelor fenomene, pentru că maşina respectivă are autonomie. Ea înțeleg că pe inteligenţa artificială nu va mai fi aşa de simplu ca astăzi, să îl închid să-l formatez, să fac ceva şi respectiva maşinărie să-şi piardă posibilitatea de a perpetua aceste activităţi. Și atunci, dacă eu las maşina să facă ce vrea şi trag la răspundere nişte persoane, e posibil ca maşina în continuare să prezinte un risc pentru o societate din ce în ce mai mare şi să nu pot opri cumva fenomenul.

Mihai Hotca: Ce ne facem în ipoteza în care maşina respectivă este ajutată de o altă maşină, din solidaritate de, să spunem, specie. Ia, gândiţi-vă, pentru că la un moment dat cineva spunea, dar e simplu, l-am scos din priză. Staţi aşa că chestia cu priza e depăşită. Nu mai poți prin simpla scoatere din priză nu rezolvi problema.

Veronica Dobozi: Mie mi se pare cumva greșită abordarea ideii de a acorda o răspundere civilă, fie penală, fie de alt fel, unei inteligențe artificiale pe măsură ce aceasta va dobândi autonomie tocmai pentru că suntem practic în teoria aceea slippery slope, a pantei alunecoase. Inevitabil, dacă vorbim de răspundere, trebuie să-i dăm şi drepturi. Dacă are obligaţii, trebuie să aibă şi drepturi. Și din momentul acela practic noi singuri ne punem în capcana de a echivala acel lucru că până la urmă este un lucru cu o fiinţă umană. Și aici iarăşi ne întoarcem la necesitatea definirii unei fiinţe umane. Atâta vreme cât vorbim despre un lucru, indiferent cât de autonom şi de updatat şi de inteligent din punct de vedere artificial este el, acela nu trebuie să fie tratat ca o fiinţă, nu trebuie să îl pedepsim penal, ci în putem dezmembra. Restul răspunderilor civile, penale aparţin fiinţelor umane şi ar trebui să rămână fiinţelor umane din jurul acelui lucru.

Mihai Hotca: Este o abordare foarte prudentă, cum spunem noi, avocații, diligent și prudent. Cred că s-a pus punctul pe i. Aici putem vorbi de o limită. În momentul în care nu cunoaştem pentru că lucrurile nu au fost testate, nu ştim pentru că nu am văzut cum se comportă atunci când interacţionează între ele şi aşa mai departe, cred că cel mai prudent este ca omul să se oprească, să spună stop, hai să mai facem, să vedem cum se comportă şi apoi trecem la nivelul următor. Între timp poate facem şi o reglementare, aşa cum spunea foarte bine Musk. El care avea tot interesul să se dezvolte probabil din instinct de conservare uman a zis, Nu, dom’le, mergem spre ceva ce nu ne-am închipuit vreodată. Repet, nu mă gândesc că nu se poate întâmpla pentru că nu ştiu nimic. Eu mă gândesc că el ştie foarte multe. Ăsta e domeniul lui, e considerat un vârf al domeniului. De asta am spus mai devreme, când cineva care are un anumit nivel în domeniul respectiv trage un semnal de alarmă, şi presupun că e de bună-credinţă că nu avea interes să îşi blocheze singur afacerea, că asta ar însemna, nu, de ce să i se reglementeze o afacere, când el ar putea zburda fără o reglementare care întotdeauna vine cu nişte cadre şi cu nişte limitări? Vă rog.

Tudor Colțan: Exact cum Elon ar fi spus, da, eu aș vrea să se mărească impozitul pe profit, de la 10%..

Veronica Dobozi: Am înţeles că neoficial…

Mihai Hotca: Mă gândeam la omul acela care e director Mercedes, vorbea de maşini autonome şi de limitarea foarte mult a achiziţiilor de maşini pentru că o maşină din această autonomă va fi optimă în trafic, va lua pasageri din diferite locuri şi aşa mai departe, adică undeva la 10% vor mai circula maşinile prin trafic pentru că vor mai sta aiurea și așa mai departe. Totul va fi optimizat şi mă gândesc, nu cumva se subminează singurul reprezentant al unei companii care vinde maşini, vinde maşini care merg deocamdată cu benzină, motorină.

Veronica Dobozi: Motivul pentru care Elon Musk ar fi făcut acest pas înapoi foarte ciudat şi urgent aşa ar fi pornit de la un soft de asistenţă personală pe care încercau să îl dezvolte în care, acţionând cu fiinţa umană, fiinţa umană i-a spus într-un moment de enervare softului toate programele astea sunt un junk şi soft automat le-a șters pe toate. Asta pentru că inteligenţa artificială şi cu inteligenţa emoţională umană nu fac casă bună. Și atunci probabil şi-a dat seama că mergând mai departe, această logică care este o logică impecabilă, dar artificial, n-are nimic de-a face cu inteligenţa emoţională, va conduce, ar putea să conducă la următorul aspect. Cu toţii am fost în trafic sau într-un moment în care ne-am enervat şi am zis, Doamne, ce l-aş omorî pe ăla din faţa mea. Dar noi ştim că nu am face-o. Robotul nu înţelege, el înţelege doar strict propoziţiile care i se pun în faţă. Concluzia logică este dacă mi se spune, îl omor.

Mihai Hotca: Întotdeauna am încercat să-mi imaginez următorul dialog, între un om şi un robot, de exemplu, Sofia. La un moment dat omul are o trăire, nu ştiu, își aduce aminte de cineva şi plânge. După aceea discuţia ar continua, să spunem, și îşi aduce aminte de un moment frumos, zâmbeşte şi aşa mai departe. Ce ar putea crede robotul, care prin algoritmii săi exacți este perfect, despre un om care are atâtea imperfecţiuni. O să zică: păi ăsta trebuie scos din uz. Mă și concurează, ăsta e şeful meu? Gândiţi-vă la un astfel de dialog. Încerc să-mi închipui și evident că răspunsul nu poate fi decât unul singur. Preiau eu controlul pentru că colegii mei, ca mine Sofia 2, 3, sunt perfecți ca mine, nu au imperfecţiunile unui om care este un mecanism depăşit şi trebuie schimbat.

Cristian Bălan: Despre oamenii răi, apropo de acel semnal transmis mai devreme de către cei buni care sunt totuşi rezervaţi şi consideră necesară o reglementare, până la urmă reglementarea ar trebui să vină cât mai repede sau germenii unei reglementări ar trebui să vină cât mai repede pentru că, dezvoltând ideea dumneavoastră, există anumite zone în lume unde oamenii sunt puţin mai răi şi vor căuta să dezvolte această tehnologie fără vreo rezervă, că până la urmă cine deţine o tehnologie, am văzut discuţiile cu bomba atomică în ultimul an, cine deţine o tehnologie de ultimă oră este mai puternic în configuraţia lumii. Și atunci o persoană care ar fi avidă după putere şi ar vrea ca pe masa negocierilor să aibă un atu, poate ar dezvolta necontrolat această tehnologie şi noi când am descoperi ce a făcut el…

Mihai Hotca: Mai apare un fenomen, este recunoscut, n-avem ce să mai discutăm pentru că există viruşi, viruşi în domeniul informatics. Presupunem că acel dispozitiv este perfect. Nu avem probleme. Dacă cineva introduce viruşi îi perturbă algoritmii el devine, aşa cum se întâmplă cu toate computerele noastre când apare câte un virus cu răspândire care generează daune. A fost înainte un virus mai ca la un moment dat a distrus computere la multe, multe companii, milioane de computere au fost afectate. Să ne gândim noi când alăturat unei inteligenţe superioare din punct de vedere artificial apar nişte viruşi care perturbă mecanismele. Ce se poate întâmpla? Se dereglează. Nu mai discutăm de buna lor credinţăm apropo de buna-credinţă care se prezumă, nu?

Cristian Bălan: Acesta nu este nici măcar un viitor speculativ, este evident că dacă cineva va dezvolta o asemenea tehnologie sigur, sigur va fi altcineva care va căuta să o deturneze cumva prin viruşii, fiind de fapt un fenomen present.

Mihai Hotca: …folosește-te de adversarului. Dl Șandru.

Adrian Șandru: …trebuie să mă întreb deoarece e o lipsă de reglementare ce se întâmplă în momentul actual, dacă ar comite un robot a.i. o infracţiune ce se întâmpla. Deoarece răspunderea penală a roboţilor a.i. nu este reglementată este logic că se va atrage răspunderea penală a unei persoane responsabile. Răspunsul la această problemă eu consider că se regăseşte de cele mai multe ori în articolul 17 din Codul Penal, care prevede pentru prima oară în legislaţia românească cu introducerea noului Cod al teoriei poziţiei de garant, în sensul că o persoană este responsabilă pentru omisiune atunci când are o obligaţie legală sau contractuală pentru ocrotirea unei valori sociale sau când ea însăşi printr-o acţiune anterioară a pus în pericol acea valoare socială. Așa că ne gândim că persoana care deţine sau care foloseşte un robot cu inteligență artificială ar putea fi obligată contractual, după cum am spus, sau legal de eventuale conduit a robotului cu inteligență artificial.

Mihai Hotca: Da, trebuie să identificăm cel puţin o culpă, ca să discutăm de pildă de vătămare din culpă sau omucidere din culpă. Dacă nu e nicio culpă pentru că a luat-o razna, din punct de vedere tehnic a respectat toate condiţiile de utilizare, dar aparatul a luat-o razna, a contactat un virus în exemplul pe care l-am dat.

Adrian Șandru: Exact, consider că această delimitare trebuie făcută in concreto de caz la caz.

Mihai Hotca: Dar cineva și-a pus problema, n-ar trebui să răspundă chiar robotul respectiv prin aplicarea pedepsei cu moartea adică distrugerea lui?

Cristian Bălan: Asta e problema…

Mihai Hotca: Până acolo se discută la diferite conferințe care au loc în Europa, în Statele Unite, am urmărit şi eu subiectele care sunt pe masa celor care poartă astfel de discuţii şi îşi pun problema: ce facem cu robotul respective, că omul, tot el să răspundă pentru robot?

Adrian Șandru: Depinde foarte mult de autonomia acestei vieţi artificial. Ca să înţelegem mai bine, să mă gândesc la un exemplu, că tot am vorbit Tudor despre maşina care se conduce singură. Mă gândesc la un om care merge la serviciu, conducând o maşină semi autonomă, în sensul în care el ar pune maşina pe pilot automat, putând oricând să intervină, el uitându-se la un film pe telefonul mobil produce un accident de maşină. Este logic că în această situaţie este culpa autorului, culpa conducătorului auto, însă în momentul în care maşina ar fi complet autonomă și nu ar putea să preia acest control, se pune întrebarea cine ar răspunde? Userul, utilizatorul? Programatorul softului sau inginerul care a creat acest mechanism? De aceea ar trebui să fie…

Mihai Hotca: Dar ce se întâmplă, cum a fost cazul în Statele Unite când maşinile Toyota, când frânai ele accelerau. Au fost câteva evenimente rutiere. A călcat frâna şi a accelerat şi a intrat în coliziune și așa mai departe, chiar la Toyota, apropos de acuratețea softului.

Tudor Colțan: Cu privire la răspunderea civilă, Parlamentul European prin recomandare a propus un sistem intelligent, e o soluţie bună, au propus un sistem de asigurări asimilaţi celor pentru autovehicule, dar ei au spus în felul următor, avem 3 categorii: userii, designerii și producătorii, s-ar face un sstem de asigurări  la fel ca cel pentru autovehicule, dar cu niște garanții specific, de exemplu: cel care pune în circulaţie nişte roboţi cotizează la anumit fond pentru o eventual răspundere, mergând mai departe. Userul, când işi ia o maşină care se conduce autonom îşi face şi o asigurare pentru anumite cazuri de răspundere. Dar ce vag în raționamentul legiuitorului European, ei spun foarte clar că răspunderea trebuie ţinut neapărat de o persoană şi nu trebuie să se refere doar la robot, dar în acelaşi timp spune că răspunderea pentru asemenea device-uri care folosesc inteligenţa artificială nu trebuie limitată. Din punctul meu de vedere, e cam contradictorie, pentru că dacă te limitezi la o persoană e clar că ştii foarte bine că va răspunde doar persoana aia, dar în același timp dacă spui că nu trebuie limitată, clar te duci, și cum bine dumneavoastră ați spus, preiei ideea de distrugere a robotului sau eventual să-i aplici robotului o sancţiune.

Mihai Hotca: S-ar putea să spună robotul, să protesteze să facă plângere la CEDO, să spună, e pedeapsa cu moartea şi voi ați semnat la New York în 1984 Convenţia privind interzicerea pedepsei cu moartea şi nu o puteţi aplica, este împotriva drepturilor fundamentale, numai că sunt ale omului deocamdată drepturile. Dacă printr-un protocol adiţional la CEDO se vor extinde şi la persoana electronic, să spunem aşa, s-ar putea să spună, beneficiez şi eu la fel ca persoana fizică care, din perspectiva robotului, s-ar putea să fie un simplu biped, fără pene, și nimic mai mult. O să spună: Stai în banca ta, acum vorbesc eu și am drepturile mele. Ne apropiem vertiginous de final, dacă mai sunt intervenţii înainte de închiderea dezbaterilor, vă rog frumos.

Adrian Șandru: Referitor la răspunderea penală, cum ați spus dumneavoastră, mă gândesc că sunt nişte problem, dacă am reglementa acest aspect asupra tuturor funcţiilor pe care trebuie să îndeplinească o răspundere penală, mă gândesc cum s-ar îndeplini funcţia preventivă pentru că un robot cum ar preveni faţă de alți roboți, ar fi speriați ceilalți roboți de eventuale sancţiuni. Ar fi de discutat sub acest aspect, ca funcţie retributivă a dreptului penal, deoarece este greu de delimitat ce eficienţă are dreptul penal cum a spus foarte bine dna Dobozi, s-ar putea găsi alte pârghii prin care treptat să se rezolve această problem.

Mihai Hotca: Nu mai contează că va fi numită o răspundere penală sau răspundere civilă sau răspundere sui generis. Important este, cred că asta e concluzia care se desprinde pe baza celor dezbătute în această seară, că ar trebui mai de grabă să existe o reglementare, să vedem cum se transpune în practică pentru că ea trebuie să dea şi testul realităţii, şi sigur aşa să fie perfectibilă, să nu apară, cum se spune, mai întâi faptele, situaţiile în realitatea obiectivă şi apoi reglementarea. Cred că este un lux pe care nu ni-l permitem să apară, să aşteptăm evenimentele şi apoi să fie adoptată o reglementarea.

Cristian Bălan: În privinţa oamenilor, ştim că fiinţele umane nu pot fi copiate, în  privinţa roboților poate că această sancţiune de distrugere ar rămâne chiar lipsită de efect în concret pentru că poate robotul acela fiind inteligent să copieze toate datele sau să le transfere prin intermediul internetului sau alte resurse unui alt robot, distrugerea ar un act inutil pentru că tot ce se afla pe respectiva sau tot ce controla respectiva maşinărie se află pe o altă maşinărie.

Mihai Hotca: Apropo de inadecvarea dreptului penal, aici am putea discuta de o eventuală răspundere colectivă a tuturor care se află în situaţia respectivă, adică toată categoria de roboţi ar trebui scoase din uz. Nu mai putem. Este foarte clar că nu putem discuta despre paradigmele dreptului penal aşa cum a fost el conceput pentru persoana fizică, nici măcar pentru persoana juridică. Nu putem discuta când avem în vedere principiile dreptului penal întocmai aș zice, idem ca în cazul persoanei fizice. Evident că nu putem discuta. Aşa e şi aici, trebuie gândite lucrurile, aşezate şi pe urmă să se sedimenteze prin supunerea lor dezbaterii opiniei publice, prin atragerea atenţiei prin aceea fundamentare care ar trebui să însoţească, aşa cum se întâmplă de multe ori, cu actele normative europene. De foarte multe ori fundamentarea este foarte interesantă, arată foarte multe ipoteze ,şi atunci şi cei care vor dura, vor avea idei, se vor gândi, vor face propuneri şi aşa se întâmplă un pas mai în faţă, să progreseze în domeniul ăsta. Altfel nu văd cum, dacă stăm cu mâinile încrucişate, dataismul vine peste noi cu viteză pentru că nu văd nicio limită. Gândiţi-vă, că se discută de lărgirea bandei, de accesul cât mai rapid, de accesul la cât mai multe reţele şi aşa mai departe. Nimeni nu îşi pune problema până unde, când trebuie pus stop sau când trebuie instituită o limită. Sunt discuţii foarte, foarte interesante, provocatoare şi dacă nu sunt făcute cu toată seriozitatea, zic eu, nu vreau să spun, că sunt pesimist pentru că am făcut precizarea la început, vreau să plasez într o zonă realistă. Întotdeauna plec de la acea imagine a covrigului. Pesimistul vede numai gaura, nenorocirea, optimistul, conturul, zice: ce bun ar putea fi, şi realistul mănâncă. Eu zic că trebuie făcut ceva, trebuie să manifestăm un pic de pragmatism și realism astfel încât, ce se poate face, ce depinde de noi, juriștii, să facem. Și chiar dacă e ceva greșit, se poate corecta.

Adrian Șandru: Având în vedere că ați menționat despre optimism și realism, mi-a venit în minte definiția lui George Davison care se referee la de unde provine inteligența artificială, și spunea că asupra, există două tipuri ale creației: una spune că viața provine din noroi, iar celălalt spune că viața cade din cer. În privința roboților cu inteligență artificială putem spune că mecanismul provine din noroi, iar programul, softul, cade din ceruri.

Mihai Hotca: Einstein spunea că, fiind întrebat cum vede el al treilea război mondial a spus că nu știe, dar sigur al patrulea dacă va exista va fi cu măciucă. Sper să se înșele și sper să nu existe nici al treilea război mondial. Sper ca omul să fi ajuns la un nivel de maturitate încât să fie mai prudent și să nu își permite luxul de a lăsa lucrurile să scape de sub control. Eu vă mulțumesc tuturor pentru plăcerea deosebită pe care am avut-o în acest dialog provocator și interesant totodată. Vă lansez provocarea ca într-un viitor nu foarte îndepărtat, probabil în toamnă, ce ziceţi, într-o componență asemănătoare, să reluăm aceste dezbateri pe această temă. Eu cred că merită să ne batem, chiar dacă la un moment vom ajunge la concluzia, probabil peste 20 de ani, când vom constata că predicțiile lui Zetsche nu se îndeplinesc, că am făcut o activitate inutilă. Vom fi ca cel care, aflând că în grădina lui se află o comoară, a tot căutat, a tot căutat și săpând toată grădina și-a dat seama că nu e nicăieri comoara, dar a avut o mulțumire: a afânat considerabil solul. Bună seara tuturor și vă doresc să fiți robuști și antifragili!