Jak Chiny kontrolują internet oraz AI i czy Europa powinna brać z nich przykład?

Transkrypcja wygenerowana automatycznie przez sztuczną inteligencję

Jakub Górnicki [00:00:00] Hej!

Anna Górnicka [00:00:00] Cześć!

Jakub Górnicki [00:00:00] Z tej strony...

Anna Górnicka [00:00:01] Ania Górnicka.

Jakub Górnicki [00:00:02] I Kuba Górnicki. A to jest Outriders Podcast.

Anna Górnicka [00:00:05] Tworzymy unikalne reportaże audio o problemach i wyzwaniach na całym świecie.

Jakub Górnicki [00:00:10] Ale nie chcemy kończyć historii na tym, że jest tylko źle.

Anna Górnicka [00:00:13] Rozmawiamy z ludźmi, którzy szukają rozwiązań i patrzymy na to, co działa, co może działać i czego należy spróbować.

Jakub Górnicki [00:00:22] Tę audycję tworzymy dzięki wsparciu patronek i patronów i bardzo gorąco dziękujemy tym, którzy już są z nami. I po drugie zachęcamy do dołączenia do tego jakże szlachetnego grona na stronie patronite.pl/outriders. Możesz nas wesprzeć dobrowolną opłatą wedle Twojego uznania. Już z góry za to dziękujemy. Jak wybrane kraje starają się regulować cyberbezpieczeństwo swoich obywateli i hamować nieograniczony niczym rozwój sztucznej inteligencji. Prezydent Chin zgłosił żądanie stworzenia wzmocnionej w cudzysłowie bariery bezpieczeństwa otaczającej krajowy Internet. Ten ruch może pomóc wzmocnić obronę kraju w przypadku ataków na krytyczną infrastrukturę. Chińska administracja cyberprzestrzeni będzie nakładać na firmy produkujące narzędzia oparte o AI obowiązki w postaci czyszczenia zbiorów danych, które stolica uzna za dezinformację. Chiny regulują również rozpoznanie twarzy. Nowe prawo ma wprowadzić zakaz wykorzystywania narzędzi do rozpoznawania osób w oparciu o parametry przynależności etnicznej lub rasowej. Będzie to też dotyczyło stanu zdrowia. Czy Chiny chcą naśladować zachodnie standardy? W jaki sposób cenzura i ograniczenia internetu może być rozwiązaniem dla tak ogromnego kraju? I czy nowe przepisy mogą być rozluźnieniem państwa opresyjnego? O tym dziś po raz pierwszy z naszymi gośćmi.

Anna Górnicka [00:01:48] Naszymi dzisiejszymi gośćmi są Gosia Fraser, dziennikarka specjalizująca się w zagadnieniach prywatności i cyberbezpieczeństwa, autorka pierwszego w Polsce podcastu o filozofii technologii - Techspresso.cafe. Cześć Gosiu.

Gosia Fraser [00:02:02] Dziękuję za zaproszenie.

Anna Górnicka [00:02:04] I Adam Haertle specjalista do spraw bezpieczeństwa informatycznego, prelegent, trener i wykładowca. Cześć!

Adam Haertle [00:02:11] Cześć. Dzień dobry.

Anna Górnicka [00:02:12] No właśnie. Tak naprawdę na samym początku przejdźmy do tego pierwszego pytania i chciałabym zapytać o to Adama, żeby uporządkować trochę pojęcie cyberbezpieczeństwa. Jakie definiujemy? Czym ono jest? Bo dużo pojęć może nam się na to nakładać. Adam Również to uporządkować.

Adam Haertle [00:02:29] Pewnie jak ze wszystkim, co nowe w naszym życiu. Te definicje nie są takie jednoznaczne i nie znajdziemy ich w żadnej drukowanej, porządnej encyklopedii, która zajmuje 4 półki. Ale generalnie można powiedzieć, że to te wszystkie rzeczy, które robimy, które mamy, które kupujemy, które wdrażamy, żeby chronić nasze informacje, które przechowujemy w formie cyfrowej i przez ochronę. Mam na myśli, że dbamy o to, żeby one pozostały poufne w takim zakresie, w jakim tego oczekujemy, żeby nikt ich nam nie zmieniał bez naszej wiedzy i żeby one były dostępne. To też jest ważne, że możemy zakopać coś pod ziemią, ale to nie będzie dostępne. To nie jest technika zabezpieczania. Tak więc jeżeli zapewnimy poufność, integralność i dostępność tych danych, to mówimy, że zapewniliśmy ich bezpieczeństwo i to wszystko, co robimy, żeby to osiągnąć. Myślę, że można zdefiniować jako właśnie to wielkie cyberbezpieczeństwo.

Anna Górnicka [00:03:17] Gosiu, czy chcesz coś tutaj dodać?

Gosia Fraser [00:03:19] Powiedziałabym, że cyberbezpieczeństwo dzisiaj możemy też rozumieć jako praktyki, które podejmujemy osobiście, bo to już nie tylko technologie czy narzędzia, z których korzystamy, żeby zabezpieczyć usługi cyfrowe czy produkty łączące się z Internetem, ale też praktyki, które my podejmujemy jako użytkownicy, żeby pozostawać osobami cyber bezpiecznymi. Mam tutaj na myśli w szczególności konieczność zachowania pewnej higieny cyfrowej, od której zależy bardzo wiele, czyli działania, które podejmujemy po to, żeby bezpiecznie korzystać z kont w różnych usługach cyfrowych, do których się logujemy. Podstawa, czyli unikalne, silne hasła. Są też bardzo istotne dzisiaj zagadnienia wokół biometrii. Dane biometryczne, czyli jedyny sposób uwierzytelniania, którego nie możemy w żaden sposób wymazać. Nie możemy go zmienić. Te dane posiadamy raz w życiu i nie jesteśmy w stanie przecież zmienić swojej. Swoich odcisków palców ani swojego skanu oka. I to są takie kwestie, które powinniśmy sobie rozważyć jako osoby, które bądź co bądź zanurzają się w tym świecie cyfrowym w coraz szerszym zakresie. Bo w zasadzie chyba nie ma już dzisiaj dziedziny życia, która by ze sferą cyfrową nie miała nic wspólnego. Jesteśmy zmuszeni do korzystania z tych usług w pracy, w edukacji również. Nasza rozrywka w zasadzie w całości przeniosła się do usług cyfrowych. Nasze domy są pełne urządzeń, które łączą się z Internetem, więc świadomość cyberbezpieczeństwa i świadomość też zagrożeń, które w tym obszarze powstają, jest kluczowa, żebyśmy mogli czuć się spokojnie i wiedzieć, że bezpieczeństwo naszych danych, które są w zasadzie to, że powiem, że są walutą najważniejszą na świecie, to już jest wyświechtany slogan, ale one stanowią o tym, czy możemy czuć się bezpiecznie już w ogóle, bo mówimy tutaj między innymi o bezpieczeństwie finansowym, o tym, że nadużycia dostępu do naszych danych osobowych, do danych, które zapisujemy na swoim urządzeniu, może się przełożyć na całkiem realne skutki, jak na przykład utrata wszystkich środków na koncie. To są zagadnienia, które również mają związek z cyberbezpieczeństwem i bardzo często niestety je pomijamy, myśląc, że hiper jest tylko i wyłącznie domeną ludzi technicznych, ludzi czuwających nad bezpieczeństwem infrastruktury krytycznej, bezpieczeństwem narodowym. Nie. Cyberbezpieczeństwo dotyczy każdego z nas.

Anna Górnicka [00:05:56] Dokładnie tak. Określając taką mapę cyberbezpieczeństwa mam tutaj na myśli jak wygląda sytuacja na świecie, z jakimi problemami mierzy się Europa, z jakim mierzy się Azja? Czy da się to rozgraniczyć regionalnie, czy tutaj musimy patrzeć inaczej, szerzej albo węże, albo węża.

Gosia Fraser [00:06:14] Krajobraz cyber zagrożeń jest oczywiście zależny od wielu czynników, m.in. od układów geopolitycznych, w których się znajdujemy. W Europie te zagrożenia wyglądają inaczej, w Stanach Zjednoczonych również kształtują się inaczej. Żeby zyskać pewną orientację na ten temat, warto na przykład zajrzeć do jawnej części strategii cyberbezpieczeństwa Pentagonu na 2012 rok. Przeczytamy tam, że najważniejszym cyber zagrożeniem, z którym obecnie mierzą się Stany Zjednoczone, uważam, że również Europa. Traktować ten problem priorytetowo. To jest rosnąca potęga Chin i to jest zdolność Chin do wykorzystywania ofensywnych działań w cyberprzestrzeni, np. do celów szpiegowskich po to, aby pozyskiwać dane o wysokiej wartości wywiadowczej i używać ich nie tylko do realizacji celów gospodarczych. Bo przyzwyczailiśmy się myśleć o chińskim szpiegostwa w kontekście budowania przewagi gospodarczej i złodziejstwa własności intelektualnej, ale również do realizacji celów politycznych. I Stany Zjednoczone znacznie wyżej czują zagrożenie ze strony Chin niż zagrożenie ze strony Rosji i cyberprzestępców działających na zlecenie Putina. Co dla nas z perspektywy Europy może być dziwne, bo przecież mamy wojnę na Ukrainie, to jest w zasadzie to za wschodnią granicą i hakerzy działający na zlecenie Putina, czy też aktywiści to jest zagrożenie, z którymi my się np. mierzymy na co dzień. Polskie instytucje odpowiadające za cyber codziennie w zasadzie przeżywają jakieś cyberataki związane z wystąpieniem tego konfliktu. Ale na przykład Stany Zjednoczone twierdzą, że zagrożenie ze strony Rosji jest znacznie mniej istotne niż to zagrożenie chińskie, o którym wspomniałam. Myślę, że w Europie zagrożenie chińskie lekceważymy, bo Unia Europejska prezentowała do tej pory taką dosyć otwartą postawę względem Chin. To się mści na wielu polach i aktualnie mamy do czynienia z takim zamykaniem tej wcześniej otwartej bramy, Ale Chińczycy zdołali już bardzo mocno wstawić stopę między drzwi i jest bardzo trudno te stosunki aktualnie zmienić.

Anna Górnicka [00:08:28] Właśnie te Chiny są tutaj przyczynkiem do tej naszej rozmowy. I idąc dalej jak Chiny starają się czy kontrolują firmy produkujące narzędzia oparte o AI.

Jakub Górnicki [00:08:40] I czy to jest w obszarze bezpieczeństwa, jest takim pięknym słowem, bardzo często wykorzystywanym przez przez polityków jako taki przyczynek do wprowadzenia właśnie jakiegoś prawa. Ma być bezpieczny, ale z reguły za tym jak się tak spojrzy głębiej, no to albo są jakieś nadużycia, albo jest jakieś ograniczenie czy naginanie swobód, swobód obywatelskich. Gdzie w tym wszystkim są Chiny?

Gosia Fraser [00:09:05] To znaczy Chiny w ogóle inaczej patrzą na kwestie swobód obywatelskich niż świat zachodni z tego względu, że Chiny to jest społeczeństwo przede wszystkim kolektywne. Tam jednostka nie ma tak silnej pozycji politycznie i również jeśli chodzi o taką filozofię społeczną, jak to ma miejsce na Zachodzie i regulacje sztucznej inteligencji tutaj śmiem twierdzić, że poniekąd jestem osobą, która dosyć dobrze to zmarnowała. Polecam przeczytanie mojej analizy na temat tego, w jaki sposób powstają regulacje sztucznej inteligencji. Napisałam ją na zlecenie serwisu Saber 24. To są pierwsze regulacje tak kompleksowe regulacja sztucznej inteligencji na świecie w ogóle od tego zacznijmy. Chiny zaczęły prace nad nimi wiele lat temu. Pierwsze regulacje dotyczące i zaczęły powstawać tam w roku 2016 17, czyli w czasie, kiedy my w ogóle się tym nie zainteresowaliśmy i w ogóle nie zwracaliśmy uwagi na potencjał tej technologii. Było tylko wiadomo, że kiedyś będzie jakaś sztuczna inteligencja, która będzie coś robiło, a tak być może coś zmieni, być może będziemy mieli do czynienia z usługami opartymi o ten zakres technologii. A Chiny wyszły z inicjatywą, powiedziały po prostu to jest jedna z kluczowych technologii ping. Myśląc o kolejnych latach rozwoju Chin, o kolejnych w zasadzie dekadach inwestycji w technologię już parę lat temu podkreślił, że sztuczna inteligencja musi być jednym z priorytetowych pól rozwoju technologicznego w Chinach i że ona jest takim kluczem do zaawansowania zarówno technologicznego, gospodarczego, jak i technologicznego, militarnego. Czyli mamy zastosowania algorytmów na przykład zautomatyzowanym podejmowaniu decyzji. To jest coś zupełnie innego niż chatboty, o których dzisiaj najczęściej mówimy i w ogóle tutaj taka mała adnotacja. Chatboty to nie jest sztuczna inteligencja, to są po prostu duże modele językowe, które przetwarzają duże ilości danych, wypluwają wyniki powstałe w wyniku przetwarzania tych danych, ich analizy, ich zestawiania i odpowiadają na nasze pytania. Ale nie ma to nic wspólnego technicznie z tak zwaną silną sztuczną inteligencją, która w zasadzie jest takim świętym Graalem obecnego dążenia do rozwoju tej dziedziny. Chińskie regulacje przede wszystkim mają chronić państwo. To jest taki jakby przyczynek do rozmowy w ogóle o tym, jak jak Chiny je budują. One mają chronić interes polityczny państwa, one mają zabezpieczać stabilność ustrojową Chin, one mają sprawiać, że będzie wszystko się sprowadza do dalszego rozwoju. Do wzmocnienia potęgi i społecznej, i gospodarczej i militarnej. Tak jak już powiedziałam, i te wytyczne, które są w Chinach jakby kluczem. One dotyczą przede wszystkim kontroli nad informacją. Dwa dni temu, bodajże Chińska Administracja Cyberprzestrzeni opublikowała nowe wytyczne dotyczące wypuszczania na chiński rynek produktów uwzględniających moduły dużych modeli językowych. I tam np. znajdziemy bardzo ciekawe zapisy o czarnej liście danych szkoleniowych. To znaczy, że wśród zbiorów danych, na których możemy trenować nasze algorytmy, jest cały szereg informacji, który będzie zakazany w użyciu. Nie będziemy mogli trenować naszych algorytmów np. na informacjach, które są w Chinach ocenzurowane. Nie będziemy mogli trenować algorytmów, na informacjach, które zostaną uznane jako promujące terroryzm czy zawierające wywrotowe dla ustroju tezy i jak to ma być robione, a także każdy zbiór szkoleniowy, zanim zostanie użyty przez firmę rozwijającą jakiś produkt ma być dotowany przez instytucję państwową, przez jakąś tam właśnie delegatury tej chińskiej administracji cyberprzestrzeni, która oceni, czy mamy współczynnik szkodliwych i niedozwolonych treści poniżej 5 procent, bo jeżeli mamy go poniżej 5 proc., to ok, jedziemy dalej. Możecie wykorzystywać ten zbiór tych danych szkoleniowych do trenowania tego swojego produktu. A jeżeli to 5 będzie albo równe, albo przekroczone, to sorry Winnetou, ale tego zbioru danych nie użyjecie, bo on po prostu zagraża stabilności tych wartości, które my uznajemy w chińskim ustroju za słuszne. To co muszę powiedzieć, jak się wczytuję w te opracowania chińskich regulacji, to one są wewnętrznie bardzo spójne, one ze sobą rozmawiają, to są regulacje, które się uzupełniają. Nie ma tam praktycznie żadnych sprzeczności prawnych, nie ma do czynienia z zapisami, które by jedne, drugie wykluczały. To jest oczywiście moloch prawne i Chiny już teraz mają wielki problem z tym, jak to wszystko kontrolować, bo mają za mało ludzi w administracji, żeby móc spełnić wymagania, które same sobie narzuciły. Ale z drugiej strony ten aparat biurokratyczny też się rozrasta. On też jakby działa w odpowiedzi na regulacje, które powstają i ostatecznie myślę, że to jest wręcz bym powiedziała kontrowersyjnie wzór, z którego powinniśmy w Europie czerpać, bo to, co cechuje z kolei nasze regulacje, to jest to, że one są zawsze reaktywne, zawsze spóźnione. Margaret Thatcher powiedziała, że akt o sztucznej inteligencji będzie najwcześniej za trzy lata. To jest bardzo, bardzo dużo czasu. Do tego czasu będziemy mieli praktycznie wolną amerykankę i tak naprawdę dobrowolny kodeks dobrych praktyk, który został gdzieś tam w Unii Europejskiej sformułowany. Wiemy, jak wygląda samoregulacja, wiemy jak wyglądało przestrzeganie dobrowolnych kodeksów, dobrych praktyk w zakresie walki z dezinformacją i wiemy, że płacenie kar jest w pewnym sensie wliczone w koszty prowadzenia działalności przez Big Tech, Więc w tym zakresie myślę, że możemy sobie odpowiedzieć sami, jak to będzie wyglądało. Pora zmienić procesy regulacyjne w Unii Europejskiej, które jest głęboko zakorzenione w latach 80 tych i które moim zdaniem dzisiaj w ogóle się do niczego już nie nadaje.

Anna Górnicka [00:15:04] Dobry Adam, pytanie do Ciebie czy zgadzasz się z tym co mówi Gosia i z tym, że rzeczywiście państwa europejskie nie tylko powinny się wzorować na Chinach i generalnie jaki jest status czy w ogóle jakichś prac nad cyberbezpieczeństwem w Europie i w Unii Europejskiej.

Adam Haertle [00:15:19] Zdecydowanie to Gosia jest ekspertem od chińskiego i regulacji, więc nie śmiem kwestionować opinii. Natomiast faktycznie to, co Gosia wspomniała, mamy inny model podejmowania decyzji w Unii Europejskiej, szczególnie w momencie, gdy mamy do czynienia z szybko rozwijającymi się technologiami. On nie nadąża. I jest to wynikiem tego, że my podejmujemy decyzje trochę bardziej demokratycznie, a Chiny trochę bardziej autorytarnie. I tak jak ktoś powie, że tak ma być, to tak jest, a my dyskutujemy, dlaczego tak ma być i czy na pewno ma tak być. I to, że np. możemy ten podcast nagrać jest wynikiem tego, że żyjemy w trochę innej cywilizacji i trochę inną mamy kulturę tej dyskusji. Możemy tu powiedzieć co chcemy, czego nie moglibyśmy zrobić na chińskim rynku, więc trochę płacimy cenę za za to, że możemy mówić co chcemy. Tym, że możemy również powiedzieć trochę za dużo albo trochę za mało, albo trochę za późno. I faktycznie, te europejskie regulacje z reguły są bardzo ogólne, bo one muszą być zaakceptowane przez wszystkich graczy, którzy się pod tym w końcu podpiszą i zagłosują za. Więc jak czytamy, jakiekolwiek normy dotyczące cyberbezpieczeństwa w Europie, to one tak naprawdę jakby je tak ścisnąć do konkretów to zostaje tytuł i pieczątki na końcu. A i na dokładkę jeszcze to co Gosia powiedziała planowane na 2025. Regulacja tematu, które wybuchły już w tym roku naprawdę potężnie. To jest żart. Tak to jest. W 2025 będziemy mogli. Popatrzeć na to pogorzelisko, które zostało za nami.

Gosia Fraser [00:16:50] Ja bym się tu jeszcze chciała wtrącić. Z tym, że w ramach takiego disclaimer bo myślę, że dyskusja jest jednak dzisiaj bardzo potrzebna. Ja nie chciałabym, żebyśmy się wzorowali na Chinach w zakresie tego, jaką treść mają nasze regulacje, ale chciałabym, żebyśmy jednak trochę bardziej zdecydowanie podchodzili do kwestii podejmowania działań. Bo to, że podejmujemy te działania za późno, to już wyszło przy dachach i przy regulacji mediów społecznościowych. Myślę, że gdybyśmy się zabrali za kwestie takie jak RODO, które miało strasznie długie vacatio legis, też, to byśmy byli dzisiaj trochę bardziej do przodu z różnymi zagrożeniami, takimi jak dezinformacja czy na przykład wykorzystywanie naszych danych do celów manipulacji politycznych. A jesteśmy niestety bardzo w lesie i również regulacje takie jak DSA czy DRM a pokazują, że firmy tak naprawdę przez to takie opieszale podejście i przez te długie procesy decyzyjne niespecjalnie mają szacunek do europejskiego prawodawstwa. Tam sobie komisarz Breton pisze aktualnie listy do Elona Muska czy do Marka Zuckerberga, ale myślę, że niewiele to zmieni. I w kontekście regulacji po prostu podchodzimy do tych kwestii zbyt miękko i zbyt łagodnie traktujemy wielki amerykański biznes.

Jakub Górnicki [00:18:17] A wracając może to czy patrząc gdzieś w kontekście europejskim czy światowym, widzicie gdzieś jakieś dobre przykłady, gdzie jakiś rząd czy jakieś instytucje próbują jednak wdrożyć coś, co Waszym zdaniem można by nawet jakieś może mikroskali? Nie mówię totalnie, że to jest rozwiązanie kompleksowe, tylko coś, co można postawić za jakieś dobre rozwiązanie.

Gosia Fraser [00:18:35] To znaczy ja nie krytykuję unijnych regulacji jako takich, bo za każdym razem, kiedy jestem proszona o jakieś komentarze względem działań regulacyjnych, to ja mówię, że jeśli chodzi o meritum, to one są super, ale jeśli chodzi o wykonanie, to to wszystko pozostawia bardzo wiele do życzenia, bo zarówno RODO jak i serwis AGD czy market AGD de Sade na usługach cyfrowych i art. o rynkach cyfrowych to są pakietowe regulacje, które odnoszą się kompleksowo do obecnego stanu sfery cyfrowej. I na przykład regulacje, które mamy zawarte w DSA. Z perspektywy użytkowniczki ja postrzegam jako bardzo korzystne. Mamy wreszcie bat na platformę, żeby zaczęły robić coś w kontekście walki z mową nienawiści, w kontekście, z propagandą terrorystyczną. Również mamy obowiązek zaprzestania profilowania w oparciu o dane wrażliwe, takie jak orientacja seksualna czy wyznanie, czy dane o naszym zdrowiu. Ale z drugiej strony aparat, który jest odpowiedzialny za egzekwowanie tych regulacji, sobie nie radzi. Jakkolwiek mamy świetną treść, mamy przemyślane prawo, mamy wreszcie podjęte decyzje na poziomie politycznym, które nam, użytkownikom mają służyć i nas ochronić przed tym takim szowinizmem wielkich firm technologicznych. No to tak jak powiedziałam, aparat niekoniecznie sobie radzi. A kiedy wysłałam zapytanie do polskiej administracji o to, jak będzie wyglądał krajowy organ, który ma być odpowiedzialny za kontakty z Unią i egzekwowanie zasad ds. ŚDM w naszym kraju, to się dowiedziałam, że aktualnie nie są w stanie mi udzielić informacji. Oczywiście mówię to skrótowo, bo tam była wielka ściana tekstu, która się nie nadaje ani do cytowania, ani do publikacji, ale więcej na temat tego się dowiedziałam z zagranicznych mediów niż z polskiego resortu. I to jest dla mnie osobiście rzecz bardzo przykra, bo widzę, że na poziomie państwa członkowskiego, które jest liczne, jest ludne, po prostu nie ma zainteresowania w ogóle wdrażaniem tego.

Jakub Górnicki [00:20:44] Adam a dlaczego się nie zgadzasz z tym?

Adam Haertle [00:20:47] Zgadzam się. To jest trudne, bo świat się rozwija za szybko i ta technologia rozwija się za szybko i przepisy nigdy nie nadąża. I my możemy zawsze być aktywni, chyba że mamy wizjonerów, którzy powiedzą, co będzie ważne za trzy lata. Znacie kogoś, kto trzy lata temu powiedział, że w 2023 chatboty będą na topie? Wszyscy myśleli, że będzie jakieś NFC czy cokolwiek innego inne bazy VOD. Kto przewidzi bazy na rok przyszły, ten może zarobić nieograniczoną ilość pieniędzy, bo te spółki skaczą w górę, w dół w zależności od tego, co w mediach akurat wyskakuje. Więc my nie wiemy co będzie w przyszłym roku, a procesy legislacyjne nie zajmują miesięcy, tylko lata. A na dokładkę jeszcze, o ile porównujemy znowu demokratyczny z autorytarnymi, to w świecie autorytarnym ktoś powie tak ma być i tak jest w świecie demokratycznym słuchamy tych opinii, ale czyje są jeszcze te opinie, to warto zauważyć. Trochę chyba sugerowała, że mamy przecież wielkie korporacje. Tak więc to nie jest tak, tylko że politycy podejmują decyzje. Przecież wydaje mi się, że politycy są bardziej wykonawcami decyzji, które dostają od lobbystów, którzy naprawdę spędzają mnóstwo czasu, wysiłku, energii i pieniędzy na to, żeby wpłynąć na to, jakie te regulacje przyjmą kształt, bo one decydują o tym, kto ile na tym zarobi. W związku z czym to nie jest przypadek, że te plany wdrożenia regulacji sztucznej inteligencji w Europie sięgają na kilka lat naprzód. Bo gdybyśmy je wdrożyli dzisiaj, no to przecież zatrzymali byśmy rozwój biznesu. Co byłoby takie straszne dla tych wielkich korporacji, które planują na tym zarobić miliardy. Więc nie chcę tutaj budować teorii spiskowych, że to korporacje rządzą światem, ale de facto w naszym świecie to korporacje rządzą światem, a nie partia tak jak w Chinach. Więc to też powoduje, że te tarcia między politykami, interesami, wyborami i głosowania i pieniędzmi tych korporacji, które mają interes w tym, żeby te regulacje były takie, a nie inne, to zajmuje czas, zanim ustalą jedno wspólne stanowisko. No i potem jest efekt tego, że często te przepisy nie są na tyle restrykcyjne, żeby mieć na interesie głównie dobra obywateli, ale gdzieś starają się to pogodzić, tak żeby firmy dalej mogły się rozwijać, gospodarka mogła rosnąć, a obywatele byli jeszcze przy tym wszystkim w miarę nie poszkodowani. To nie jest łatwe do pogodzenia.

Gosia Fraser [00:23:09] Tak, Adam poruszył tutaj temat, który dla mnie jest bardzo istotny w pracy, bo ja bardzo często poruszam temat lobbingu wielkich firm technologicznych, które po prostu aktywnie zmieniają prawo, w którym się poruszamy. I właśnie odnośnie AI i aktu. Wielkie firmy technologiczne już w pewnym sensie zadziałały i poznały osłabienie zapisów o systemach wysokiego ryzyka. Szereg systemów, które miały być klasyfikowane jako systemy wysokiego ryzyka, nie będzie już tak klasyfikowane. I właśnie takim dobrym przykładem działalności lobbingu jest Samuel Atman, który jest szefem firmy Open Air. On był w ogóle w Polsce przyjęty podczas swojej wizyty w Warszawie jak bóstwo spłynęło z niebios na maluczkich i tylko było trzeba obserwować, jakie dane zdecydujemy mu się okazać. Przyniosło nam oczywiście również polskich pracowników, żebyśmy mogli się dowartościować i przekonać się, że Polacy nie są wcale tacy najgorsi, że jednak coś potrafimy, do czegoś się nadajemy. I to wszystko było takie, bym powiedziała strasznie kolonialne. Ja też właśnie często mówię, że Polska jest cyfrową kolonią i ta wizyta Hetmana doskonale to pokazuje. To my skręcamy przed bogami z Doliny Krzemowej i zgadzamy się w zasadzie na wszystko w zamian za obietnicę jakiejś inwestycji. On oczywiście obiecał, że w Polsce będzie inwestycja, która zatrudni nie pamiętam ile. Nie wiem czy Adam Ty pamiętasz, czy to było kilkadziesiąt, czy ponad sto osób. To już nie jest teraz ważne, ale Hartman lobbował skutecznie w Parlamencie Europejskim właśnie osłabienie zapisów w akcie w taki sposób, żeby jego produkty nie znalazły się na tej liście systemów wysokiego ryzyka. Mamy zatem możliwość uniknięcia nowych obowiązków, które będzie narzucał firmom dostarczającym usługi oparte o jej mamę. Znacznie mniejszą uwagę poświęcono temu, jakie dane osobowe, jak takie modele przetwarzają oraz jak mogą oddziaływać na nasze społeczeństwo. Bo już wiemy o tym, że różne modele językowe nie są zaprojektowane tak, żeby mówić prawdę, tylko żeby brzmiały przekonująco. I to jest przede wszystkim główny problem z nimi. One są zabawką, która w rękach aktorów nastawionych na manipulację społeczeństwem mogła okazać się całkiem niebezpieczną rzeczą. Ja zadałam podczas jednej z dyskusji takie pytanie przedstawicielowi Ministerstwa Cyfryzacji To był pan pułkownik wojewoda. Czy Polska jest przygotowana mentalnie na nadejście ataków polegających na zatruwania zbiorów danych, które będą używane w rozwiązaniach obejmujących algorytmy w sferze publicznej, w administracji? I odpowiedź, którą otrzymałam, była dla mnie zdumiewająca, bo pan wojewoda powiedział mi, że obecnie takie ataki to jest pisanie palcem po wodzie i to jest dosyć nierealne. Tak, ale one kiedyś będą i wtedy będzie trzeba być na to przygotowanym. Ale obecnie? Obecnie to nie jest w ogóle rozważane, to nie jest w sferze zainteresowania resortu, a jednocześnie powiedział on jest przecież szereg takich systemów podejmujących decyzje, oczywiście zrewidowane przez człowieka, jest już w Polsce, w administracji wykorzystywane. Kiedy zapytałam, ile jakich, to powiedział, że w tym gronie na to pytanie nie odpowie. Okej, rozumiem. Natomiast jest to taka, bym powiedziała trochę niefrasobliwość, tak mówić mi, że nie jesteśmy przygotowani na ataki związane z datą, a z drugiej strony chwalić się, że. Takie systemy algorytmiczne. Najpierw tam podejmuje decyzje na jakiś szczątkowych etapach procesów, które gdzieś tam potem ktoś zatwierdza, bo czas na zatwierdzenie takiej decyzji. Wiadomo, urzędnicy mają mnóstwo pracy i nikt się nie będzie zastanawiał sto lat, czy ten algorytm podjął dobrą decyzję czy nie. Tylko po prostu przeważnie założę, że tak, no bo jak to jest takie dokładne i tak ma super działać, to klepie tę decyzję. Następna Dobra, tak, bo ja muszę dzisiaj wyrobić limit, bo naczelnik się na mnie w pełni, że ja znowu nic nie zrobiłem czy nie zrobiłam w tej robocie. I tak to w praktyce wygląda. Natomiast lobbing Atmana pokazuje, że my jako Europa jesteśmy strasznie podatni, bo nam ciągle można wcisnąć bajeczkę o inwestycjach, o miejscu pracy, o wciągnięciu partycypacji Europe w rozwoju kluczowych technologii i tak dalej, bo my jako Europa swoich nie mamy. Paradoksalnie te regulacje, które są fajne, które chronią użytkowników, one. I tutaj niestety muszę oddać pewną prawdę biznesowi, one doprowadziły do tego, że biznes w Europie albo się nie rozwinął w pewnych aspektach, albo się rozwijał znacznie wolniej, czy nadal się rozwija znacznie wolniej, bo Amerykanie robią co chcą. Oni po prostu biorą sobie dane osobowe swoich obywateli, mielą to wszystko, w ogóle się tym nie przejmują. I dlatego mamy potęgę open air i innych firm, a dlatego mamy mizeria w Europie i służalczość państw takich jak Polska względem Big Czechów czy innych graczy z Doliny Krzemowej. To są bardzo złożone kwestie, których obecnie nie da się łatwo rozwiązać, bo musielibyśmy zmienić wydarzenia z przeszłości, a takiej mocy nie mamy. Możemy tylko zaprojektować polityki cyfrowe w kolejnych latach możemy inwestować w rozwój firm u siebie, bo warto też powiedzieć sobie o jednym budżet USA na rozwój sztucznej inteligencji jest ogromny, ale ograniczony. I dla kontrastu znowu wejdźmy do Chin. Budżet na rozwój w Chinach jest ogromny i nieograniczony. I to jest znowu punkt, kiedy państwo autorytarne bierze nad nami górę, nad naszymi mechanizmami demokratycznymi, które są słuszne i sprawiedliwe. Ale u nas mamy ograniczenia w wydatkowaniu w sferze budżetowej, a w Chinach nie mamy tych ograniczeń, więc ostatecznie dlatego właśnie Chiny są zdecydowanie większym zagrożeniem. I to regulowanie, niemądre regulowanie z punktu widzenia Europy też jest zagrożeniem. Bardzo trudno jest znaleźć w tym wszystkim balans. Ja skłaniam się do opinii takiej, że nie jesteśmy w stanie nadgonić Stanów Zjednoczonych biznesowo jako Europa i powinniśmy skupić się na tym, żeby chronić prawa obywatelskie, chronić prawa człowieka w przestrzeni cyfrowej. A to właśnie mogą regulacje. I na tym powinniśmy się koncentrować, by niestety nie tylko Polska, ale inne kraje w Europie po prostu traktują jak swoje kolonie.

Jakub Górnicki [00:29:44] Adam, a ty jesteś raczej zwolennikiem czy przeciwnikiem takich ostrych regulacji, szczególnie jeśli chodzi o kontekst europejski.

Adam Haertle [00:29:50] To zależy jaką czapeczkę akurat mam na głowie, bo ja też jestem przedsiębiorcą, więc wolałbym mniej regulacji i też jestem konsumentem i wolałbym jednocześnie więcej. To jest trudne pytanie, bo trudno jest to wyważyć tak, żeby nie wpaść w tę pułapkę, o której się wspomniała, że odpowiedzmy sobie na pytanie, dlaczego w Europie nie mamy Facebooka i innych tego typu startupów, które stały się tymi kosztami, tymi miliardy dolarów, nawet dwa, może trzy, mamy Skype'a czy czy, czy jakichś pośredników finansowych. W Stanach ten rynek wygląda zupełnie inaczej. A teraz pytanie czy chcemy za cenę posiadania kilku dużych, potężnych startupów technologicznych, które zmienią świat, zrezygnować np. ze swojego prawa do prywatności i ochrony naszych danych osobowych? Chociaż tak jak rozmawiam z Amerykanami odnośnie tego, jak wygląda ochrona danych osobowych Amerykanami poza Kalifornia, bo tam już zaczęli coś robić, to oni łapią się za głowę i mówią ale jak możesz w ogóle robić biznes w kraju, w którym nie wolno ci wziąć danych klienta i zrobić z nimi to, czego właśnie zamierzasz z nimi zrobić? Przecież oni by nie mieli żadnego Ubera, FB czy czy którejkolwiek z tych spółek, gdyby musieli przestrzegać europejskich przepisów. Ale to wychodzi daleko poza technologię, tak jak np. bezpieczeństwo żywności w Europie. Żeby dodać cokolwiek do produktu, który potem wkładamy do lodówki, to to trzeba naprawdę skończyć kilka kierunków studiów i zatrudnić kilkudziesięciu ekspertów, którzy to sprawdzą pod każdym kątem, z każdą listą regulującą co możemy jeść, a czego nie możemy. A w Stanach po prostu robią tak i dopóki nie jest zakazane, to jest dozwolone i jazda. Więc to jest zupełnie inna filozofia, która faktycznie przyczynia się do rozwoju biznesu tam, gdzie regulacje są dużo słabsze, ale też jednak sprawia, że obywatele są dużo mniej chronieni. I na przykład dla Amerykanów jest zupełnie normalne, że dostają od swojego sklepu informację to gratulacje, że jesteś w ciąży. Tu masz ofertę ubrań dla niemowląt. Rodzice, którzy widzą ten list jeszcze nie wiedzą, że ich córka jest w ciąży. A sklep już wie, bo przeanalizował jej zakupy. Tak samo jak ludzie zadają potem pytanie teraz jest jakieś nowe, cudowne lekarstwo na otyłość w Stanach? Jakiś sklep opublikował informację No my wiemy, że ludzie, którzy kupują to lekarstwo, kupują potem mniej słodyczy i mniej napojów słodzonych i natychmiast akcje producentów słodyczy i napojów słodzonych spadają w Stanach. A skąd sklep wie? Przecież nie wolno analizować zakupów farmaceutycznych, na przykład w Stanach tak szczegółowo. No ale jakoś jakoś się jakoś wie w Europie, jak powiemy ludziom, że ich zakupy kartami kredytowymi są wszystkie malowane i analizowane. I to są dane, które się normalnie kupuje. Ile kupiono Big Maców w Warszawie w zeszłym roku? Proszę uprzejmie, Są te liczby na rynku do kupienia, To ludzie robią wielkie oczy. Jest ustawa, ale my jesteśmy monitorowanie, Amerykanie mówią dobrze, no i tak więc żyjemy w zupełnie innych światach, płacimy cenę nieco mniejszego rozwoju technologicznego i mniejszego tego progresu. Ale czy warto? Ja jako konsument wolę, żeby moje dane były lepiej chronione, moja prywatność lepiej zabezpieczona przez państwo, bo to jedyny gwarant. Żadna firma mi tego nie zagwarantuje, bo może mnie oszukać bez konsekwencji.

Jakub Górnicki [00:33:02] A czy my jesteśmy w stanie to wytłumaczyć ludziom, że to jest wartość? Wiesz, no.

Adam Haertle [00:33:06] Myślę, że Europejczycy to dobrze rozumieją, bo potem robią wielkie oczy jak słyszą, że w Stanach można tymi danymi normalnie handlować. Taka to świadomość prywatności. W Europie mamy całkiem sporą. W drugą stronę to gorzej działa. Tak, Amerykanie nie. Jak to działa u nas? My raczej zaakceptowaliśmy to, że jest tak, jak jest. Przeciętnemu Europejczykom i nie przeszkadza to, że Facebook jest amerykański, czy że IBM jest amerykańskim. Kupuje, korzysta, nawet nie świadom tego, jak jego dane potem są przetwarzane. Nie boli go.

Gosia Fraser [00:33:34] To. Ja też chciałam dodać, że myślę, że i moja i Adama działalność przyczyniła się znacznie do zwiększenia tej świadomości i to też jesteśmy w stanie uświadomić to ludziom. Ja myślę, że tak, z tego względu, że ja już widzę efekty swojej działalności, dostaję realne listy, dostaję realne wiadomości od osób, które pod wpływem moich treści, artykułów, mojej pracy zmieniły zdanie na jakiś temat, to znaczy nie zainwestowały np. w chińskiego robota sprzątającego albo w obrączkę, która zachowuje się jak smartwatch i mierzy po prostu wszystkie parametry życiowe. I to są decyzje na poziomie konsumenckim, które ktoś podejmuje, wymienia chiński telefon na inne, nie korzysta z niektórych usług w ogóle. Zrobiłam całą akcję wokół uświadamiania na temat zagrożeń związanych z aplikacjami do śledzenia zdrowia reprodukcyjnego. To jest segment, który jest wśród kobiet bardzo popularny z tego względu, że osoby miesiąc żyjące po prostu muszą sobie gdzieś zapisywać informacje o swoim cyklu. My kiedyś to robiliśmy w kalendarzu kach, które mają bardzo złą reputację i są obcinane, bo wiadomo, że żyjemy w państwie, które nie jest jeszcze państwem wyznaniowym, ale nie brakuje mu tutaj dużo. I kalendarzyk się kojarzy jednoznacznie. Aplikacja jest fajna, nowoczesna, przypomni sama, kiedy będzie kolejna miesiączka itd. Przypomni kiedy jest owulacja. Można sobie różne rzeczy sprawdzić, ale okazało się, że kilka takich najpopularniejszych darmowych programów do monitorowania miesiączki po prostu przekazywać te dane Facebookowi, Google'owi i innym big time. I nagle budzimy się w rzeczywistości takiej jak w Stanach Zjednoczonych, gdzie w ubiegłym roku Sąd Najwyższy zniosło precedensy organizujące aborcję na poziomie federalnym i natychmiast powstało prawo do wprowadzenia zakazu aborcji na poziomie poszczególnych konserwatywnych stanów. I te konserwatywne stany z tego skorzystały. Mamy więc kilkanaście stanów analizujących aborcja w różny sposób i okazało się, że dane o zdrowiu reprodukcyjnym, które jest aplikacji do monitorowania miesiączki, były kupowane przez data brokerów, są po prostu do kupienia razem z profilami kobiet, które te dane wygenerowały i można sobie np. sprawdzić łatwo, kto przestał miesiączkowe, bo zaszła w ciążę, a potem się udało. Na podstawie danych z map Google'a do kliniki umożliwiającej wykonanie aborcji w innym stanie, tak i my już wiemy o tym, że dane pozyskane w ten sposób zostały wykorzystane do oskarżenia kogoś o dokonanie aborcji. Ten proces się dalej toczy. Ta dziewczyna nie została jeszcze skazana, ale wiemy już o tym, że cyfrowy dowód pozyskany właśnie w ten sposób, zakupiony od data brokera, po prostu stał się dowodem pozwalającym na karanie tego, że osoba chciała skorzystać ze swoich praw reprodukcyjnych i wyjechała do stanu, gdzie dokonywanie takiego zabiegu przerywania ciąży było nadal legalne. Czyli to już jest naruszenie prywatności i. Naszych danych do rzeczy, która naprawdę powinna otworzyć oczy znacznej części populacji, a być może jeszcze większej. Myślę, że wielu facetów absolutnie by nie chciało takiego nieszczęścia dla swojej żony czy partnerki czy córki. I dać do myślenia. Bo to już nie chodzi tylko o to, że będziemy mieli droższe ubezpieczenie, bo jemy big maki i to czujemy się źle i mamy ryzyko choroby serca. Ale tutaj chodzi o to, że mogą zostać podjęte przeciwko nam realne działania, które doprowadzą po prostu do naruszenia naszych wolności osobistych. A że władza, która skręca w autorytaryzm, nie ma zamiaru się zatrzymać, to myślę, że tym bardziej powinniśmy wziąć to pod uwagę.

Anna Górnicka [00:37:28] Adam chcesz coś dodać do tego?

Adam Haertle [00:37:30] Nie masz racji. To nie jest.

Anna Górnicka [00:37:34] Dobrze, bo chcę was jeszcze zapytać tak obrazowo, co zmieniają te regulacje? Jeżeli patrzymy na Europę, albo konkretniej na Unię Europejską i obecnie prowadzone są rozmowy, wiemy, że jest perspektywa długoterminowa pewnie kilku lat, co ma szansę się zmienić po ich wprowadzeniu. Mam wiedzę, żebyśmy poczuli tak naprawdę jaki stan mamy obecnie, co nam grozi aktualnie i jak te regulacje mogą zmienić nasze życie w tą dobrą stronę.

Adam Haertle [00:38:03] Ja mam wielką nadzieję, że pojawi się regulacja, która jest już z tego co się opowiada w Chinach, czyli tak. Mam nadzieję, że chińska regulacja zostanie przeniesiona do Boga. Powiedziałem to głośno i na nagraniu. Wymusza, wymusza oznaczenie w generowanych materiałach informacji, że one są wygenerowane. Ja nie widzę jeszcze dzisiaj masowego zastosowania takich generowanych materiałów w manipulacji przestrzeni publicznej. Natomiast łatwość, z jaką można to zrobić powoduje, że prędzej czy później one się pojawią na dużo większą skalę niż dzisiaj. I ja na razie znalazłem jeden przykład, gdzie przestępcy wygenerowali sztuczną przemowę pana premiera, namawiając do inwestycji w materiały, które polegają na wyłudzenie pieniędzy od ludzi. Ale łatwość, z jaką można wygenerować kolejne 20 30 spowoduje, że to będzie jak kiedyś mówiłem, że tego długo nie będzie, bo przestępcy czy manipulatorzy informatorzy dzisiaj nie generują sztucznych materiałów. Najczęściej tylko biorą już materiały istniejące i po prostu dają inne podpisy w innym języku. Na przykład materiał jest i nikt go nie rozumie, więc czyta napisy i myśli, że tam ktoś powiedział właśnie coś innego, albo przedstawia się jakieś zdjęcie w innym kontekście. Przenosi się zdjęcia z Syrii do Turcji i już jest wszystko pasuje. Więc często ta manipulacja dzisiaj nie polega jeszcze na tym, że jest wygenerowany materiał w stu procentach fałszywy. Natomiast on będzie. On będzie. Jeden przypadek, próba manipulacji kursami akcji w Stanach, gdzie pokazano zdjęcia z rzekomej eksplozji w Pentagonie wygenerowane całkowicie sztucznie. I faktycznie na chwilę giełda amerykańska skoczyła, bo boty, automaty, które czytają te niusy zobaczyły niusa na Twitterze. Wybuchł w Pentagonie nius negatywny sprzedajemy, więc poleciało trochę w dół. Kto wiedział, że poleci, ten zarobił. To będzie i to będzie. Więc jeżeli pojawi się faktycznie obowiązek, żeby każdy automat generujący takie treści dodawał ten znaczek, że to jest wygenerowane przez przez automat i że to jest sztuczne, to byłoby super. Tylko tu jest problem, że teraz tak jak mamy na przykład zakaz produkowania fałszywych dowodów tożsamości w Polsce od paru lat już mamy. Kiedyś nie było. Teraz już mamy na szczęście, bo i co zrobiły sklepy produkujące fałszywe dowody tożsamości? Przeniosły się poza Unię i dalej je produkują, dalej je sprzedają, tylko są jakby poza, poza zasięgiem. Więc to, co trzeba zrobić, niestety, to zrobić regulacje globalną, co podnosi próg trudności wdrożenia pewnie o kilka rzędów wielkości, bo teraz się będą musiały dogadać z Rosją, Chinami i Iranem, co raczej się szybko nie wydarzy z oczywistych powodów. No ale jak będzie zakaz generowania materiałów bez oznaczeń w Unii Europejskiej to ludzie będą generować w Stanach i dalej publikować. Jak będzie w Stanach i w Europie to będą generować w Rosji i dalej publikować. Dostawca usług zawsze się gdzieś znajdzie. Kto weźmie pieniądze za to, że można ominąć jakiś zakaz? Więc to jest ten problem, że jeżeli chcemy jakoś ograniczyć to, co się będzie działo, to musimy to robić globalnie. I to musi być we wspólnym interesie wszystkich, wszystkich krajów na całym świecie, co do tej pory nie sprawdza się najlepiej eufemistycznie.

Gosia Fraser [00:41:10] Całkowicie się zgadzam z Adamem, a osobom, które by chciały się dowiedzieć jak skutecznie wprowadzić odpowiedzialność za materiały generowane przez AI, ale nie chce im się czytać mojej analizy, to przedstawiam tutaj wersję głosową, która obejmuje to, że mamy penalizacji na kilku poziomach. Mamy penalizację firmy, która wypuściła narzędzie do generowania wypadków, ale to narzędzie nie posiada wbudowanej funkcji automatycznego oznaczania. Mamy penalizacja dla. Mnie oznaczył używając narzędzia, które takiej funkcji nie ma i mamy penalizacja dla sieci społecznościowej, która kosztuje taki materiał i nie wymusiła na użytkowniku oznaczenia. Czyli mamy odwzorowanie tego penalizacja tak naprawdę ze wszystkich stron. I ciekawe jest to, że w Chinach odpowiedzialność za kwejka ponosi nie tylko user, którego stworzył, ale też właśnie firma, która dostarczyła narzędzie do stworzenia takiego materiału. I dlatego to ma być niby skuteczne. Nie wiemy jak z tą skutecznością jest, bo na razie mieliśmy parę pokazowych procesów, ale takich naprawdę pokazowych, że nie trzeba o nich mówić, bo to było aż żenujące. Natomiast ja sama się bardzo przyglądam dezinformacji i manipulacjom wokół wojny izraelsko palestyńskiego. To jest teraz taki temat, na który siadłam i jestem ciekawa, czy tutaj będziemy mieli do czynienia z tego rodzaju rzeczami, bo jak na razie to widzieliśmy Putina i Ławrowa, którzy nagrania przedstawiające tych polityków z jakiejś konferencji, które w przeszłości się odbywały, zostały po prostu wycięte i zostały do nich montowane. Głos, który mówi zupełnie co innego niż mówiły te postacie, to można. Jeżeli ktoś rozumie po rosyjsku, to można to odczytać z ruchu warg na nagraniu. I to się nie trzyma specjalnie kupy. Ale już takie manipulacje właśnie się pojawiły, że Putin wyraża wdzięczność Hamas owi za to, że był ten atak na Izrael i tak dalej. I jest to oczywiście rozgrywane w kontekście wojny na Ukrainie. I to jest, myślę, taki ciekawy wektor, jaki mogą się wkrótce pojawić.

Jakub Górnicki [00:43:22] I tym miłym akcentem, waszą zgodą chcieliśmy wam bardzo serdecznie podziękować za tę arcy ciekawą rozmowę i za przyjęcie zaproszenia do naszego podcastu. Bardzo Wam dziękujemy.

Adam Haertle [00:43:33] Dziękujemy.

Gosia Fraser [00:43:33] Dziękuję serdecznie i myślę, że w wielu kwestiach byśmy się mogli dalej zgadzać.

Jakub Górnicki [00:43:38] A my zawsze liczymy na małą kłótnię, ale.

Anna Górnicka [00:43:42] Próbujemy, ale nie natrętnie, ale nie natrętnie, tylko dopytujemy a może.

Adam Haertle [00:43:47] Mamy wystarczająco kłótni w tym kraju.

Anna Górnicka [00:43:51] To dobrze, że się zgadzacie i myślę, że ten temat tak naprawdę będziemy do niego wracać. Będziemy Was jeszcze pewnie nieraz zapraszać.

Jakub Górnicki [00:44:02] A już na sam koniec bardzo chcielibyśmy z Anią i całym naszym zespołem podziękować wszystkim, dzięki którym powstaje ta audycja i powstaje całe Outriders, czyli naszym patronkom i patronom. Ta lista rośnie, co bardzo nas cieszy i bardzo dziękujemy. Zachęcam Was wszystkich do wspierania nas dobrowolnymi wpłatami w serwisie Patronite samemu, samej, sama, sami decydujesz o kwocie wsparcia, a my polecamy się i dziękujemy za Wasze oceny na Spotify, Apple czy innych platformach, na których nas słuchacie. I do usłyszenia w kolejnym tygodniu.