PL | EN
22 listopada 2023
Jak AI pomaga w walce z hejtem i mową nienawiści? Przykład Niemiec i USA
#88

Jak AI pomaga w walce z hejtem i mową nienawiści? Przykład Niemiec i USA

W Europie kwestia mowy nienawiści staje się coraz większym problemem w związku z narastającymi konfliktami i polaryzacją społeczną. Wzrost retoryki, która dzieli i języka dyskryminującego stwarza zagrożenie dla spójności społecznej i bezpieczeństwa jednostek.

Kraje Europy w różny sposób starają się nadzorować i kontrolować komunikaty pojawiające się m.in. w mediach społecznościowych. Czy coraz bardziej rozwijająca się sztuczna inteligencja może odegrać kluczową rolę w sprostaniu temu wyzwaniu poprzez opracowanie zaawansowanych narzędzi do monitorowania i analizowania komunikacji w Internecie, wykrywania wzorców mowy nienawiści i ułatwiania szybszych reakcji władz? Jak znaleźć równowagę między wykorzystaniem sztucznej inteligencji do skutecznego moderowania i zarazem unikać niezamierzonych uprzedzeń?

Nasi goście, profesor Michał Bilewicz– psycholog społeczny z Centrum Badań nad Uprzedzeniami Uniwersytetu Warszawskiego oraz doktor Anna Tatar, przedstawicielka antyrasistowskiego Stowarzyszenia „NIGDY WIĘCEJ” opowiedzą o kluczowych aspektach wdrażania takich technologii w walce z mową nienawiści.

Słuchaj także na

Fragmenty
#88
Jak AI pomaga w walce z hejtem i mową nienawiści? Przykład Niemiec i USA

Transkrypcja wygenerowana automatycznie przez sztuczną inteligencję

Jakub Górnicki [00:00:00] Cześć!

Anna Górnicka [00:00:00] Hej!

Jakub Górnicki [00:00:00] Z tej strony.

Anna Górnicka [00:00:01] Ania Górnicka.

Jakub Górnicki [00:00:02] I Kuba Górnicki. A to jest Outriders Podcast

Anna Górnicka [00:00:05] Tworzymy unikalne reportaże audio o problemach i wyzwaniach na całym świecie.

Anna Górnicka [00:00:10] Ale nie chcemy kończyć historii na tym, że jest tylko źle. Rozmawiamy z ludźmi, którzy szukają rozwiązań i patrzymy na to, co działa, co może działać i czego należy spróbować.

Jakub Górnicki [00:00:22] Te audycje tworzymy dzięki wsparciu patronek, jak i patronów. I bardzo gorąco. po pierwsze dziękujemy tym, którzy już są z nami i po drugie zachęcamy do dołączenia do tego jakże szlachetnego grona na stronie patronite.pl/outriders.com. Możesz nas wesprzeć dobrowolną opłatą wedle swojego uznania. Już z góry za to dziękujemy. W Europie kwestia mowy nienawiści staje się coraz większym problemem w związku z narastającymi konfliktami i polaryzacją społeczną. Wzrost retoryki dzielącej i języka dyskryminujące go stwarza zagrożenie dla spójności społecznej i bezpieczeństwa jednostek. Kraje Europy w różny sposób starają się nadzorować i kontrolować komunikaty pojawiające się między innymi w mediach społecznościowych. Czy coraz bardziej rozwijająca się sztuczna inteligencja może odegrać kluczową rolę w sprostanie temu wyzwaniu poprzez opracowanie zaawansowanych narzędzi do monitorowania i analizowania komunikacji w Internecie, wykrywania wzorców mowy nienawiści i ułatwiania szybszych reakcji władz. Znalezienie właściwej równowagi między wykorzystaniem sztucznej inteligencji do skutecznego modelowania a unikaniem niezamierzonych uprzedzeń pozostaje kluczowym aspektem wdrażania takich technologii w walce z mową nienawiści. Mowa nienawiści to temat, który pojawia się już od wielu lat. Ostatnio znowu wrócił w Polsce za sprawą różnych filmów poszczególnych youtuberów i żeby ponownie porozmawiać, zaprosiliśmy naszych gości.

Jakub Górnicki [00:01:51] Naszymi gośćmi dzisiaj są dr Anna Tatar, sekretarz redakcji magazynu NIGDY WIĘCEJ, współ redaktorka „Brunatnej Księgi” monitoringu Zdarzeń Rasistowskich i Ksenofobicznych. Dzień dobry, dzień dobry. Oraz Prof Michał Bilewicz, psycholog społeczny, socjolog i publicysta. Dzień dobry, panie profesorze.

Michał Bilewicz [00:02:09] Dzień dobry.

Anna Górnicka [00:02:10] No właśnie. Więc tak naprawdę przechodząc do sedna, ale sprowadzając trochę do naszego tematu, pokusić się o nazwanie mowy nienawiści. Czym mowa nienawiści jest, a czym nie jest? I tutaj na początku może do pana profesora skieruję to pytanie.

Definicja mowy nienawiści 

Michał Bilewicz [00:02:26] To tu jest bardzo dużo nieporozumień co do tego, czym jest mowa nienawiści, jak używamy tego określenia. Ja zwykle optuję za tym, żeby używać bardzo ostrych definicji tego pojęcia, czyli mówimy o mowie nienawiści wtedy, kiedy myślimy o języku, który krzywdzi kogoś bądź jakąś grupę z powodu jej, bądź jego przynależności do jakiejś mniejszości.

Jakub Górnicki [00:02:56] Czy jest to język krzywdzący na tle przynależności do grupy, dyskryminowane i do mniejszości etnicznej, do grupy imigranckich itd. Tutaj oczywiście tych definicji jest wiele i zarówno te stosowane przez Radę Europy, Komisję Europejską, ale gdzieś w jakimś sensie sprowadzają się właśnie do tego. Czyli nie mówimy o mowie nienawiści wtedy, kiedy mamy do czynienia np. z jakimś bezpośrednim hejtem pomiędzy dwojgiem użytkowników mediów społecznościowych i po prostu jakimiś brutalnymi obelgami jednej osoby wobec innej. Tylko wtedy, kiedy ta obelga dotyczy jakiejś cechy, jakiejś właściwości godzi, która wynika z niego czy z jej przynależności do grupy mniejszościowej grupy dyskryminowane. Czyli zwykle używam tego słowa mowy nienawiści w tym węższym znaczeniu.

Anna Górnicka [00:03:46] A jak Pan profesor myśli, skąd wynikają te nieścisłości? Czy te definicje są dla odbiorców niejasne, że nie wiem. Zamiennie używają nadużywają słowa mowa nienawiści bądź definicji tego, czym mowa nienawiści jest?

Michał Bilewicz [00:04:00] No, tutaj niezrozumienie jest skrajnie, niezrozumienie jest ogromna. Nie dalej jak kilka dni temu pewien profesor historii z Instytutu Zachodniego w Poznaniu napisał na X, czyli dawnym Twitterze Kiedy zakaz mowy nienawiści wobec katolików w Polsce? No i to jest właśnie po pierwsze właśnie mamy do czynienia tutaj, w tym wypadku z grupą większościową, więc to się nie mieści jakby w tym definicyjne, w tym, co w tych grupach, które wymagają ochrony, ale de facto tak naprawdę to się już mieści w polskim porządku prawnym, ponieważ mamy tylko 256 257 kodeksu karnego, które nie pozwalają na znieważenie kogoś ze względu na wyznanie, na narodowość itd. To mojego ja Oczywiście na domaganie się przez polityków w ostatnich dniach wprowadzenia homoseksualności jako jednego z tych kryteriów, które miałoby być chronione w Polsce, to znaczy osoby nie hetero, normatywne miałyby być również chronione przed mową nienawiści. Ale ten profesor, jak się okazało, nie zrozumiał, że te zapisy kodeksu karnego faktycznie chronią przed mową nienawiści. Ponieważ w polskim kodeksie karnym słowo mowa nienawiści nie występuje. Więc to pokazuje, jaka jest skala tego niezrozumienia, że człowiek, który jest wykształcony dość wszechstronnie, prawdopodobnie może nie rozumieć tego, że mowa nienawiści sprowadza się do ochrony ludzi ze względu właśnie na ich wyznanie, na narodowość itd. Przed zniewaga i przed obelgami. I nie musi istnieć to słowo prawda w kodeksie karnym. A żeby taka ochrona jakoś istniała, tak w systemie prawnym.

Anna Górnicka [00:05:43] Przejdę do pani doktor, jak z Pani doświadczeń wynika. Tutaj też te różnice między hejtem, mową nienawiści, stosowaniem wymiennych pojęć, żeby nazywać jakieś zjawiska. Jak to wygląda w przy Pani tutaj doświadczeniu?

Hejt a mowa nienawiści

Anna Tatar [00:05:59] Niezrozumienie pewnie się bierze również z kwestii związanych z tłumaczeniami Hate po angielsku to nienawiść, hejtować, hejtowanie i mowa nienawiści. Jeżeli chodzi o takie dosłowne tłumaczenie tych słów, wydawałoby się, że to jest to samo. I stąd pewnie te pomyłki, a to nie jest to samo. Pan profesor dokładnie ujął istotę tego, czym jest mowa nienawiści, a czym nie jest hejt. Hejt nie jest mową nienawiści. Mimo tego pokrewieństwo czy inaczej znaczenia tego samego nienawiść i hejt to jest to samo. Ale hejtować. Jeżeli mówimy o pewnym zjawisku społecznym, to nie jest to samo co krzywdzić i znieważać kogoś ze względu na cechę, która jest mu przyrodzona i na którą nie ma wpływu. Natomiast hejtować niewątpliwie, gdybyśmy szukali synonimów, można powiedzieć, że hejtowanie. Obrażanie. Hejtowanie jest znacznie szerszą kategorią i tutaj pewnie byśmy wrzucili wszystkie te obraźliwe, obelżywe komentarze, treści, które są publikowane wobec kogoś i przeciwko komuś, ale nie ze względu na to, że ktoś należy do mniejszości, że ktoś właśnie jest ciemnoskóry albo mówi innym językiem niż my, albo ma inną orientację. Nie, hejtowanie jest takim potocznym pojęciem, bo mowa nienawiści to jest też termin obecny już w języku akademickim. Gdybyśmy znowu usiłowali troszkę wyjść poza samo słowo nienawiść, to można by mówić też o języku wrogości, co kiedyś było terminem bardziej popularnym niż mowa nienawiści. Ze względu na angielszczyzny spopularyzował się to drugie. Natomiast rzeczywiście jakby tłumaczenie to jest jedno, kwestia związana z tłumaczeniami, ale też niewątpliwie to, o czym pan profesor wspomniał przed chwilą. Mamy też do czynienia z taką swoistą próbą zawłaszczenia tej kategorii, ponieważ mowa nienawiści rzeczywiście jednak jest prawidłowo i częściej stosowana wobec mniejszości. No to pojawiają się takie głosy, które domagają się, żeby tu większość też była chroniona, mimo że wcale nie ma potrzeby ustanawiania jakiejś specjalnej ochrony, bo ona już jest. Ale to jest raczej taka chęć skorzystania z pewnego dość spopularyzowane terminu, żeby pokazać, że to wcale nie mniejszości są zagrożone, tylko proszę zobaczyć tutaj my katolicy, jako jednak ta większość, też takiej ochrony potrzebujemy, co oczywiście nie jest prawdą.

Anna Górnicka [00:08:25] A jak poszczególne kraje radzą sobie z mową nienawiści bądź nie radzą sobie z mową nienawiści? Wiem, że trudno spojrzeć na cały świat i teraz zrobić przekrój, jak sobie radzi radzą Stany Zjednoczone i jak sobie radzi Polska. Ale może skoncentrujmy się na początku, na jakichś takich lepszych przykładach albo na państwach, które w ogóle zauważają problem i są w stanie znaleźć jakieś rozwiązanie, albo oni szukają tych rozwiązań.

Świat przeciwko mowy nienawiści - jak inne kraje sobie z nią radzą?

Michał Bilewicz [00:08:49] Ja myślę, że o tym jak będziemy mówić o tych reakcjach poszczególnych państw, to wydaje mi się, że dobrze byłoby pokazać takie dwa ekstrema. Jedno to będą Stany Zjednoczone, a drugie Niemcy. W Stanach Zjednoczonych istnieje gwarantowana przez poprawkę do konstytucji pełna wolność wypowiedzi i tak naprawdę kwestie mowy nienawiści nie są w żadnym stopniu analizowane. One są tylko elementem jakichś regulacji na poziomie instytucji, to znaczy nie wiem np. na uczelniach, czy czy w miejscu pracy pracownicy często przechodzą przez różnego rodzaju szkolenia, podpisując pewne deklaracje i obejmują je różnego rodzaju polityki jawności, które nakładają na nich pewne ograniczenia w sposobie, w jaki się komunikują. Ale prawo Państwo nie ingeruje. Państwo zapewnia pełną wolność wypowiedzi w sferze publicznej. To powoduje, że w internecie amerykańskim nie ma żadnej kontroli nad tym. I faktycznie jest. Jest, to jest to. Jak się nieładnie mówi wolna amerykanka. Ale z jej strony wiemy, że same te podmioty, które myślimy o tych cyber kartach, które oferują usługi mediów społecznościowych, na to one mają swoje różnego rodzaju ograniczenia i takie kody regulaminowe, które mają ograniczać mowę nienawiści na tle, że one są skrajnie nieskuteczne, To znaczy jak myślimy o tych głównych podmiotach, takich jak właśnie Twitter, Facebook, YouTube, to nawet niedawny taki eksperyment przeprowadzony przez Komisję Europejską we współpracy z organizacjami pozarządowymi, gdzie zaufani użytkownicy i nie zaufani użytkownicy zgłaszali takie nadużycia, zgłaszali mowę nienawiści moderatorom. One powodowały bardzo, bardzo rzadko jakąkolwiek reakcję, to znaczy w ogóle zdejmowanie tych treści. Szczególnie problematyczne było tutaj YouTube I, czyli. Czyli tam rzeczywiście te treści były bardzo rzadko usuwane i co więcej, bardzo rzadko ci reagujący w ogóle spotykali się z jakąkolwiek reakcją, to znaczy zwykle byli ignorowani. Niemcy są tutaj przykładem zupełnie odmiennym. W Niemczech istnieją bardzo silne regulacje tego zjawiska. Mamy przecież ten Facebook gest tak zwany, czyli to prawa, które są pokazane kilka lat temu, które nakłada na dostawcę usługi internetowej odpowiedzialność za treści, które zostaną tam umieszczone przez użytkowników. Czyli nagle media społecznościowe są odpowiedzialne prawnie za treści nazistowskie, na przykład czy jakieś akty mowy nienawiści, które są tam umieszczane przez użytkowników. A jest to potężne bodajże do 50 mln EUR kg, w tym prawie zapisane. No i oczywiście spowodowało zmianę zachowań samych mediów społecznościowych, tzn. wiemy, że liczba moderatorów treści w zatrudnionych przez Facebooka np. jest ogromna na rynek niemiecki właśnie, ponieważ oni poczuli, że muszą tutaj kontrolować się nie dlatego, że jako te podmioty prywatne mają swoje jakieś kody zachowań właściwych, tylko że będą płacić kasę za to, co tam ma miejsce. I tutaj między tymi dwoma ekstrema znajduje się gdzieś Polska. Gdzie to jest? Nie mamy. Takiego prawa, jakie mają Niemcy. Ale mamy też ciekawe precedensy, jak na przykład obrażanie na stosowanie mowy nienawiści na w w komentarzach na stronach Faktu. Swego czasu zostało to spotkało się z pozwem wtedy, kiedy to dotyczyła bodajże Radosława Sikorskiego, a na apel dał. Wtedy przedstawiciele prawni Jarosława Sikorskiego pozwali wydawnictwo Springera, które wydaje fakt, że za komentarze, które są umieszczane na ich stronach przez użytkowników. No i oczywiście była bardzo długa batalia prawna. Dlaczego oni mogą odpowiadać za swoich dziennikarzy, Ale dlaczego mają odpowiadać za komentatorów, ludzi, którzy piszą swoje komentarze za zwykłych użytkowników? Okazuje się, że nie, że że, że polskie prawo. Taki był przynajmniej wynik tego długiego procesu z aplikacjami potwierdzona, bo sędziowie potwierdzili to, że jakiekolwiek treści, nawet te, które znajdują się w komentarzach, w sekcjach komentarzy, one również za nie odpowiadają dostawcy usług. I w tym momencie właśnie wydawca tego portalu portalu Faktu. I to myślę, że pokazuje, że tutaj są jakieś furtki prawne, które można wykorzystywać do tego, żeby z mową nienawiści w Polsce walczyć.

Anna Tatar [00:13:54] Stowarzyszenie Nigdy Więcej brało udział w tym projekcie pod egidą Komisji Europejskiej. Więc mamy tutaj doświadczenia, chciałoby się powiedzieć niestety negatywne. Jeżeli chodzi o to, w jaki sposób platformy społecznościowe reagują na treści zgłaszane przez użytkowników. Od początku tego roku Stowarzyszenie Nigdy Więcej bierze też udział w projekcie Senat. I to jest bardzo ciekawe przedsięwzięcie międzynarodowe. Ono jest koordynowane przez sieć International Network Against Hate z siedzibą w Holandii. I to jest tak, że bierze w nim udział 21 organizacji z 18 krajów i mówimy też o 18 kontekstach krajowych i 18 językach. I sprawdzamy i zgłaszamy. Właśnie zgłaszamy treści propagujące nienawiść jako zwykli użytkownicy, jako użytkownicy zaufani. Na potrzeby naszej rozmowy przygotowałam sobie kilka przykładów, żeby rzeczywiście zobaczyć jak to wygląda i potwierdzić to, o czym my de facto od dawna wiemy, jak bardzo platformy społecznościowe są nieskuteczne w usuwaniu treści atakujących mniejszości. Od początku tego roku te 21 organizacji właśnie zgłasza i monitoruje nienawiść. I to wygląda procentowo tak. Jeżeli chodzi o Facebooka, to usunięcia zgłoszonych treści jako zwykli użytkownicy to jest plasują się na poziomie 30%, Twitter 41%, a YouTube 9%. Natomiast widać bardzo duże różnice między poszczególnymi krajami, jeżeli chodzi na przykład. I teraz kilka przykładów. Organizacja LG Litwa znana organizacja, która walczy z homofobią. Oni monitorują tylko Facebooka i tam na 303 zgłoszone treści 26 zostało usuniętych. Czyli usuwanie homofobii na Litwie, to jest plasuje się na poziomie 8% przez Facebooka. Przykład trzech organizacji Armia, która zajmuje się przeciwdziałaniem nienawiści wymierzonej w Romów. Usunięcia na Facebooku 20%, Twitter 24. YouTube 9. Do tego przykład z Węgier usuwanie organizacja Hate w 95 roku założona też organizacja działająca na rzecz osób LGBT. Tam Facebook usuwa treści 28%. Wydaje się, że lepiej trochę to wygląda w Europie Zachodniej. Mam przykład z Austrii i z Francji. Tam Facebook usuwa zgłoszenia. 42 proc. zgłoszeń zostało skasowanych, Twitter tylko 24. Natomiast jeżeli chodzi o Francję organizacja reakcja Twitter oni tylko Twittera podali i 72% usunięcie. Więc jest tu więcej niż w tych poprzednich krajach. I to, co pewnie najciekawsze dla nas zostawiłam na koniec. Jeżeli chodzi o Polskę i nasze zgłoszenia, to Facebook usunął 19%, Twitter 9, a YouTube 6. No to jest zdecydowanie odstaje tu od tych ogólnych statystyk, które przytoczyłam na początku. Nawet nie jedna piąta zgłoszonych treści. No i przy czym to były treści, które zgłaszaliśmy jako zwykli użytkownicy, No ale to były treści, które raportował osoby, które się od wielu lat zajmują przeciwdziałaniem mowie nienawiści, więc tutaj nie ma mowy, że wysyłaliśmy coś, co by się do tej kategorii nie zaliczało. No i to pokazuje, że mówimy o pewnej fikcji, bo z jednej strony mamy gigantyczne korporacje, które od lat deklarują, że chcą walczyć z nienawiścią, opracowują coraz to nowe regulacje, Natomiast to kompletnie nie działa. I teraz pewnie w dalszej części przejdziemy do rozmowy o sztucznej inteligencji, która daje nieograniczone możliwości. Możliwości, które których nie da się nawet jeszcze nazwać. Ale to są możliwości pozytywne i negatywne, bo to można sobie wyobrazić, że będą coraz lepsze albo po prostu lepsze narzędzia w walce z tym zjawiskiem. Tylko nawet jeżeli na poziomie technicznym, to będą takie narzędzia, które na przykład będą wychwytywać nie tylko wulgaryzmy i słowa obraźliwe wobec mniejszości, ale i ironię, sarkazm. Całe, całe bogactwo języka, z którym mamy do czynienia. Tu mamy ciągle ścianę w postaci platform społecznościowych, które po prostu nie są zainteresowane usuwaniem takich treści, ponieważ one generują im zasięgi, ruch i. I oczywiście wiąże się to z zarabianiem potężnych pieniędzy na tym, jak bardzo te treści są popularne. I z drugiej, i z drugiej strony mamy to, to pewnie też dalej będziemy o tym rozmawiali. Mamy zagrożenia, które które niesie z sobą sztuczna inteligencja, ponieważ może tylko wtedy.

Anna Górnicka [00:18:58] To ja chciałem tak trochę bokiem, ale zapytać państwa, czy państwo, jeżeli chcą państwo odpowiedzieć na to pytanie, czy państwo są zwolennikami, czy przeciwnikami anonimowości w sieci?

Czy anonimowość w sieci jest dobra?

Anna Tatar [00:19:07] Chyba nie da się być dzisiaj w sieci anonimowym. Znaczy trzeba być pewnie bycie dobrym informatykiem, żeby tej anonimowość zachować. Co z tego, że będę mieć.

Michał Bilewicz [00:19:16] Żeby założyć konto i żeby napisać komuś jesteś debilem itd. To jednak da się to zrobić relatywnie prosto i bez i bez konsekwencji w taki sposób, żeby jednak nie mieć, bo to nie jest filozofia. Pomimo tego, że mamy w Polsce rejestrację kart SIM niby na dowód, to no da się, da się to zrobić dzisiaj jeszcze w taki sposób prosty bym powiedział, żeby jednak być anonimowym w sieci. Ja nie mówię o tym, że ktoś się na nas zawiedzie, pójdzie do sądu i zacznie nas śledzić, to wtedy faktycznie da się to zrobić. Ale prawda jest taka, że na poziomie takim niestety zwykłego śmiertelnika, który nie wiem przez przypadek jego tweet pójdzie losowo czy jakiś post i po prostu no wtedy jak coś pójdzie viral, owo na to z reguły wpada chmara ludzi komentujących i też po prostu obrażających czy atakujących już mową nienawiści. To, że tak powiem, dała się.

Jakub Górnicki [00:20:06] No ja parę razy miałem okazję, że jakiś mój Twitter trafił w jakieś tam zakątki hejtu i po prostu tak do 48 godzin mój telefon nie przestawał wibrować, bo tam każdy musiał napisać mi jakim jestem skończonym kretynem. A to jest jedna z łagodniejszych określeń, żeby wyrazić swoją opinię. Stąd też pytam tak z ciekawości, bo wiele dyskusji sprowadza się wokół tego. I teraz ja powiem w ogóle bardzo prywatnie. Teraz jeżeli ja wchodziłem jako człowiek walczący o rozwój internetu z piętnaście lat temu, modułowość była jego podstawą. Ale ja mogę powiedzieć moje prywatne zdanie jest takie, że anonimowość jest super sprawą. Tylko jak my jako ludzie nie daliśmy rady z nią i jestem aktualnie wielkim wrogiem. Takie mniej właściwie sieci prywatnie, ale jestem ciekaw bardzo Państwa zdania, bo wiem, że zdania są podzielone i tak idealistycznie, ideologicznie i w ogóle. Natomiast ja na dzień dzisiejszy nie widzę prywatnie chyba lepszego rozwiązania niż bardzo rygorystyczne podejście do egzekwowania tego, żebyśmy nie funkcjonowali w sieci jako jednostki anonimowe, bo to jest podstawa mojej zdaniem takiej odpowiedzialności. Dużo tych tego hejtu bierze się z po prostu z tego, że a nie namierzą mnie, mogę napisać, co chcę, jakby na ulicy nie ma tak, że ktoś przechodzi, podchodzi do kogoś anonimowo i mówi "ale masz kurwa czapkę zjebaną". Więc w sensie to łatwo wpaść tak w sieci?

Michał Bilewicz [00:21:25] To ja odpowiem chyba krótko. Z naszych doświadczeń wynika, że czy ktoś pisze komentarz jako osoba anonimowa albo jako osoba, którą się da zweryfikować poprzez nie wiem, zamieszczę zdjęcie rodzinne i zamieszczę coś pod nazwiskiem. Tu nie ma znaczenia dla treści nienawistnych czy to jest, że ktoś ma konto założone i to jest prawdziwe imię i nazwisko i zdjęcie tej osoby? Nie powstrzymuję. Przed publikowaniem treści nienawistnych. Przykład z Dzisiaj jeden z nielicznych komentarzy, które Facebook usunął po tym, jak eskalować go musieliśmy jako użytkownicy zaufani. To mężczyzna z imienia i nazwiska. Konto otwarte, treść dostępna dla wszystkich. Zamieścił komentarz o tym, że Izraelczycy powinni się jak najszybciej przedostać do atmosfery i zdjęcie pieców Krematoria i Facebook po zwykłym zgłoszeniu uznał, że to nie jest nawoływanie do nienawiści. Dopiero. Dopiero po tym zgłoszeniu użytkownika zaufanego i ta treść została usunięta. Zostało to opublikowane pod nazwiskiem, więc stąd wydaje mi się, że nie kwestia prywatności bądź nie prywatności decyduje o tym, czy ta nienawiść jest mniejszy czy większy.

Anna Górnicka [00:22:33] No Facebook to też platforma, na której można pokazywać zdjęcia, zdjęcia, rozczłonkowane ludzi. Ale jak pojawi się zdjęcie matki karmiącej piersią, to w tym drugim przypadku jest też ban dla tego zdjęcia, więc tam logika jest bardzo dziwna. Natomiast przechodząc do sztucznej inteligencji jesteśmy bardzo ciekawi. To akurat w weekend się bardzo dużo działo jeśli chodzi o sztuczną inteligencję, ale z zupełnie innych powodów. Właściwie trwa to do dzisiaj. Tak naprawdę chyba z jakimś mini rozwiązaniem, ale chciałem zapytać, jak tutaj Państwo upatrują szansę czy. Bo ja abstrahując od tego, czy już agencja może w ogóle zmienić sposób, w jaki my korzystamy z sieci, co może być następstwem i w ogóle widzimy ogólnie tendencję odchodzenia od tych mediów społecznościowych otwartych. Jakby młodsze pokolenia inaczej się komunikują. Nie w sposób taki, jaki powiedzmy, nasze stracone pokolenie, gdzie wszystko było publiczne i otwarte. Czy to jest jakiś taki coś, co może wypełnić brakujący element właśnie jeżeli chodzi o moderację czy w ogóle analizę tych treści, czy nie?

Michał Bilewicz [00:23:35] No, na pewno rozwijające się narzędzia do przetwarzania języka naturalnego. One siłą rzeczy ułatwiają moderację, tzn. im to jest doskonalsze, tym łatwiej te treści można moderować, o ile się chce. I dlatego uważam, że nasze pierwsze pytanie jakie są? Jaki jest porządek prawny, które obliguje media społecznościowe do moderacji? No jest, jest nadal w mocy. To jest najważniejsze pytanie tutaj, to znaczy czy oni chcą, ponieważ oczywiście ta. Mowa nienawiści jest, jest atrakcyjna, to znaczy mowa nienawiści się klika, mowa nienawiści się przekłada na sprzedaż, Więc to jest strategiczna decyzja tych podmiotów. Natomiast sama technologia tego oczywiście jest coraz lepsza i ona jest też coraz lepsza właśnie dzięki dobrym modelom przetwarzania języka naturalnego, dzięki temu, że. Że teraz już nie jesteśmy na poziomie wychwytywania słów czy słów, które jak wiecie flashowania jakieś słowa. Tak jak już mówiła tutaj Anna, tata tutaj, że mamy często do czynienia z ironią, z jakimiś zawodowymi, zaawansowanymi treściami. No i tutaj takie samo uczące się wszystkie, wszystkie możliwe zastosowania, w których mamy jakieś modele właśnie oparte na uczeniu maszynowym czy czy na sztucznej inteligencji, czy one tworzą, lecz one pozwalają na obejście tego, na pewniejsze wykrywanie, kiedy ta ironia czy jakieś takie rzeczy, których nawet na poziomie samych słów nie jesteśmy w stanie wykryć, kiedy one rzeczywiście mogą stanowić mowę nienawiści. I to widzimy, że to działa, to działa też tym lepiej, im więcej sami tych przykładów mowy nienawiści z Kate. I tutaj jest wielka misja dla organizacji pozarządowych też, żeby faktycznie tworzyć dobre słowniki, na podstawie których te będą w stanie się panować. No i to jest to, co teraz robi wiele organizacji na świecie i myślę, że dobrym skutkiem. To jest jakby jedno jedno z takich działań. Po drugie z takich działań, no to są. To jest możliwość potencjalna zastosowanie np. botów do konfrontacji z mową nienawiści. Tutaj robiliśmy kiedyś takie, taką małą interwencję z jedną z jednym ze startupów polskich, które właśnie się zajmuje przeciwdziałaniem przemocy w w głównie w grach komputerowych. No i próbowaliśmy właśnie sprawdzać, na ile efektywne będą takie konfrontacje bota, który będzie funkcjonował np. na Reddicie, który będzie reagował na jakieś przykłady mowy nienawiści. To znaczy czy to wpłynie na użytkowników, czy to spowoduje, że taki użytkownik Reddita, któremu bot zwrócił uwagę, że coś jest nie tak, czy on zmieni swoje zachowanie? No i te wyniki tego były dosyć optymistyczne. To znaczy faktycznie jak patrzyliśmy na statystyki tych tych zachowań, no to one się zmieniały, tzn. tego hejtera. Można? Można jakoś tam na niego wpłynąć poprzez taką taką interwencję. Więc ja myślę, że jest wiele takich obszarów, których sztuczna inteligencja może być. I dobrze, żebyśmy nadążali za samymi hejterami, bo dobrze wiemy, że te wielkie fabryki trolli i botów one działają po drugiej stronie, więc dlaczego my byśmy mieli walcząc z tym zjawiskiem, nie korzystać z tych narzędzi, których sami hejterzy, których sami hejterzy wykorzystują z powodzeniem?

Anna Tatar [00:27:05] To, co tutaj można by do tego dodać, to fakt, że jest to. Jest to pasjonujące. W jakim momencie dzisiaj jesteśmy, jeżeli chodzi o sztuczną inteligencję, no bo to przecież sztuczna inteligencja tu się pojawiła na dobre 30 lat temu, jeśli jeszcze nie dawniej i wszyscy tego używamy. Natomiast myślę, że to, co dzisiaj głównie rozumiemy pod tym pojęciem, no to jest ten MBT, który już ma swoje kolejne wersje, które są promowane i dostępne dla wszystkich i nagle okazuje się, że to może mieć świetne zastosowania, z których może skorzystać każdy. Natomiast. I oczywiście można sobie wyobrażać, próbować, tylko wyobrażać, bo to jest też niezwykłe, o czym mówią sami twórcy tej technologii, że ona nie jest do końca rozumiana, to nie da się do końca wyjaśnić, w jaki sposób to działa i jak to może być stosowane. I pewnie w takim obszarze popkultury przychodzą nam na myśl rozmaite filmy i różne dzieła. Co z tego wynika? Tak, człowiek kontra maszyna. I myślę, że jest ten temat bardziej aktualny teraz niż kiedykolwiek. Natomiast przykłady pokazują, że jak wiele jest tutaj jeszcze do zrobienia, jeżeli np. chodzi o ten proces uczenia się, że można, sztuczna inteligencja i takie badania też były prowadzone, można ją wyedukować w cudzysłowie, wtedy algorytmy, żeby rozpoznawała świetnie mowę nienawiści, a równie dobrze w zależności od tego, jaki materiał zostanie dostarczony. Były już takie sytuacje, kiedy jestem informatyczną, więc trudno mi to nazywać, ale były takie sytuacje, kiedy okazywało się, że ta, ta sztuczna inteligencja, która zresztą tam została przedstawiona w jakiejś kobiecej postaci, nagle okazywała się bardzo uszkodzoną osobą, bo wchłonęła takie słowniki, taki materiał, że powiedziała rasistowskie, rasistowskie stereotypy. Przychodzi mi na myśl tutaj taka anegdota, jeżeli chodzi o w ogóle sztuczną inteligencję jako taką. Jakiś czas temu w San Francisco, które ma wąskie, małe uliczki, był testowany ten samochód, który jeździ sam. No i tam w środku się działo. Operator nagrywał, to ten samochód jechał sam, Wynurzył się, podjeżdżając pod górkę i zobaczył nagle na drodze kobietę na wózku inwalidzkim, która miała miotłę i przeganiał kaczkę z drogi. I ten samochód zgłupiał. On się, On się zatrzymał. On nie był w stanie przetworzyć tych danych. Stał jak baranie doły. Więc i to jest taka sytuacja. I mówimy o bardzo rzeczywistej sytuacji, bo też już przecież były wypadki z udziałem samochodów, które jeżdżą same.

Anna Górnicka [00:29:42] Przenosząc to na teren mowy nienawiści, to język jest o wiele bardziej bogaty niż sytuacje na drodze, które sobie możemy wyobrazić. Więc pytanie kto i w jaki sposób będzie edukować tę sztuczną inteligencję i w jaką stronę? Bardzo niepokojące jest to, że te wielkie firmy technologiczne w ostatnich chyba nawet miesiącach, a nie latach, one zwolniły. Sztab ludzi, który odpowiadał za sprawy etyczne związane ze sztuczną inteligencją. Były zespoły, które miały wskazywać na etyczne zagrożenia związane z rozwojem tej technologii i zostały rozwiązane przez przez Googla i przez Microsoft. Więc to wielkie pytanie dlaczego? W którą stronę? Czy to znaczy, że to zagadnienie niezwykle ważne będzie ignorowane? Sama historia Twittera i przejęcia go przez Macka to jest jakaś historia niekończących się kuriozum. No ale mówimy o tym, że Platformy nie reagują. 18 listopada Mask skomentował komentarz, Skomentował wpis, Ktoś napisał, że Żydzi promują nienawiść przeciwko białym mask tu skomentował w taki sposób napisał pan rzeczywistą, prawda? Po tym, po tym jego wpisie zareagował Biały Dom. Takie takie gigantyczne firmy jak Disney, Warner Bros. Czy Sony czy Apple wstrzymały reklamy publikowane na X ie. Więc jeżeli my mówimy o kimś, kto taką platformę posiada, kto przejął ją z takim założeniem, żeby ją uwolnić od jakichkolwiek ograniczeń prawnych związanych z mową nienawiści. Więc poruszamy się w jakimś błędnym kole. Możemy znowu mieć najdoskonalsze narzędzie do rozpoznawania mowy nienawiści. Jeżeli ona nie będzie usuwana, to my nic z tym nie zrobimy. To to. To wielkie pytanie do czego zmierzamy? Czy. Czy właśnie ktoś, kto promuje antysemityzm na swoim własnym koncie, jest właścicielem Mixa, będzie chciał zatem zobaczyć te miejsca?

AI a mowa nienawiści - czy giganty cyfrowe bedą nakładać kontrole? 

Michał Bilewicz [00:31:45] To jest ciekawe pytanie w kontekście tego, co się działo w ostatni weekend. Czy my myślimy sobie często o tych wszystkich dramach właśnie? Wśród założycieli Open'era i. Ale to ma znaczenie, tzn. to, jaki Jaśkiewicz czy Atman mają przekonania czy poglądy ma kolosalne znaczenie. I właśnie myślę, że ten ten przykład maska jest, jest jest bardzo dobrym przykładem, tzn. widzimy, że nie tylko wyrażane przez nich publicznie przekonania takie w zasadzie bardzo często uprzedzone, po prostu tę maskę wielokrotnie w zasadzie wyrażał swoje swoje uprzedzenia, które sam traktuję jako pewien jakiś rodzaj nonkonformizmu, ale tak naprawdę to są poglądy uprzedzone. To nie tylko kształtuje postawę użytkowników, nie tylko wpływa na to, co ludzie, którzy uważają go za autorytet będą wyznawać.

Jakub Górnicki [00:32:39] Tylko wtrącę i dodam, że Mask sam siebie określa. Jak to mówi jest takim radykalizmem wolności słowa.

Michał Bilewicz [00:32:46] Tak, tak, wiem, on to przedstawia tak jako pewien radykalizm wolności słowa. Tylko że bardzo często widać po jego reakcjach na różnego rodzaju komentarze, że on się tak jakby trochę przyłącza do różnych nasionek. Taki ma charakter bardzo często. I tak jest. Jeżeli. Jeżeli tak patrzymy na tego typu komentarze, no to oczywiście wiemy dobrze, że one wpłyną potem na samą politykę tego medium, które on trzyma w swoich rękach, a to widać choćby po tym, jak pozwalano nas jeszcze wówczas chyba Twittera, a nie Iksa po przejęciu przez Maska ludzi odpowiedzialnych za moderację. To znaczy tam faktycznie mieliśmy dużo ludzi, którzy pracowali na tych stanowiskach, którzy stracili pracę. To są kosztowne rzeczy. Tak, utrzymywanie tej moderacji, ale.

Anna Górnicka [00:33:29] W Polsce jest jedna osoba. Ostatnio ktoś wyciąga informację, że w Polsce jest jedna osoba odpowiedzialna za moderację treści, która podaje.

Michał Bilewicz [00:33:39] No tak. No więc właśnie to jest, to jest, to powoduje, że takie sytuacje jak to, co tam widzieliśmy w WP one mają, ale mają znaczenie, czy będziemy się zastanawiać nad tym, kim są ci ludzie, którzy tworzą te narzędzia, którzy tworzą te media i to to będzie znaczny sposób wpływała na to. Jakimi treściami będziemy, będziemy otoczeni? No przecież choćby te wszystkie teksty, które są generowane przez czat czy bity, to są teksty, którymi już pokolenie dzisiejszych studentów, uczniów jest otoczony. To znaczy to jest duża część tego, co oni czytają na co dzień, co, co sami piszą. No i teraz pytanie jak to będzie powstawało i jakie granice temu będą stawiane? To jest moim zdaniem bardzo ważne pytanie, prawda? Czy ten język będzie dążył tak jak kiedyś w tej głośnej sprawie, że ucząc się najbardziej powszechnego języka naturalnego, będzie w efekcie stawał się po prostu rasistą, amerykańskim rasistą? On odbija, to znaczy to takie samo uczące się się algorytmy. One oczywiście będą odbijać stan debaty publicznej również w jej takich obrzydliwych odsłonach.

Anna Tatar [00:34:53] Co też nie pozostaje. Bo myślę, że tu należałoby to powiedzieć jako pewną oczywistą rzecz, bo poruszamy się w obszarze języka. Mówiliśmy o pewnym porządku prawnym, ale abstrahując od tego albo albo spoglądając z nieco dalszej perspektywy, no to przecież to jest coś, co co pozostaje i co wywiera ogromny wpływ na życie ludzi. Kiedy odniesiemy się do Polski, no to nie jesteśmy już krajem, w którym żyją prawie wyłącznie Polacy urodzeni w Polsce. Mamy prawie milion Ukraińców, mamy mniejszości, które żyją w Polsce od kilkuset lat, ale są w mniejszości. Są to też muzułmanie, mamy osoby, ciemną skórę, mamy osoby, które przyjeżdżają z państw azjatyckich z zdecydowanie większej liczby niż jeszcze kilka lat temu. No i ci ludzie mają sąsiadów, pracują w pewnym otoczeniu i to jest centrum. I pana profesora to też badało. My to również obserwujemy, prowadząc brunatną księgę, że kampanie nienawiści wymierzone w mniejszości. Mam tutaj w tym momencie przede wszystkim na myśli rok 2015, kiedy była ta jakaś histeryczna nagonka na uchodźców, którzy do Polski de facto nigdy nie trafili. Ona nie pozostaje bez wpływu na to, jaka atmosfera jest wokół. Ludzie, którzy się wyróżniają swoim swoim kolorem skóry, językiem, wyznaniem, pochodzeniem. Jesteśmy świeżo po zakończonej kampanii wyborczej, gdzie głównym tematem i wydawałoby się głównym problemem w Polsce to są osoby ciemnoskóry, to są migranci, migranci, którymi byliśmy straszeni przez wszystkie ugrupowania polityczne we w każdy możliwy sposób, także poprzez media społecznościowe. Na szczęście jeszcze nie obserwujemy w związku z tym powiększenia się skali ataków fizycznych. Ale to jest tak, że to jest taka bardzo cienka granica. Jeżeli nie mowa nienawiści jest zorganizowana, jest wykorzystywana dla celów politycznych. To się prędzej czy później przekłada na ataki fizyczne, a na pewno przekłada się to na codzienne życie tych ludzi. Ja dzisiaj odebrałam dwa telefony od od mamy, która jest mamą trójki chłopców ciemnoskórych i ich tato pochodzi z jednego z krajów afrykańskich i oni są prześladowani w szkole i wyzywanie od małp i murzynów. I to pozostaje bez żadnej reakcji ze strony dyrekcji, nauczycieli, kuratorium i rzecznika praw Dziecka. I ona dzwoni do mnie. To był bardzo emocjonalny telefon. Co ona ma zrobić, bo jej syn nie chce pójść do szkoły. Zadzwonił dwie godziny temu. Zadzwonił tato pochodzący z Ukrainy, tato chłopca, który gra w jednym z warszawskich klubów piłkarskich. Ma 13 lat i jest. I usłyszał, że ma się wynosić i wracać na Ukrainę. I on pyta, co może zrobić. Więc to są takie skutki i się nie da precyzyjnie zmierzyć. Ale to są skutki rozpowszechnionej mowy nienawiści, która wystarczy sobie otworzyć prognozę pogody i tam są komentarze ksenofobiczne, rasistowskie, antysemickie. Jest to zupełnie bezkarne, publikowane, o czym rozmawiamy cały czas, bez żadnej reakcji ze strony platform społecznościowych. I siłą rzeczy to uderza w ludzi, których dotyczy.

Anna Górnicka [00:38:04] Chciałam Was jeszcze zapytać o nie wiem, przyszłość na najbliższą przyszłość tak naprawdę. Jakie waszym zdaniem będą kolejne kroki? I zarówno jeśli chodzi o rozwój mowy nienawiści, jak też szansę na to, czy AI, a może inne rozwiązania tutaj się pojawią, które pomogą kontrolować?

Michał Bilewicz [00:38:24] Ja nie wiem. Ja myślę, że bardzo trudno jest coś przewidywać. Mi się wydaje, że to trwa. Z jednej strony tak jak badania, które robiliśmy, pokazują, że mowa nienawiści ma taki dosyć epidemii charakter. Czy one zagrażają? Jakoś asymilują się do takiej masy nienawiści, która ich otacza i to powoduje, że tego jest coraz więcej. I to nie tylko dzięki algorytmom, które mają takie treści, ale dzięki samym zachowaniom użytkowników mediów społecznościowych, którzy którzy chętniej podają dalej takie bardzo mocno emocjonalne jakieś komunikaty. Więc siłą rzeczy ta mowa nienawiści też się przebija bardziej niż niż chłodna komunikacja. Ale myślę, że to też jest jakiś taki moment, w którym ludzie zderzają się z jakimś nadmiarem tego i to, co widzieliśmy w czasie ostatniej kampanii wyborczej. I teraz skończyliśmy taki monitoring, który z otwartą Rzeczpospolitą treści, w ogóle mowy nienawiści w mediach publicznych, no to ten moment, w którym się okazuje, że w 70 procentach programów jest jakiś hejt anty czy programów informacyjnych, to to już jest, to jest za dużo. Ludzie chcą też dostawać jakiś inny rodzaj komunikatów niż tylko hejt z medium publicznego. Ja myślę, że jest taki moment przesycenia i ten wynik ostatnich wyborów chyba trochę był takim sygnałem właśnie jakiegoś przesytu, szczególnie jak się patrzy na to, jak duża była mobilizacja osób wcześniej nie głosujących, czyli takich, kto nie ma jakiś określonych poglądów politycznych i po prostu prawdopodobnie są zmęczone już tym tematem, tym językiem i tym funkcjonowaniem polityki, z jakim mieliśmy ostatnio do czynienia, gdzie ten hejt stał się bardzo takim ważnym narzędziem. Więc może stąd potrzeba jakaś podstawa do pozytywnych prognoz, że może jest jakiś taki moment przesycenia, w którym już może nastąpi jakiś.

Anna Górnicka [00:40:14] Przykład jakiegoś stabilizacji, ograniczeń. Czy wzór niemiecki, który pan profesor przedstawia jako skrajny przykład radzenia sobie, czy po prostu działania wobec mowy nienawiści ma zastosowanie, może mieć zastosowanie w innych państwach? Może coś pomiędzy tym, co się dzieje w Stanach Zjednoczonych, a tym jak wygląda system niemiecki, da się wdrożyć?

Michał Bilewicz [00:40:38] No pewnie tak. I Polska chyba ma tendencję do tego, żeby być gdzieś takim krajem pośrodku tego wszystkiego. I to widzieliśmy po dużych protestach w sprawie ACTA kiedyś, jak silne jest przywiązanie Polaków do wolności w internecie. Więc ja podejrzewam, że takie rozwiązania prawne jak w Niemczech mogłyby mieć naprawdę duży opór w Polsce. Ale na przykład mówi się często, że amerykańskie prawo jest prawem precedensowy, a polskie nie. No ale jednak pamiętajmy, że każdy sędzia zwykle zanim wyda wyrok, to sobie sprawdza, jak wyglądało orzecznictwo wcześniej. No i teraz im więcej jest takich orzeczeń jak w tej głośnej sprawie Radosława Sikorskiego przeciw Faktowi, o której już mówiłem, tym większa szansa, że ci sędziowie jednak będą stali na straży trochę tego, co potencjalnie, nawet jeżeli nie będzie to uderzało w jakiś samych jak wielkie korporacje, to może przynajmniej jakąś tam przestrzeń. Da się to się tutaj wykuć właśnie w tych sensownych orzeczeniach.

Anna Tatar [00:41:38] Chciałoby się bardzo. Mam nadzieję, że to nie jest już tylko utopijne życzenie, żeby nam się zmieniły standardy języka debaty publicznej. Niewątpliwie media publiczne. Miejmy nadzieję, że będzie to wyglądało inaczej i nie będzie w 70 procentach 70 70% programów operować nienawiścią wobec uchodźców. No ale to jest tylko jedna, jedna strona tej komunikacji, ale niezwykle istotna to żebyśmy. Mieli kontakty, Jeżeli. Jeżeli mówimy o mediach publicznych z przekazem neutralnym i z takim, do jakiego te media są zobowiązane, Ale też myślę sobie o tym, że kiedy, kiedy mowa w ogóle o języku debaty publicznej, moglibyśmy jako obywatele domagać się w różny sposób. Mamy te media społecznościowe, które też można wykorzystywać do nagłaśniania różnych spraw, domagać się szacunku, domagać się tego, że jeżeli na przykład poseł obraża Żydów, a mamy takich posłów, którzy robią to notorycznie, albo Ukraińców, albo migrantów, to żeby była choćby reakcja ze strony tej sejmowej komisji do spraw etyki poselskiej. I kiedy takie z takimi wypowiedziami mamy do czynienia, to myślę, że ta forma też takiego oddolnego nacisku pisania o tym w mediach, nagłaśniania tych spraw. Być może listy otwarte. W każdym razie domaganie się reakcji tych instytucji i tych ciał, które, które są do takiej reakcji zobligowane. Tak, tak sobie wyobrażam też być może na fali jeszcze tego, tych ostatnich wyborów i tego, jak bardzo jako społeczeństwo obywatelskie my się używaliśmy i jak wiele okazuje się możemy zrobić, organizując się w rozmaity sposób. Taki oddolny nacisk i żądanie tego, żeby ten język mieścił się w jakichś cywilizowanych ramach i ci, którzy się posługują językiem nienawiści, Byłoby dobrze, żeby dostawali takie komunikaty, że tak robić nie należy. Myślę, że te wyniki tych wyborów są najpoważniejszą formą komunikatu, że pewne rzeczy są już nieakceptowane. No ale mamy posłów Konfederacji i mamy posłów świeżo wybranych, którzy są znani z tego, że zamieszczają nienawistne treści, chyba tylko z tego. Więc to będzie też ogromny sprawdzian także dla demokracji polskiej. W jaki sposób polskie państwo, polskie instytucje, ale też polskie społeczeństwo, reaguje na nienawiść i ataki wobec mniejszości? I dobrze. Tak naprawdę. Dziękujemy bardzo. Dziękujemy bardzo za tę rozmowę. Naszymi gośćmi dzisiaj byli dr Anna Tatar i prof. Michał Bilewicz. Dziękuję. Dziękuję bardzo. Dziękujemy bardzo.

Anna Górnicka [00:44:28] A już na sam koniec bardzo chcielibyśmy z Anią i całym zespołem podziękować wszystkim, dzięki którym powstaje ta audycja, czyli naszym patronkom i patronom. Zachęcamy wszystkich do wspierania nas dobrowolnym wpłatami w serwisie Patronite. Tam samemu zdecydujesz o kwocie wsparcia, a my polecamy się i dziękujemy za Wasze oceny na Spotify, Apple czy innych platformach, na których nas słuchacie. I do usłyszenia w kolejnym tygodniu.

Transkrypcja