Facebook Echo komore su stvarne, ali ne mogu pokretati polarizaciju

Autori : Brendan Nyhan Jaime Settle Emily Thorson Magdalena Wojcieszak Pablo Barberá Annie Y. Chen Lov na Allcott Tejlor Braun Adriana Krespo-Tenorio Drew Dimmery Deen Freelon Matthew Gentzkow Sandra González-Bailón Andrew M. Guess Edvard Kenedi Young Mie Kim David Lazer Neil Malhotra Devra Moehler poruka Dženifer Pan Daniel Robert Thomas Rebeka tromba Carlos Velasco Rivera Arjun Wilkins Beixian Xiong Chad Kiewiet de Jonge Ana Franko Winter Mason Natalie Jomini Stroud Joshua A. Tucker Autori : Brendan Nijan Džejmi Setle Emilija Thorson Magdalena Vojcieszak Pablo Barbarić Annie Y. Čen Lov na Allcott Tejlor Braun Adriana Krespo-Tenorio Uslovi korišćenja Drew Dimmery Deen Freelon Matjaž Gencov Sanja Gonzalez-Bailón Andrew M. Pretpostavljam Edvard Kenedi Mladi Mi Kim Dejvid Lazer Neil Malhotra Devra Moehler poruka Dženifer Pan Daniel Robert Thomas Rebeka tromba Karlos Velasko Rivera Arjun Vilkinsi Bejsijan Xiong Chad Kiewiet de Jonge Ana Franko Zimski masoni Natalije Jomini Stroud Džošua A. Tucker Abstrakcija Mnogi kritičari su zabrinuti zbog prevalencije „ekohama“ na društvenim mrežama i njihove potencijalne uloge u povećanju političke polarizacije. , . Here we present data from 2020 for the entire population of active adult Facebook users in the USA showing that content from ‘like-minded’ sources constitutes the majority of what people see on the platform, although political information and news represent only a small fraction of these exposures. To evaluate a potential response to concerns about the effects of echo chambers, we conducted a multi-wave field experiment on Facebook among 23,377 users for whom we reduced exposure to content from like-minded sources during the 2020 US presidential election by about one-third. We found that the intervention increased their exposure to content from cross-cutting sources and decreased exposure to uncivil language, but had no measurable effects on eight preregistered attitudinal measures such as affective polarization, ideological extremity, candidate evaluations and belief in false claims. These precisely estimated results suggest that although exposure to content from like-minded sources on social media is common, reducing its prevalence during the 2020 US presidential election did not correspondingly reduce polarization in beliefs or attitudes. 1 2 Glavni Increased partisan polarization and hostility are often blamed on online echo chambers on social media , , , , , zabrinutost koja je porasla od američkih predsedničkih izbora 2016. , , . Platforms such as Facebook are thought to fuel extremity by repeatedly showing people congenial content from like-minded sources and limiting exposure to counterarguments that could promote moderation and tolerance , , Slično tome, komunikacija koja jača identitet na društvenim mrežama mogla bi ojačati negativne stavove prema outgroupima i ojačati vezanost za ingroupe. . 3 4 5 6 7 8 9 10 11 12 13 14 Da bismo procijenili koliko često su ljudi izloženi kongenialnom sadržaju na društvenim mrežama, koristimo podatke od svih aktivnih odraslih korisnika Facebooka u SAD-u kako bismo analizirali koliko je ono što vide na platformi iz izvora koje kategorizujemo kao dijeljenje njihovih političkih sklonosti (što se odnosimo na sadržaj iz istomišljenih izvora; pogledajte Metode, „eksperimentalni dizajn“). Prvo, nemamo sistematske mere izlaganja sadržaju na platformama kao što je Facebook, koje su uglavnom nedostupne istraživačima Podaci o web prometu ukazuju na to da relativno malo Amerikanaca ima ozbiljno iskrivljene informacije o prehrani. , , , Ranije promatračke studije o izloženosti informacijama na platformama fokusiraju se na Twitter, koji koristi samo 23% javnosti. , , , , ili novinska dijeta male manjine aktivnih odraslih korisnika u SAD-u koji su se identificirali kao konzervativni ili liberalni na Facebooku u 2014. – 2015. Bez pristupa mjerama ponašanja izloženosti, studije se umjesto toga moraju oslanjati na samoreporte ankete koje su sklone greškama u mjerenju. , . 2 15 16 17 18 19 20 21 22 23 24 25 Drugo, iako ankete nalaze povezanost između održavanja polarizovanih stavova i, možda, konzumacije istomišljenih vijesti , , malo studija pruža uzročne dokaze da konzumiranje istomišljenog sadržaja dovodi do trajne polarizacije.Ove promatrane korelacije mogu biti lažne s obzirom na to da ljudi s ekstremnim političkim stavovima imaju veću vjerojatnost da konzumiraju istomišljenog sadržaja , Osim toga, iako istomišljene informacije mogu polarizovati , , , većina eksperimentalnih testova teorija o potencijalnim efektima eho komore su kratki i koriste simulirani sadržaj, što otežava da se zna da li se ovi nalazi generaliziraju u stvarnim okruženjima. , Koliko brzo mogu da se raspadnu , , i da li su koncentrirani među ljudima koji izbegavaju vijesti i politički sadržaj . 26 27 28 29 30 31 32 18 33 18 33 28 Finally, reducing exposure to like-minded content may not lead to a corresponding increase in exposure to content from sources with different political leanings (which we refer to as cross-cutting) and could also have unintended consequences. Social media feeds are typically limited to content from accounts that users already follow, which include few that are cross-cutting and many that are non-political Kao rezultat toga, smanjenje izloženosti istomišljenim izvorima može povećati prevalenciju sadržaja iz izvora koji su politički neutralni, a ne nekogenialni. Nadalje, ako je sadržaj iz istomišljenih izvora sistematski drugačiji (kao što je ton ili tema), smanjenje izloženosti takvom sadržaju može imati i druge efekte na sastav društvenih medija. U svakom slučaju) 22 34 U ovoj studiji, mi merimo prevalenciju izlaganja sadržaju iz politički istomišljenim izvorima među aktivnim odraslim Facebook korisnicima u SAD-u. Zatim izveštavamo o rezultatima eksperimenta koji procjenjuju efekte smanjenja izlaganja sadržaju od politički istomišljenih prijatelja, stranica i grupa među saglasnim Facebook korisnicima ( Kombiniranjem podataka o ponašanju na platformama iz Facebooka sa mjerama istraživanja stavova prikupljenih prije i nakon američkih predsedničkih izbora 2020. godine, možemo utvrditi kako smanjenje izloženosti sadržaju iz istomišljenih izvora mijenja informacije koje ljudi vide i angažiraju na platformi, kao i testiranje učinaka smanjenja izloženosti tim izvorima na uvjerenja i stavove korisnika. n Iako su Meta istraživači i akademici bili deo istraživačkog tima, vodeći akademski autori imali su konačnu riječ o planu analize, sarađivali su s Meta istraživačima o kodu koji sprovodi plan analize, i imali su prava kontrole nad odlukama o analizi podataka i tekstom rukopisa. Pod uvjetima saradnje, Meta nije mogla blokirati objavljivanje bilo kakvih rezultata. Akademiku nije bilo finansijski kompenzirano i plan analize je bio prethodno registriran prije dostupnosti podataka ( ); dodatni detalji su navedeni u dodatnim informacijama, odjeljku . https://osf.io/3sjy2 4.8 Prvo, većina sadržaja koji aktivni odrasli korisnici Facebooka vide u SAD-u dolazi od istomišljenih prijatelja, stranica i grupa, iako su samo male frakcije ovog sadržaja kategorizirane kao vijesti ili su eksplicitno o politici. Drugo, otkrili smo da eksperimentalna intervencija koja smanjuje izloženost sadržaju iz istomišljenih izvora za oko trećinu smanjuje ukupni angažman s tim sadržajem i smanjuje izloženost sadržaju klasificiranom kao necivilizovan i sadržaju iz izvora koji ponekad objavljuju dezinformacije. Međutim, intervencija samo umjereno povećava izloženost sadržaju iz križnih izvora. Umjesto toga, promatramo veće povećanje izloženosti sadržaju iz izvora koji nisu ni istomišljeni ni križni. Furthermore, despite reducing exposure to content from like-minded sources by approximately one-third over a period of weeks, we find no measurable effects on 8 preregistered attitudinal measures, such as ideological extremity and consistency, party-congenial attitudes and evaluations, and affective polarization. We can confidently rule out effects of ±0.12 s.d. or more on each of these outcomes. These precisely estimated effects do not vary significantly by respondents’ political ideology (direction or extremity), political sophistication, digital literacy or pre-treatment exposure to content that is political or from like-minded sources. Izloženost istomišljenim izvorima Naša analiza izloženosti platformi i ponašanja uzima u obzir populaciju odraslih korisnika Facebooka u SAD-u (u dobi od 18 godina i starijih). Mi se prvenstveno fokusiramo na one koji koriste platformu najmanje jednom mjesečno, koje nazivamo mesečno aktivnim korisnicima. Tokom trećeg i četvrtog kvartala 2020. godine, koji obuhvaća ovaj interval, kao i studijski period za eksperiment prikazan u nastavku, 231 milion korisnika pristupilo je Facebooku svakog meseca u SAD-u. 4.9.4 Koristili smo interni klasifikator Facebooka da bismo procijenili političku naklonost odraslih korisnika Facebooka u SAD-u (vidjeti odjeljak Dodatne informacije). za validaciju i odjeljke for classifier details; Extended Data Fig. prikazuje raspodjelu predviđene ideologije po samorapornoj ideologiji, identifikaciji stranke i odobrenju bivšeg predsednika Donalda Trumpa). Klasifikator proizvodi predviđanja na nivou korisnika u rasponu od 0 (levo-levo) do 1 (desno-levo). Korisnici s predviđenim vrijednostima većim od 0,5 klasificirani su kao konzervativni i na drugi način klasificirani kao liberalni, što nam omogućuje da analiziramo punu populaciju aktivnih odraslih korisnika Facebooka u SAD-u. Početak stranice je prosječna ocjena korisnika koji prate Stranicu i/ili dijele njezin sadržaj; rezultat grupe je prosječna ocjena članova grupe i/ili korisnika koji dijele njezin sadržaj. Klasificirali smo prijatelje, stranice ili grupe kao liberalne 2.1 1.3 1 We begin by assessing the extent to which US Facebook users are exposed to content from politically like-minded users, Pages and groups in their Feed during the period 26 June to 23 September 2020 (see Predstavljamo procjene tih količina među odraslima u SAD-u koji su se prijavili na Facebook najmanje jednom u 30 dana prije 17. avgusta 2020. Dodatne informacije Pronalazimo da je srednji korisnik Facebooka dobio većinu sadržaja iz istomišljenih izvora – 50,4% u odnosu na 14,7% iz križnih izvora (ostali su od prijatelja, stranica i grupa koje mi klasificiramo kao ne istomišljene ili križane). Odjeljak za detalje o klasifikatorima koji se koriste u ovoj studiji). mediani korisnik dobio je 55% svojih izloženosti građanskom sadržaju i 47% njihovih izloženosti sadržaju vijesti iz istomišljenih izvora (vidi Tablicu proširenih podataka) za tačne brojeve i dodatnu figuru. for a comparison with our experimental participants). Civic and news content make up a relatively small share of what people see on Facebook, however (medians of 6.9% and 6.7%, respectively; Supplementary Table U svakom slučaju) Dodatne informacije 4.3 1 3 11 Međutim, obrasci izloženosti mogu značajno varirati između korisnika. pruža distribuciju izloženosti izvorima koji su bili istomišljeni, prekrižni ili ne za sav sadržaj, građanski sadržaj i sadržaj vijesti za korisnike Facebooka. 1 , Distribucija izloženosti mesečno aktivnih odraslih korisnika Facebooka u SAD-u sadržaju iz istomišljenih izvora, križnih izvora i onih koji ne spadaju ni u jednu kategoriju u njihovom Facebook Feed. , Kumulativne funkcije distribucije nivoa izloženosti po vrsti izvora. Klasifikacije izvora i sadržaja stvorene su pomoću internih Facebook klasifikatora (Dodatne informacije, odjeljak ). a b 1.3 Unatoč prevalenciji istomišljenih izvora u onome što ljudi vide na Facebooku, ekstremi ekokamerni obrasci izlaganja su rijetki. Samo 20,6% korisnika Facebooka dobija više od 75% svojih izlaganja iz istomišljenih izvora. Još 30,6% dobija 50–75% svojih izlaganja na Facebooku iz istomišljenih izvora. Konačno, 25,6% dobija 25–50% svojih izlaganja iz istomišljenih izvora i 23,1% dobija 0–25% svojih izlaganja iz istomišljenih izvora. Ovi omjeri su slični za podsete građanskog i vijesti sadržaja (Extended Data Table). Na primer, istomišljeni izvori su odgovorni za više od 75% izlaganja ovim tipovima sadržaja za 29% i 20,6% korisnika, odnosno. 1 Međutim, izloženost sadržaju iz križnih izvora je takođe relativno rijetka među korisnicima Facebooka.Samo 32,2% ima četvrtinu ili više njihovih Facebook Feed izloženosti koje dolaze iz križnih izvora (31,7% i 26,9%, respektivno, za građanski i vijesti sadržaj). Među odraslima u SAD-u koji su koristili Facebook najmanje jednom dnevno u 30 dana prije 17. avgusta 2020. godine, 53% gledanog sadržaja bilo je iz istomišljenih izvora u usporedbi sa 14% za križne izvore, ali samo 21,1% primilo je više od 75% njihovih izlaganja od istomišljenih izvora (vidi proširenu sliku podataka. Proširena tabela podataka ). 2 2 Čak i među onima koji su najaktivniji na platformi, samo je manjina korisnika Facebooka izložena vrlo visokim razinama sadržaja iz istomišljenih izvora. Eksperiment koji smanjuje izloženost istomišljenim izvorima To examine the effects of reducing exposure to information from like-minded sources, we conducted a field experiment among consenting US adult Facebook users. This study combines data on participant behaviour on Facebook with their responses to a multi-wave survey, a design that allows us to estimate the effects of the treatment on the information that participants saw, their on-platform behaviour and their political attitudes ( U svakom slučaju) Metode Sudionici u skupinama za liječenje i kontrolu pozvani su da završe pet anketa prije i nakon predsjedničkih izbora 2020. u kojima su ocijenili svoje političke stavove i ponašanje. Dva su anketa bila polja pred-liječenje: val 1 (31 avgust do 12 septembar) i val 2 (8 septembar do 23 septembar). Liječenje je trajalo od 24. septembra do 23. decembra. Tokom perioda liječenja, primenjivala su se još 3 ankete: val 3 (9 oktobar do 23 oktobar), val 4 (4 novembar do 18 novembar) i val 5 (9 prosinac do 23 decembar). Sve kovarije su izmjerene u valovima 1 i 2 i svi rezultati ankete su izmjereni nakon izbora dok je liječenje još bilo u toku (tj. u valovima 4 i/ili 5). Tokom eksperimenta, Ukupno, uzorak za ovu studiju sastoji se od 23.377 odraslih korisnika Facebooka sa sjedištem u SAD-u koji su rekrutirani putem pozivnica za ankete postavljenih na vrh njihovih Facebook feeda u avgustu i septembru 2020. godine, pod uvjetom da su dali informiranu saglasnost za sudjelovanje i završili barem jedan val anketa nakon izbora (vidjeti Dodatne informacije, odjeljke). i U svakom slučaju) 4.5 4.9 Za učesnike koji su dodijeljeni liječenju, svu sadržinu (uključujući, ali ne ograničavajući se na, građanski i vijesti sadržaj) iz prijatelja, grupa i stranica koje su predviđene da dijele političku naklonost učesnika (na primjer, sav sadržaj iz konzervativnih prijatelja i grupa i stranice sa konzervativnom publikom je podređen za učesnike klasificirane kao konzervativne; pogledajte odjeljak Dodatne informacije, U svakom slučaju) 1.1 Napominjemo tri važne značajke dizajna intervencije. Prvo, jedini cilj intervencije bio je da se smanji izloženost sadržaju iz istomišljenih izvora. Nije dizajniran tako da izravno promijeni bilo koji drugi aspekt feedova sudionika. Sadržaj iz istomišljenih izvora je klasifikovan pomoću najveće moguće snage demontaže da bi pre-test pokazao da bi smanjio izloženost bez što bi feed postao gotovo prazan za neke korisnike, što bi ometalo korisnost i tako zbunilo naše rezultate; vidi Dodatne informacije, odjeljak Drugo, naš tretman ograničava izloženost svim sadržajima iz istomišljenih izvora, a ne samo vijestima i političkim informacijama.Budući da platforme društvenih medija zamagljuju društvene i političke identitete, čak i sadržaj koji nije izričito o politici još uvijek može komunicirati relevantne naznake , Takođe, jer politika i vesti čine mali deo ljudi online informativnih dijeta , , Treće, s obzirom na povezanost između polarizovanih stavova i izloženosti politički kongenialnom sadržaju koji su pronađeni u prethodnim istraživanjima, namjerno smo dizajnirali intervenciju koja smanjuje, a ne povećava izloženost sadržaju iz istomišljenih izvora kako bi se smanjile etičke zabrinutosti. 1.1 14 35 18 36 37 Uticaj tretmana na izloženost sadržaju The observed effects of the treatment on exposure to content from like-minded sources among participants are plotted in Fig. Kao što je predviđeno, tretman je znatno smanjio izloženost sadržaju iz istomišljenih izvora u odnosu na razdoblje pre-tretmana. Tokom perioda liječenja od 24. septembra do 23. decembra 2020. godine, prosječna izloženost sadržaju iz istomišljenih izvora smanjila se na 36,2% u terapijskoj grupi, dok je ostala stabilna na 53,7% u kontrolnoj grupi ( Razine izloženosti bile su relativno stabilne tijekom razdoblja tretmana u obje grupe, osim kratkog povećanja izloženosti grupe tretmana sadržaju iz istomišljenih izvora 2. i 3. studenog, zbog tehničkog problema u proizvodnim serverima koji su implementirali tretman (vidjeti Dodatne informacije, odjeljak 4). for details). 2 P 4.11 Korišćenje Prosječan dnevni udeo ispitanika u pogledima sadržaja iz istomišljenih izvora po eksperimentalnoj grupi između 1. jula i 23. decembra 2020. Izvori su klasificirani kao istomišljeni na osnovu procjena iz internog Facebook klasifikatora na individualnom nivou za korisnike i prijatelje, i na nivou publike za Stranice i grupe. W1–W5 ukazuju na valove ankete od 1 do 5; zasjenjenje ukazuje na trajanje vala. pruža usporediv graf prikaza sadržaja iz križnih izvora. Napomena: razine izloženosti kratko su porasle 2. i 3. novembra zbog tehničkog problema; detalji su navedeni u odeljku Dodatne informacije, . 3 4.11 Naši ključni rezultati su vizualizirani u fig. , koji pokazuje učinke tretmana na izloženost različitim vrstama sadržaja tokom perioda tretmana (Slika. ), ukupan broj akcija koje se bave tim sadržajem (Fig. ), stopa angažovanja sa sadržajem uslovljenim izlaganjem njemu (Fig. ), и мере истраживања ставова после избора (Фиг. • Proširena tabela podataka izvješćuje o odgovarajućim procjenama iz Fig. Dodatne informacije, odjeljak pruža detaljne podatke o mjerenju). 3 3a 3b 3c Uslovi 3D 3 3 1.4 Korišćenje Prosječni učinci tretmana smanjenja izloženosti istomišljenim izvorima u Facebook Feed-u od 24. septembra do 23. decembra 2020. – Prosečni učinci tretmana uzorka (SATE) na izloženost i angažman hrane. Ukupan angažman (za sadržaj, ukupan broj angažovanih akcija). , Engagement rate (the probability of engaging conditional on exposure). , Rezultati anketa o stavovima, sa populacijskim prosječnim učincima liječenja (PATEs) procijenjenima pomoću težina ankete. pruža potpune opise svih varijabilnih rezultata. Rezultati bez borbe koji se pojavljuju ispod odvažne glave spadaju u tu kategoriju. , ‘issue positions’, ‘group evaluations’ and ‘vote choice and candidate evaluations’ appear below ‘ideologically consistent views’, indicating that all are measured such that higher values indicate greater ideological consistency. Survey outcome measures are standardized scales averaged across surveys conducted between 4 November and 18 November 2020 and/or 9 December and 23 December 2020. Point estimates are provided in Extended Data Table Uzorci prosječnih procjena učinka tretmana na stavove navedeni su u Tablici proširenih podataka. Svi efekti procenjeni koristeći obične najmanje kvadrate (OLS) sa robustnim standardnim greškama i slijede prethodno registrirani plan analize. Točke označene zvezdicama ukazuju na rezultate koji su značajni ( 0.05 (svi testovi su dvosmjerni). Vrednosti su false-discovery rate (FDR) - prilagođena ( Odjeljak U svakom slučaju) a c b c d 1.4 d 3 4 P P P Dodatne informacije 1.5.4 Kao što se vidi u Fig. , the reduction in exposure to content from like-minded sources from 53.7% to 36.2% represents a difference of 0.77 s.d. (95% confidence interval: −0.80, −0.75). Total views per day also declined by 0.05 s.d. among treated participants (95% confidence interval: −0.08, −0.02). In substantive terms, the average control group participant had 267 total content views on a typical day, of which 143 were from like-minded sources. By comparison, 92 out of 255 total content views for an average participant in the treatment condition were from like-minded sources on a typical day (Supplementary Tables i U svakom slučaju) 3a 33 40 Ovo smanjenje izloženosti informacijama iz istomišljenih izvora, međutim, nije dovelo do simetričnog povećanja izloženosti informacijama iz križnih izvora, koji se povećao sa 20,7% u kontrolnoj grupi na 27,9% u terapijskoj grupi, promjena od 0,43 s.d. (95% interval povjerenja: 0,40, 0,46). Umjesto toga, ispitanika u terapijskoj grupi vidio je veće relativno povećanje izloženosti sadržaju iz izvora klasificiranih kao ni istomišljenih ni križnih. Figure also indicates that reducing exposure to content from like-minded sources reduced exposure to content classified as containing one or more slur words by 0.04 s.d. (95% confidence interval: −0.06, −0.02), content classified as uncivil by 0.15 s.d. (95% confidence interval: −0.18, −0.13), and content from misinformation repeat offenders (sources identified by Facebook as repeatedly posting misinformation) by 0.10 s.d. (95% confidence interval: −0.13, −0.08). Substantively, the average proportion of exposures decreased from 0.034% to 0.030% for content with slur words (a reduction of 0.01 views per day on average), from 3.15% to 2.81% for uncivil content (a reduction of 1.24 views per day on average), and from 0.76% to 0.55% for content from misinformation repeat offenders (a reduction of 0.62 views per day on average). Finally, the treatment reduced exposure to civic content (−0.05 s.d.; 95% confidence interval: −0.08, −0.03) and increased exposure to news content (0.05 s.d., 95% confidence interval: 0.02, 0.07) (see Supplementary Information, section za detalje o tome kako se necivilni sadržaj, sadržaj sa slur rečima i dezinformacije ponavljaju prekršitelje). 3a 1.3 Uticaj tretmana na angažman sadržaja Zatim ćemo razmotriti učinke tretmana (smanjenje izloženosti sadržaju iz istomišljenih izvora) na način na koji učesnici angažiraju se sa sadržajem na Facebooku. predstavlja učinke tretmana na ukupni angažman sa sadržajem – ukupni broj poduzetih akcija koje definiramo kao „pasivne“ (klikovi, reakcije i sviđanja) ili „aktivne“ (komentari i redistribucije) oblike angažmana. predstavlja učinke tretmana na stopu angažovanja, što je vjerojatnost angažovanja sa sadržajem koji su učesnici vidjeli (tj. angažovanje je uvjetovano na izloženosti). Ove dvije mjere ne kreću se nužno u tandemu: kao što smo izvijestili u nastavku, učesnici u skupini tretmana imaju manje ukupnog angažovanja sa sadržajem iz istomišljenih izvora (jer su po dizajnu vidjeli mnogo manje od toga), ali njihova stopa angažovanja je viša od one kontrolne grupe, što ukazuje na to da su češće komunicirali sa sadržajem iz istomišljenih izvora kojima su bili izloženi. 3b 3c Figure pokazuje da intervencija nije imala značajan uticaj na vrijeme provedeno na Facebooku (−0.02 s.d., 95% interval povjerenja: −0.050, 0.004) ali je smanjila ukupnu angažiranost sa sadržajem iz istomišljenih izvora. Ovo smanjenje je zabilježeno i za pasivno i aktivno angažovanje sa sadržajem iz istomišljenih izvora, koje se smanjilo za 0,24 s.d. (95% interval povjerenja: −0.27, −0.22) i 0,12 s.d. (95% interval povjerenja: −0.15, −0.10), odnosno. Naposljetku, primijetili smo smanjenje pasivnog angažmana, ali nema smanjenja aktivnog angažmana sa sadržajem od ponavljača nepravednih informacija (forforforforforforforforforforforfor 3b Kada su ljudi u skupini za liječenje vidjeli sadržaj iz istomišljenih izvora u svojim Feed-ovima, međutim, njihova stopa angažovanja bila je veća nego u kontrolnoj skupini. shows that, conditional on exposure, passive and active engagement with content from like-minded sources increased by 0.04 s.d. (95% confidence interval: 0.02, 0.06) and 0.13 s.d. (95% confidence interval: 0.08, 0.17), respectively. Furthermore, although treated participants saw more content from cross-cutting sources overall, they were less likely to engage with the content that they did see: passive engagement decreased by 0.06 s.d. (95% confidence interval: −0.07, −0.04) and active engagement decreased by 0.02 s.d. (95% confidence interval: −0.04, −0.01). The number of content views per days active on the platform also decreased slightly (–0.05 s.d., 95% confidence interval: −0.08, −0.02). 3c Uticaj tretmana na stavove Konačno, ispitujemo uzročne efekte smanjenja izloženosti istomišljenim izvorima na Facebooku na nizu stavnih rezultata izmjerenih u post-izbornim anketama (Slik. Kao što je prethodno registrirano, mi primenjujemo težine ankete kako bismo procijenili PATE i prilagodili vrijednosti za ove rezultate kako bi se kontrolisala stopa lažnog otkrivanja (vidjeti Dodatne informacije, odjeljke i Mi promatramo dosledan uzorak precizno procijenjenih rezultata blizu nule (otvoreni krugovi na slici. Za mjere rezultata ispitujemo: afektivnu polarizaciju; ideološku ekstremnost; ideološki dosljedne pozicije na temu, grupne evaluacije i izbor glasova i evaluacije kandidata; i partizansko-konženska uvjerenja i stajališta o izbornom pogrešnom ponašanju i ishodima, stajalištima prema izbornom sistemu i poštovanju izbornih normi (vidi Dodatne informacije, odjeljak). za detalje mjerenja). Ukupno, otkrijemo da 7 od 8 ocjena poena za naše primarne rezultate mjerenja imaju vrijednosti od ±0.03 s.d. ili manje i da su precizno procijenjene (granične granice istovjetnosti istraživanja: ±0.1 s.d.; Dodatna tabela Na primer, najmanji detektivni efekat u uzorku za afektivnu polarizaciju je 0,019 s.d. Osmi rezultat je manje precizna nula za ideološki dosledan izbor glasova i evaluacije kandidata (0,056 s.d., granice ekvivalencije: 0,001, 0,111). Uslovi 3D P Preduzetništvo 5.4 4.7 Uslovi 3D 1.4 60 Također smo testirali učinke smanjenja izloženosti sadržaju iz istomišljenih izvora na raznim mjerama stavova za koje smo imali slabiji očekivanja. Upotrebom istraživačkog testa granica ekvivalencije, možemo ponovo pouzdano isključiti učinke ± 0,18 s.d. za ta prethodno registrirana istraživačka pitanja u 18 rezultata, koji su prijavljeni u Extended Data Fig. and Supplementary Table Istraživačka analiza granica ekvivalencije takođe isključuje promjenu u samorapornoj potrošnji medija izvan Facebooka koje smo kategorizirali kao istomišljene od ±0.07 s.d. and U svakom slučaju) 5 47 59 67 Finally, we examine heterogeneous treatment effects on the attitudes reported in Fig. i istraživačka pitanja kroz niz prethodno registriranih karakteristika: politička ideologija ispitanika (usmerenost ili ekstremnost), politička sofisticiranost, digitalna pismenost, izloženost pre-liječenju sadržaju koji je politički, i nivo pred-liječenja istomišljenog izloženosti i kao postotak dijeta informacija ispitanika i kao ukupni broj izloženosti (vidjeti Dodatne informacije, odjeljak Nijedna od 272 prethodno registriranih procjena učinka tretmana podskupine za naše primarne rezultate nije statistički značajna nakon prilagođavanja kako bi se kontrolisala stopa lažnog otkrivanja. U svakom slučaju) Uslovi 3D 3.9 9.5 Izveštaj Discussion Mnogi promatrači dijele stav da Amerikanci žive u onlajn eho sobama koje polariziraju mišljenja o politici i produbljuju političke podjele. , . Some also argue that social media platforms can and should address this problem by reducing exposure to politically like-minded content . However, both these concerns and the proposed remedy are based on largely untested empirical assumptions. 6 7 38 Ovde pružamo sistematske opisne dokaze o tome u kojoj mjeri korisnici društvenih medija neproporcionalno konzumiraju sadržaj iz politički kongenitalnih izvora. Otkrili smo da samo mali deo sadržaja koje Facebook korisnici vide izričito se odnosi na politiku ili vijesti i relativno malo korisnika ima izuzetno visoku razinu izloženosti istomišljenim izvorima. , ). This content has the potential to reinforce partisan identity even if it is not explicitly political . 15 39 14 Our field experiment also shows that changes to social media algorithms can have marked effects on the content that users see. The intervention substantially reduced exposure to content from like-minded sources, which also had the effect of reducing exposure to content classified as uncivil and content from sources that repeatedly post misinformation. However, the tested changes to social media algorithms cannot fully counteract users’ proclivity to seek out and engage with congenial information. Participants in the treatment group were exposed to less content from like-minded sources but were actually more likely to engage with such content when they encountered it. Konačno, otkrili smo da smanjenje izloženosti sadržaju iz istomišljenih izvora na Facebooku nije imalo mjerljiv učinak na niz političkih stavova, uključujući afektivnu polarizaciju, ideološku ekstremnost i mišljenja o pitanjima; naše istraživačke analize granica ekvivalencije omogućuju nam da pouzdano isključimo efekte ± 0,12 s.d. There are several potential explanations for this pattern of null results. First, congenial political information and partisan news—the types of content that are thought to drive polarization—account for a fraction of what people see on Facebook. Similarly, social media consumption represents a small fraction of most people’s information diets , koji uključuju informacije iz mnogih izvora (na primjer, prijatelji, televizija i tako dalje). Dakle, čak i velike promene u izloženosti na Facebooku mogu biti male kao udio svih informacija koje ljudi konzumiraju. , , , , Naposljetku, pokušali smo da smanjimo umjesto da povećamo izloženost istomišljenim informacijama iz etičkih razloga. Iako rezultati sugeriraju da smanjenje izloženosti informacijama iz istomišljenih izvora ima minimalne efekte na stavove, učinci takve izloženosti možda nisu simetrični. 37 33 40 41 42 43 Upozoravamo na nekoliko drugih područja za buduća istraživanja. prvo, ne možemo isključiti mnoge načine na koje upotreba društvenih medija može uticati na uverenja i stavove učesnika prije eksperimenta. Posebno, naš dizajn ne može uhvatiti učinke prethodne upotrebe Facebooka ili kumulativne efekte tijekom godina; potrebni su eksperimenti koji se provode tijekom dužih razdoblja i / ili među novim korisnicima (objavljujemo, međutim, da ne nalazimo dokaze o heterogenim učincima po dobi ili godinama od pristupanja Facebooku). , karakteristike uzorka i ponašanje odstupaju u nekim aspektima od populacije korisnika Facebooka. Buduća istraživanja trebala bi ispitati uzorke koji bliže odražavaju korisnike Facebooka i/ili podskupine koji mogu biti posebno pogođeni istomišljenim sadržajem. Treće, samo manjina korisnika Facebooka zauzimaju eho komore, ali doseg platforme znači da je grupa u pitanju velika u apsolutnom smislu. Buduća istraživanja trebala bi nastojati bolje razumjeti zašto su neki ljudi izloženi velikim količinama istomišljenih informacija i posljedicama ove izloženosti. Četvrto, naša studija ispituje prevalenciju eho komora koristeći procenjene političke usmjerenosti korisnika, stranica i grupa koje dijele sadržaj na društvenim mrežama. Mi ne 44 U konačnici, ovi rezultati izazivaju popularne narate koji krive eho komore društvenih medija za probleme suvremene američke demokracije. Algoritamske promjene koje smanjuju izloženost istomišljenim izvorima ne izgledaju kao jednostavno rješenje za te probleme. Informacije koje vidimo na društvenim mrežama mogu biti više odraz našeg identiteta nego izvor mišljenja koje izražavamo. Metode Učesnici Sudionici u našem terenskom eksperimentu su 73,3% bijelaca, 57,3% žena, relativno visoko obrazovani (50,7% imaju fakultetsku diplomu), a 54.1% se identificiraju kao Demokrate ili lean Demokrate. Oni takođe koriste Facebook češće nego opća Facebook populacija i izloženi su više sadržaja iz politički istomišljenih izvora (fenomen interesa), uključujući građanski i vijesti sadržaje iz istomišljenih izvora, nego su drugi Facebook korisnici (Dodatne tabele) and – Naše procjene učinka tretmana na stavove stoga primjenjuju težine istraživanja stvorene da odražavaju populaciju odraslih mesečno aktivnih korisnika Facebooka koji su bili prihvatljivi za zapošljavanje (vidjeti odjeljak Dodatne informacije, Demografske karakteristike ponderiranog uzorka su slične onima samih prijavljenih korisnika Facebooka u AmeriSpeak uzorku vjerojatnosti (Extended Data Table). U svakom slučaju) 2 4 10 4.7 5 Eksperimentalni dizajn Respondents were assigned to treatment or control with equal probability using block randomization (see Supplementary Information, section za detalje; učesnici su bili slepi na dodelu). Feed učesnika u kontrolnom stanju nije sistematski promijenjen. Zbog poteškoća u mjerenju političkog nagiba ili nagiba mnogih različitih tipova sadržaja po skali, mi smo umjesto toga varijirali izloženost sadržaju na osnovu procjene političkog nagiba izvora informacija. Koristeći Facebook klasifikator, procjenjujemo političko nagibanje drugih korisnika izravno (vidjeti Dodatne informacije, odjeljak za detalje). zasnovan na prethodnim istraživanjima , , , , , procjenjujemo političke sklonosti stranica i grupa koristeći političke sklonosti njihove publike (članovi grupe i sljedbenici stranice). Mi klasificiramo sve korisnike kao liberalne ili konzervativne koristeći binarni prag kako bi se maksimizirala statistička moć, ali rezultati su dosljedni kada isključimo ispitanike s ocjenama između 0,4 i 0,6 u istraživačkoj analizi (vidjeti Dodatne informacije, odjeljke i U svakom slučaju) 4.5 1.3 16 17 23 45 46 3.10 3.11 Na primer, naši izračuni snage pokazali su da bi konačna veličina uzorka od 24.480 generirala minimalni detektivni efekat od 1,6 postotnih bodova na izbor glasa među vjerojatnim glasačima (vidjeti dodatne informacije, odjeljak U svakom slučaju) 4.5 Randomization was successful: the treatment and control groups do not differ in their demographic characteristics at a rate above what would be expected by chance (see Supplementary Table ). In total, 82.6% of experimental participants completed at least one post-election survey (23,377 valid completions out of 28,296 eligible participants; see Supplementary Information, section Konačni uzorak sastoji se od ispitanika koji su završili najmanje jednu anketu nakon izbora i nisu izbrisali svoj nalog ili se povukli iz studije prije nego što su podaci de-identifikovani. i U svakom slučaju) 5 2.1 Uslovi poslovanja 2.1 1.2 Analiza Sve analize u glavnom tekstu i u Dodatnim informacijama prate prethodnu registraciju podnesenu u Zakonu o otvorenoj nauci ( ; pogledajte Dodatne informacije, odjeljak osim za odstupanja objavljena u Dodatne informacije, odjeljak ). procjene učinka tretmana koriste OLS sa robusnim standardnim greškama i kontrolom za kovarijate odabrane koristeći najmanji apsolutni operator smanjenja i odabira (vidjeti dodatne informacije, odjeljak Kao što je prethodno registrirano, naši testovi učinaka tretmana na stavove takođe primjenjuju težine ankete za procjenu PATE (vidjeti Dodatne informacije, odjeljak Uzorci prosječnih učinaka liječenja, koji su vrlo slični, pruženi su u dodatnim informacijama, odeljcima – . https://osf.io/3sjy2 4.10 4.11 47 Uslovi korišćenja 4.7 3.2 3.5 Etika We have complied with all relevant ethical regulations. The overall project was reviewed and approved by the National Opinion Research Center (NORC) Institutional Review Board (IRB). Academic researchers worked with their respective university IRBs to ensure compliance with human subject research regulations in analysing data collected by NORC and Meta and authoring papers based on those findings. The research team also received ethical guidance from Ethical Resolve to inform study designs. More detailed information is provided in Supplementary Information, sections and . 1.2 4.9 All experimental participants provided informed consent before taking part (see Supplementary Information, section for recruitment and consent materials). Participants were given the option to withdraw from the study while the experiment was ongoing as well as to withdraw their data at any time up until their survey responses were disconnected from any identifying information in February 2023. We also implemented a stopping rule, inspired by clinical trials, which stated that we would terminate the intervention before the election if we detected it was generating changes in specific variables related to individual welfare that were much larger than expected. More details are available in Supplementary Information, section . 4.6 1.2 Niko od akademskih istraživača nije dobio finansijsku naknadu od Meta za svoje sudjelovanje u projektu. Analize su prethodno registrirane u Fondaciji za otvorenu nauku ( Glavni autori zadržali su konačnu diskreciju o svemu što je prijavljeno u ovom dokumentu. Meta se javno složio da neće biti prethodnog odobrenja za objavljivanje radova na temelju njihovih nalaza. za više detalja o meta-akademskoj saradnji. https://osf.io/3sjy2 4.8 Reporting summary Dodatne informacije o dizajnu istraživanja dostupne su u Povezano sa ovim člankom. Izvješće Nature Portfolio Data availability De-identificirani podaci iz ovog projekta (Meta Platforms, Inc. Facebook Intervention Experiment Participants. Inter-university Consortium for Political and Social Research [distributor], 2023-07-27. ; Meta Platforms, Inc. Exposure to and Engagement with Facebook Posts. Inter-university Consortium for Political and Social Research [distributor], 2023-07-27. ; Meta Platforms, Inc. Ideološko usklađivanje korisnika u Facebook mrežama. Inter-universitetski konzorcijum za politička i socijalna istraživanja [distributer], 2023-07-27. ; Meta Platforms, Inc. Facebook User Attributes. Inter-universitetski konzorcijum za politička i socijalna istraživanja [distributer], 2023-07-27. ; Stroud, Natalie J., Tucker, Joshua A., NORC sa Univerziteta u Čikagu, i Meta Platforms, Inc. US 2020 FIES NORC Data Files. ) su dostupni pod kontroliranim pristupom iz Arhiva društvenih medija (SOMAR) na Univerzitetu Michigan Inter-universitetski konzorcij za politička i socijalna istraživanja (ICPSR). Podaci se mogu pristupiti preko ICPSR-ovog virtualnog enklava podataka za univerzitetsko IRB-ovog odobrenog istraživanja o izborima ili za potvrđivanje nalaza ove studije. ICPSR će prihvatiti i provjeriti sve aplikacije za pristup podacima. Pristup podacima je kontrolisan kako bi se zaštitila privatnost učesnika studije i da bude u skladu sa obrazcem za pristanak koji su potpisali učesnici studije gdje im je rečeno da će njihovi podaci biti korišćeni za „buduće istraživanje o izborima, za potvrđivanje nalaza ove studije, ili ako ); inquiries can be directed to SOMAR staff at somar-help@umich.edu. ICPSR staff will respond to requests for data within 2–4 weeks of submission. To access the data, the home institution of the academic making the request must complete ICPSR’s Restricted Data Agreement. pruža se ovim dokumentom. https://doi.org/10.3886/9wct-2d24 https://doi.org/10.3886/9sqy-ny89 https://doi.org/10.3886/nvh0-jh41 https://doi.org/10.3886/vecn-ze56 https://doi.org/10.3886/0d26-d856 https://socialmediaarchive.org/ Source data Code availability Analiza koda iz ove studije (Meta Platforms, Inc. Replication Code for U.S. 2020 Facebook and Instagram Election Study. Inter-university Consortium for Political and Social Research [distributor], 2023-07-27. ) je arhiviran na SOMAR, ICPSR ( ) i stavljen na raspolaganje u ICPSR virtualne enklave podataka za univerzitetski IRB odobrenog istraživanja o izborima ili da potvrdi nalaze ove studije po izjavi o dostupnosti podataka iznad. podaci u ovoj studiji su analizirani koristeći R (verzija 4.1.1), koji je izvršen preko R beležnice na JupyterLab (3.2.3). Koda za analizu uvozi nekoliko R paketa dostupnih na CRAN, uključujući dplyr (1.0.10), ggplot2 (3.4.0), xtable (1.8-4), aws.s3 (0.3.22), glmnet (4.1.2), SuperLearner (2.0-28), margin (0.3.26) i procijeniti (1.0.0). https://doi.org/10.3886/spb3-g558 https://socialmediaarchive.org Promena istorije 01 November 2023 A Correction to this paper has been published: https://doi.org/10.1038/s41586-023-06795-x Referencije Lazer, D. M. J. et al. Computational social science: Obstacles and opportunities. , 1060–1062 (2020). Science 369 de Vreese, C. & Tromble, R. The data abyss: How lack of data access leaves research and society in the dark. , 356–360 (2023). Political Commun. 40 Newport, F. & Dugan, A. Partisan differences growing on a number of issues. (2017). Gallup https://news.gallup.com/opinion/polling-matters/215210/partisan-differences-growing-number-issues.aspx Iyengar, S., Lelkes, Y., Levendusky, M., Malhotra, N. & Westwood, S. J. The origins and consequences of affective polarization in the United States. , 129–146 (2019). Annu. Rev. Political Sci. 22 Finkel, E. J. et al. Political sectarianism in America. , 533–536 (2020). Science 370 Sunstein, C. R. (Princeton Univ. Press, 2009). Republic.com 2.0 Pariser, E. (Penguin, 2011). The Filter Bubble: What The Internet is Hiding from You Hosanagar, K. Blame the echo chamber on Facebook. but blame yourself, too. (25 November 2016). Wired https://www.wired.com/2016/11/facebook-echo-chamber/ Knight, M. Explainer: How Facebook has become the world’s largest echo chamber. (5 February 2018). The Conversation https://theconversation.com/explainer-how-facebook-has-become-the-worlds-largest-echo-chamber-91024 Johnson, S. L., Kitchens, B. & Gray, P. Facebook serves as an echo chamber, especially for conservatives. Blame its algorithm. (26 October 2020). Washington Post https://www.washingtonpost.com/opinions/2020/10/26/facebook-algorithm-conservative-liberal-extremes/ Helberger, N. Exposure diversity as a policy goal. , 65–92 (2012). J. Media Law 4 Stroud, N. J. Polarization and partisan selective exposure. , 556–576 (2010). J. Commun. 60 Mutz, D. C. Cross-cutting social networks: Testing democratic theory in practice. , 111–126 (2002). Am Political Sci. Rev. 96 Settle, J. E. (Cambridge Univ. Press, 2018). Frenemies: How Social Media Polarizes America Gentzkow, M. & Shapiro, J. M. Ideological segregation online and offline. , 1799–1839 (2011). Q. J. Econ. 126 Flaxman, S., Goel, S. & Rao, J. M. Filter bubbles, echo chambers, and online news consumption. , 298–320 (2016). Public Opin. Q. 80 Guess, A. M. (Almost) everything in moderation: New evidence on Americans’ online media diets. , 1007–1022 (2021). Political Sci. 65 Wojcieszak, M. et al. No polarization from partisan news. (2021). Int. J. Press/Politics https://doi.org/10.1177/1940161221104 Barberá, P., Jost, J. T., Nagler, J., Tucker, J. A. & Bonneau, R. Tweeting from left to right: Is online political communication more than an echo chamber? , 1531–1542 (2015). Psychol. Sci. 26 Eady, G., Nagler, J., Guess, A., Zilinsky, J. & Tucker, J. A. How many people live in political bubbles on social media? Evidence from linked survey and Twitter data. , 2158244019832705 (2019). SAGE Open 9 Auxier, B. & Anderson, M. . (Pew Research Center, 2021). Social Media Use in 2021 https://www.pewresearch.org/internet/2021/04/07/social-media-use-in-2021/ Wojcieszak, M., Casas, A., Yu, X., Nagler, J. & Tucker, J. A. Most users do not follow political elites on Twitter; those who do show overwhelming preferences for ideological congruity. , eabn9418 (2022). Sci. Adv. 8 Bakshy, E., Messing, S. & Adamic, L. A. Exposure to ideologically diverse news and opinion on Facebook. , 1130–1132 (2015). Science 348 Prior, M. The immensely inflated news audience: Assessing bias in self-reported news exposure. , 130–143 (2009). Public Opin. Q. 73 Konitzer, T. et al. Comparing estimates of news consumption from survey and passively collected behavioral data. , 347–370 (2021). Public Opin. Q. 85 Garrett, R. K. et al. Implications of pro- and counterattitudinal information exposure for affective polarization: Partisan media exposure and affective polarization. , 309–332 (2014). Hum. Commun. Res. 40 Lu, Y. & Lee, JaeKook Partisan information sources and affective polarization: panel analysis of the mediating role of anger and fear. , 767–783 (2019). Journal. Mass Commun. Q 96 Arceneaux, K. & Johnson, M. (Univ. Chicago Press, 2013). Changing Minds or Changing Channels?: Partisan News in an Age of Choice Levendusky, M. (Univ. of Chicago Press, 2013). How Partisan Media Polarize America Levendusky, M. S. Why do partisan media polarize viewers? , 611–623 (2013). Am. J. Political Sci. 57 Levendusky, M. Partisan media exposure and attitudes toward the opposition. , 565–581 (2013). Political Commun. 30 Hasell, A. & Weeks, B. E. Partisan provocation: The role of partisan news use and emotional responses in political information sharing in social media. , 641–661 (2016). Hum. Commun. Res. 42 Guess, A. M., Barberá, P., Munzert, S. & Yang, J. H. The consequences of online partisan media. , e2013464118 (2021). Proc. Natl Acad. Sci. USA 118 Hobbs, W. R. & Roberts, M. E. How sudden censorship can increase access to information. , 621–636 (2018). Am. Pol. Sci. Rev. 112 DellaPosta, D., Shi, Y. & Macy, M. Why do liberals drink lattes? , 1473–1511 (2015). Am. J. Sociol. 120 Wells, C. & Thorson, K. Combining big data and survey techniques to model effects of political content flows in Facebook. , 33–52 (2017). Soc. Sci. Comput. Rev. 35 Allen, J., Howland, B., Mobius, M., Rothschild, D. & Watts, D. J. Evaluating the fake news problem at the scale of the information ecosystem. , eaay3539 (2020). Sci. Adv. 6 Farr, C. Jack Dorsey: “Twitter does contribute to filter bubbles” and “we need to fix it”. (15 October 2018). CNBC https://www.cnbc.com/2018/10/15/twitter-ceo-jack-dorsey-twitter-does-contribute-to-filter-bubbles.html McPherson, M., Smith-Lovin, L. & Cook, J. M. Birds of a feather: Homophily in social networks. , 415–444 (2001). Annu. Rev. Sociol. 27 Gerber, A. S., Gimpel, J. G., Green, D. P. & Shaw, D. R. How large and long-lasting are the persuasive effects of televised campaign ads? Results from a randomized field experiment. , 135–150 (2011). Am. Political Sci. Rev. 105 Hill, S. J., Lo, J., Vavreck, L. & Zaller, J. How quickly we forget: The duration of persuasion effects from mass communication. , 521–547 (2013). Political Commun. 30 Coppock, A., Hill, S. J. & Vavreck, L. The small effects of political advertising are small regardless of context, message, sender, or receiver: Evidence from 59 real-time randomized experiments. , eabc4046 (2020). Sci. Adv. 6 Carey, J. M. et al. The ephemeral effects of fact-checks on COVID-19 misperceptions in the United States, Great Britain and Canada. , 236–243 (2022). Nat. Hum. Behav. 6 Coppock, A. (Univ. Chicago Press, 2022). Persuasion in Parallel: How Information Changes Minds about Politics Golbeck, J. & Hansen, D. A method for computing political preference among Twitter followers. , 177–184 (2014). Social Netw. 36 Eady, G., Bonneau, R., Tucker, J. A. & Nagler, J. News sharing on social media: Mapping the ideology of news media content, citizens, and politicians. Preprint at (2020). https://doi.org/10.31219/osf.io/ch8gj Bloniarz, A., Liu, H., Zhang, Cun-Hui, Sekhon, J. S. & Yu, B. Lasso adjustments of treatment effect estimates in randomized experiments. , 7383–7390 (2016). Proc. Natl Acad. Sci. USA 113 Priznanja Njihovi učesnici su bili zahvalni za podršku u različitim aspektima upravljanja projektima od strane C. Nayak, S. Chen, J. Dai, T. Lohman, Chicago, R. Moodithaya, R. Moodithing, S. Tan i T. Wynter; inženjerstvo podataka od B. Wan i F. Wynter; inženjerstvo podataka od B. Xiong, S. Hillenbrand, S. Chintha, J. Croniscin, D. Desai, Y. Kiraly, T. Li, X. Knut, Liu, S. Pellakuru i C. Xie; istraživanje podataka i istraživanja od A. Connolly-Sporing, S. Tan i T. Wynter; dizajn akademskih partnera za R. Mersey, M. Mavericks, S. P. I. Ovaj članak je dostupan u prirodi pod licencom CC by 4.0 Deed (Attribution 4.0 International). Ovaj članak je dostupan u prirodi pod licencom CC by 4.0 Deed (Attribution 4.0 International).