Hoe internet arme mensen in arme buurten houdt

Асуудлыг Арилгахын Тулд Манай Хэрэгслийг Туршиж Үзээрэй

Deze onzichtbare beslissingen groeperen ons digitaal - en in het echte leven.

In oktober, ProPublica-journalisten ging naar Facebook en kocht een woninggerelateerde advertentie .

Ze wilden laten zien hoe Facebook adverteerders toestond te discrimineren op basis van ras. Dus gebruikten ze de advertentietools van Facebook om bepaalde gebruikers uit te sluiten van het zien van de advertentie: Afro-Amerikanen, Aziatische Amerikanen en Hispanics.

Dit was duidelijk een schending van de Eerlijke Woningwet , waarin staat dat advertenties voor onroerend goed geen voorkeur voor mensen kunnen weergeven op basis van ras, huidskleur, religie, geslacht, handicap of gezinsstatus.

Discriminatie op het gebied van huisvesting komt regelmatig voor. Maar het schokkende hier was hoe zichtbaar de tool adverteerders liet discrimineren. Op Facebook hoefden ze alleen maar een vakje aan te vinken.

Het deed denken aan de openlijke systemen die huisvestingssegregatie in Amerika nu en in het verleden dwongen. In de jaren veertig weigerde de federale huisvestingsadministratie hypotheekleningen voor zwarte mensen - en degenen die wilden leven in de buurt zwarte mensen.

Tegenwoordig ligt het meestal genuanceerder. Zoals huisvestingsadvocaat Erin Boggs opmerkte, zijn er steden die betaalbare woningen de voorkeur geven aan mensen die er al wonen - wat vaak betekent dat overwegend blanke buurten zo blijven:

Nadat het ProPublica-verhaal was gepubliceerd, zei Facebook dat het zou werken aan een repareren .

Dat was een duidelijk zichtbaar probleem. De enge problemen zijn onzichtbaar.

Elke keer dat je iets leuk vindt op Facebook of iets zoekt op Google, leren deze bedrijven iets meer over je - en bieden ze op basis daarvan een iets persoonlijkere ervaring. En mensen van verschillende rassen en klassen hebben verschillende behoeften en beperkingen, dus we gebruiken internet allemaal anders. Op onze beurt krijgen we een nog persoonlijkere ervaring.

Deze cartoon gaat over hoe die gepersonaliseerde ervaringen van invloed zijn op het al dan niet krijgen van kansen in de echte wereld, zoals de kans om naar een betere buurt te verhuizen. Dit verhaal zou heel goed kunnen gaan over vacatures of universiteitsadvertenties, maar het lijkt geschikt om te praten over hoe algoritmen ons online hebben gesorteerd en, op hun beurt, in het echte leven.

Wanneer de aard van de discriminatie tot stand komt door personalisatie, is het moeilijk om te weten dat je wordt gediscrimineerd, zei Michael Tschantz, een onderzoeker van Carnegie Mellon.

Laten we bijvoorbeeld zeggen dat een ontwikkelaar hipster-appartementen bouwt en een advertentie maakt - en zich op Pearl Jam-fans richt.

Hij doet dit omdat hij denkt dat het past bij de esthetiek. Op zich is dat prima.

Maar als de meeste Pearl Jam-fans blank zijn, heeft de advertentie niet-blanke mensen uitgesloten van het zien van de advertentie.

Dit is het voorbeeld dat Rachel Goodman, advocaat van de American Civil Liberties Union, gaf toen ze beschreef waarom dit probleem zo moeilijk is: Facebook-advertenties zijn belangrijk. Maar ik denk dat er een enorm potentieel is, zelfs zonder die expliciete categorieën - opzettelijk of onopzettelijk.

Dit kan gevolgen hebben voor een groot aantal gemarginaliseerde mensen, maar de groep die bijzonder kwetsbaar is voor discriminatie op het gebied van huisvesting, zijn zwarte Amerikanen. Racistisch beleid uit ons verleden creëerde twee uiteenlopende Amerika's: grotendeels middenklassebuurten voor blanken en lagere klassenbuurten voor zwarte mensen. En de burgerrechtenbeweging deed weinig om zwarte gezinnen te helpen deze discriminatie te overwinnen en uit arme buurten te komen.

Hoe we weten dat algoritmen ons geen gelijke kansen geven: een experiment

Vorig jaar wilden Tschantz en collega Carnegie Mellon-onderzoeker Amit Datta meer weten over hoe deze advertentieplatforms beslissingen namen over gebruikers.

'Er is geen erg goed begrip of transparantie over hoe deze beslissingen worden genomen', vertelde Datta me.

Ze besloten om test het Google Ad-ecosysteem , die informatie gebruikt die het over u verzamelt om gepersonaliseerde advertenties weer te geven. De onderzoekers wilden een eenvoudige vraag testen: hoe beïnvloeden de aannames van Google over ons de advertenties die we zien?

De enige manier om daar achter te komen was door de ervaringen van 500 internetgebruikers te simuleren met een computerprogramma. Voor elk van deze ervaringen vonden de onderzoekers manieren om Google over zichzelf te vertellen. Er was bijvoorbeeld een schakelaar in het instellingenmenu om het geslacht van elke gebruiker in te stellen, zodat ze konden testen hoe mannen en vrouwen verschillend werden behandeld bij het zoeken naar een baan.

Van daaruit bezochten ze twee nieuwswebsites en observeerden wat voor soort advertenties Google hen liet zien. Wat ze ontdekten was een duidelijke discriminatie op basis van geslacht: de mannelijke gebruikers hadden veel meer kans dan vrouwen om advertenties te zien voor loopbaancoaching op directieniveau.

Het testen van geslachtsverschillen is één ding, omdat Google de mogelijkheid toestond om iemands geslacht in te stellen. Maar Google vraagt ​​nooit naar je ras. In plaats daarvan neemt het waarschijnlijk beslissingen op basis van uw internetactiviteit en sociale connecties.

Dus als je naar Pearl Jam hebt gezocht, kan het algoritme besluiten je te groeperen met anderen die hetzelfde deden - die toevallig meestal blanke mensen zijn. En de volgende keer dat iemand adverteert voor een ontwikkeling van een hipsterflat, krijgen gekleurde mensen misschien niet de kans om deze advertentie te zien.

Hoe we omgingen met discriminerende woningadvertenties in kranten

Een goede manier om na te denken over hoe we deze discriminerende advertenties kunnen bestrijden, is door te kijken hoe we ze in het verleden hebben bestreden.

Aan het eind van de jaren tachtig waren bijna alle mensen in de onroerendgoedadvertenties van de New York Times blanken, wat insinueerde dat die buurten exclusief voor blanken waren.

Onder de Eerlijke Woningwet , een persoon van kleur zou kunnen zeggen dat een advertentie uitsluiting was - en hij zou niet hoeven te bewijzen of de adverteerder van plan was te discrimineren. (Dit deel van de wet is onlangs aangescherpt) hoge Raad geval.)

Maar achter elke individuele adverteerder aan gaan zou hetzelfde zijn geweest als een molletje spelen. Dus in 1989 spanden vier zwarte professionals een rechtszaak aan tegen de Times en zeiden dat de krant aansprakelijk zou moeten zijn voor die discriminerende advertenties. The Times voerde aan dat zijn recht om deze advertenties te publiceren beschermd was onder het Eerste Amendement, maar een federale rechtbank was het daar niet mee eens en zei dat de krant aansprakelijk was.

Dit leidde uiteindelijk tot de Times akkoord gaan met het beoordelen van advertenties voor raciale voorkeur. Het was een grote overwinning voor voorstanders van eerlijke huisvesting.

'Het is veel gemakkelijker om de cultuur over zaken als reclame te veranderen als je het probleem stroomopwaarts kunt aanpakken in plaats van stroomafwaarts', zegt Tom Silverstein, een advocaat van het Fair Housing and Community Development Project.

De twee manieren waarop we ze op internet hebben behandeld

Voortbouwend op die New York Times-zaak zijn er twee algemene normen die ons helpen om te gaan met discriminerende woningadvertenties op internet.

De eerste is dat websites worden beschermd door iets dat de Communications Decency Act wordt genoemd, waarin staat dat ze niet verantwoordelijk zijn voor door gebruikers ingediende inhoud. Dus als iemand een woningadvertentie op Craigslist plaatst met de tekst 'alleen wit', rechtbanken zeiden in 2006 dat Craigslist niet aansprakelijk is - en dat maakt het onmogelijk om dit probleem stroomopwaarts aan te pakken.

De tweede norm is dat websites gebruikers niet de specifieke tools kunnen geven om te discrimineren.

In 2008 had een woningadvertentiesite, Roommates.com, een functie die gebruikers vroeg of ze voorkeuren hadden voor een kamergenoot op basis van geslacht, seksuele geaardheid en de aanwezigheid van kinderen. De rechtbanken zeiden dat die functie niet werd beschermd door de Communications Decency Act. Dit betekende dat dezelfde bescherming die Craigslist had met hun huisvestingsadvertenties niet van toepassing zou zijn als er een vervolgkeuzemenu was waarmee gebruikers kunnen discrimineren op ras of andere beschermde klassen.

Later, een federale rechtbank regeerde dat de Fair Housing Act niet van toepassing was op gedeelde woonsituaties, zoals bij Roommates.com - maar deze zaak gaf nog steeds aan dat er een limiet was aan de bescherming van websites onder de Communications Decency Act.

Dit is echter de kicker: Roommates.com had ook een tekstvak in vrije vorm, zoals Craigslist, waarmee gebruikers aanvullende opmerkingen konden plaatsen. En op dat gebied zeiden de rechtbanken dat gebruikers konden schrijven wat ze wilden - inclusief blanke kamergenoten die de voorkeur hadden of alleen Pearl Jam-fans - en dat de website niet aansprakelijk zou zijn.

Dit is nuttig bij het omgaan met flagrante discriminatie. Maar nu is het schadelijker.

Toen Facebook werd betrapt door adverteerders de mogelijkheid te bieden om te discrimineren op basis van ras, was het een zeldzaam moment waarop voorstanders konden wijzen op expliciete tools die woningdiscriminatie erger zouden kunnen maken. Tschantz, de onderzoeker van Carnegie Mellon, zei dat deze gevallen relatief eenvoudig op te lossen zijn. We kunnen voorkomen dat mensen schaamteloos discrimineren.

Maar speel met de onderstaande interactieve, waarmee je je op de hipster-appartementen kunt richten, en je kunt zien hoe onze culturele neigingen het gemakkelijk maken om dit soort tools te gebruiken om te discrimineren:

'Ik denk dat we een tijdperk ingaan waarin discriminatie schadelijker kan zijn', zei Tschantz.

De meeste experts met wie ik sprak, zeiden dat dit het moeilijke probleem is. Om dit probleem stroomopwaarts aan te pakken, moeten we uitzoeken wanneer discriminatie plaatsvindt - en vervolgens uitzoeken hoe we het probleem stroomopwaarts kunnen oplossen met bedrijven als Google en Facebook.

Ik ben geïnteresseerd om te zien hoe ze het doen, om een ​​model te worden voor andere internetproviders om hetzelfde te doen, zei Joe Rich, mededirecteur van het Fair Housing and Community Development Project.

Deze rechtszaak kan ons helpen te weten of algoritmen discrimineren

Zelfs als we wisten wat er binnen deze algoritmen voor gerichte advertenties gebeurde, zou het ons niet noodzakelijkerwijs vertellen of ze discriminerend zijn of niet.

De manier om erachter te komen is op dezelfde manier als we erachter komen of een makelaardij discrimineert: u stuurt testgebruikers van verschillende etniciteiten om het systeem te gebruiken en kijkt vervolgens of ze anders worden behandeld.

'Uitkomsten betekent testen is' de manier om te begrijpen of er sprake is van discriminatie', zegt Goodman, de advocaat van de ACLU.

In zowel de echte als de digitale versie geven de testers niets om de bedoeling. Ze geven er alleen om of het algoritme of het makelaarskantoor een vooroordeel heeft.

Dat is wat twee onderzoekers - Christian Sandvig van de University of Michigan en Karrie Karahalios van de University of Illinois - probeerden te doen. Ze wilden een computerprogramma maken dat test of vastgoedwebsites mensen discrimineren op ras.

Maar toen de onderzoekers probeerden deze tests uit te voeren, realiseerden ze zich dat dit een misdaad zou zijn.

Dat komt omdat ze meerdere nepprofielen zouden moeten maken om discriminatie voor verschillende demografieën te testen, en dat zou in strijd zijn met de servicevoorwaarden van deze websites - een misdaad onder de Computer Fraud and Abuse Act.

Zo kwam de strijd naar dit front.

De ACLU heeft dit jaar een klacht ingediend namens die onderzoekers, evenals anderen, in Sandvig v. Lynch . Ze dagen de wet uit die het een misdaad maakt om de servicevoorwaarden van een website te schenden, omdat, zoals Goodman zei, 'het een huiveringwekkend effect creëert voor onderzoek naar het soort discriminatie waar we het hier over hebben.'

Hoewel deze zaak cruciaal is om externe entiteiten in staat te stellen deze systemen onder controle te houden, kan dit een andere versie van whack-a-mole zijn. Net als voorheen is de vraag hoe je een manier kunt vinden om deze advertenties stroomopwaarts te stoppen, voordat ze de consument bereiken. Daarom zeiden verschillende voorstanders en onderzoekers met wie ik sprak dat het cruciaal is om uit te zoeken hoe bedrijven zelf aan zelftests kunnen doen.

'Deze grootschalige systemen worden zo ingewikkeld dat [bedrijven] het moeilijk hebben om ze te besturen, zei Tschantz. 'Wat ik hoop dat er in de toekomst gebeurt, is dat deze bedrijven interne mechanismen ontwikkelen voordat ze daadwerkelijk externe gebruikers beïnvloeden.'

En als je echt optimistisch bent, kun je zien hoe deze tools daadwerkelijk kunnen werken aan het oplossen van de problemen waar we ons zorgen over maken.

Het was bijvoorbeeld ongelooflijk moeilijk om zwarte Amerikanen te helpen buurten van geconcentreerde armoede te verlaten. Dat is zorgelijk, want uit onderzoek blijkt nu leven in die plaatsen heeft een ongelijksoortige impact op vrijwel alles: gezondheid, onderwijs en zelfs geluk. Een historisch onderzoek door Patrick Sharkey van NYU toonde zelfs aan dat zelfs na de burgerrechtenbeweging het aantal zwarte kinderen dat opgroeit in zeer arme buurten niet is veranderd:

Maar zoals Silverstein zei, zouden sommige van deze instrumenten, als ze zouden worden gebruikt in een burgerrechtenbewust kader, zelfs nuttig kunnen zijn om barrières voor segregatie te slechten.

Met andere woorden, deze algoritmen hebben de kracht om ons verder te verankeren waar we wonen - dus dat betekent dat we ze kunnen ontwerpen om ook de andere kant op te duwen.