Föräldravägledning: "artificiell intelligens" användes för att betygsätta barnvaktar baserat på deras sociala medierhistoria

Innehåll:

När Jessie Battaglia började leta efter en ny barnvakt för sin enårige son ville hon ha mer information än hon kunde få från en kriminell bakgrundskontroll, föräldra kommentarer och en ansikte mot ansikte intervju.

Så vände hon sig till Predictim, en onlinetjänst som använder "avancerad artificiell intelligens" för att bedöma en barnvakts personlighet och riktade sina scannrar till en kandidats tusentals Facebook, Twitter och Instagram-inlägg.

Undrar varför sömnlöshet känns som tortyr? Det är för att det är

"Date Night" reality: hur man gör det faktiskt hända

Systemet erbjöd en automatiserad "riskbedömning" av en 24-årig kandidat och sade att hon hade en "mycket låg risk" för att vara en drogmissbrukare. Men det gav en något högre riskbedömning - en två av fem - för mobbning, trakasserier, att vara "respektlös" och ha en "dålig inställning".

Systemet förklarade inte varför det hade fattat det beslutet. Men Battaglia, som trodde sitteren var trovärdig, kände plötsligt tvivel.

"Sociala medier visar en persons karaktär", säger Battaglia, 29, som bor nära Los Angeles. "Så varför kom hon in på två och inte en?"

Predictim erbjuder föräldrar samma lekbok som dussintals andra tekniska företag säljer till arbetsgivare runt om i världen: artificiella intelligenssystem som analyserar en persons tal, ansiktsuttryck och onlinehistoria med löften om att avslöja de dolda aspekterna av deras privatliv.

Tekniken förändrar hur vissa företag närmar sig rekrytering, anställning och granskning av arbetstagare, vilket erbjuder arbetsgivare en oöverträffad titt på arbetskandidater genom en ny våg av invasiv psykologisk bedömning och övervakning.

Techföretaget Fama säger att det använder AI till polisarbetarnas sociala medier för "giftigt beteende" och varnar deras chefer. Och rekryteringsteknikföretaget HireVue, som arbetar med företag som Geico, Hilton och Unilever, erbjuder ett system som automatiskt analyserar sökandes ton, ordval och ansiktsrörelser under videointervjuer för att förutsäga deras skicklighet och uppmärksamhet på jobbet. (Kandidater uppmanas att le för bästa resultat.)

Men kritiker säger att Predictim och liknande system presenterar sina egna faror genom att göra automatiserade och eventuellt livsförändrade beslut nästan okontrollerade.

Systemen är beroende av svartlådalgoritmer som ger liten detalj om hur de reducerade komplexiteten hos en persons inre liv i en beräkning av dygd eller skada. Och precis som Predictims teknik påverkar föräldrarnas tänkande, är det helt obefintligt, i stort sett oförklarligt och sårbart för tysta fördomar över hur en lämplig barnvakt ska dela, se och prata.

Det är den här "galna rushen att gripa kraften i AI för att göra alla typer av beslut utan att se till att det är ansvarigt för människor", säger Jeff Chester, verkställande direktör för Center for Digital Democracy, en teknisk förespråksgrupp. "Det är som att människor har druckit den digitala Kool-Aid och tycker att det här är ett lämpligt sätt att styra våra liv."

Predictims skanning analyserar hela historien om en barnvakt s sociala medier, som för många av de yngsta sitterna kan täcka de flesta av sina liv. Och sitterna berättas att de kommer att vara en stor nackdel för de konkurrenskraftiga arbetena om de vägrar.

Predictims chef och medgrundare Sal Parsa sa att företaget, som lanserades förra månaden som en del av University of California i Berkeley's SkyDeck tech incubator, tar etiska frågor om användningen av tekniken på allvar. Föräldrar, sade han, borde se betyg som en följeslagare som "kan eller kanske inte speglar sitterens faktiska attribut".

Men risken att hyra en problematisk eller våldsam babysitter, tillade han, gör AI till ett nödvändigt verktyg för någon förälder som hoppas kunna hålla sitt barn tryggt.

"Om du söker efter misshandlande barnvaktar på Google ser du hundratals resultat just nu, " sa han. "Det finns människor där ute som antingen har psykisk sjukdom eller är bara födda onda. Vårt mål är att göra allt vi kan för att stoppa dem."

En Predictim-skanning börjar vid $ 24, 99 och kräver en barnvakt namn och e-postadress och hennes samtycke att dela bred åtkomst till hennes sociala medier konton. Barnvakten kan avvisas, men en förälder anmäls till hennes vägran, och i ett e-mail meddelas barnvakten "Den intresserade föräldern kommer inte att kunna anställa dig förrän du fyller i denna begäran."

Predictims chefer säger att de använder språkbehandlingsalgoritmer och en bildigenkänningssoftware som kallas "datorvision" för att bedöma barnvaktarnas Facebook, Twitter och Instagram-inlägg för ledtrådar om deras offlineliv. Föräldern lämnas uteslutande och behöver inte berätta för resultaten.

Föräldrar kan förmodligen se på sina sitters offentliga sociala medier själva. Men de datorgenererade rapporterna lovar en djupgående inspektion av år av onlineaktivitet, kokad till en enda siffra: en berusande enkel lösning på en opraktisk uppgift.

Riskbedömningarna är indelade i flera kategorier, inklusive uttryckligt innehåll och missbruk av drog. Uppstarten har också annonserat att dess system kan utvärdera barnpassare på andra personligheter, till exempel artighet, förmåga att arbeta med andra och "positivitet".

Företaget hoppas att uppfostra multibillion-dollarn "föräldrautläggning" -branschen och har börjat marknadsföra genom betalda sponsringar av föräldraskap och "mamma" -bloggar. Företagets marknadsföring fokuserar starkt på sin förmåga att avslöja dolda hemligheter och förhindra "varje föräldrars mardröm", med hänvisning till brottmål inklusive en Kentucky barnvakt som debiterats tidigare i år med allvarlig skada en åtta månader gammal tjej.

"Om föräldrarna till den lilla tjejen som skadades av den här barnvakten hade kunnat använda Predictim som en del av deras vettingprocess, säger ett företags marknadsdokument" de skulle aldrig ha lämnat henne ensam med sitt dyrbara barn ".

Men tekniska experter säger att systemet höjer egna röda flaggor, däribland oro för att det är preying på föräldrarnas rädsla att sälja personlighetsskanningar av otestad noggrannhet.

De ifrågasätter också hur systemen utbildas och hur sårbara de kan vara för att missförstå de suddiga innebörden av sitters sociala medier. För alla utom de högsta riskerna får föräldrarna bara ett förslag på ifrågasättande beteende och inga specifika fraser, länkar eller detaljer för att bedöma på egen hand.

När en babysitters skanning flaggades för eventuellt mobbningsbeteende, sa den orubbliga mamman som bad om att hon inte kunde berätta om programvaran hade upptäckt ett gammalt filmcitationstecken, en låtisk eller en annan fras i motsats till det faktiska mobbningsspråket.

Men Predictim säger ändå att det är redo för en rikstäckande expansion. Chefer på Sittercity, en online barnpassningsplats som besökts av miljontals föräldrar, sa att de lanserar ett pilotprogram tidigt nästa år som kommer att vikas i Predictims automatiska betyg i webbplatsens nuvarande utbud av sitterrastreringar och bakgrundskontroller.

Att hitta en sitter kan komma med stor osäkerhet, säger Sandra Dainora, Sittercitys produktchef, som tror att verktyg som dessa snart kan bli "standard valuta" för att hitta vårdgivare online. "Föräldrar söker alltid den bästa lösningen, den mest forskning, de bästa fakta."

Washington Post