Arvind Narayanan:

I will focus the rest of my talk on this third category [predicting social outcomes], where there’s a lot of snake oil.

I already showed you tools that claim to predict job suitability. Similarly, bail decisions are being made based on an algorithmic prediction of recidivism. People are being turned away at the border based on an algorithm that analyzed their social media posts and predicted a terrorist risk. […]

Compared to manual scoring rules, the use of AI for prediction has many drawbacks. Perhaps the most significant is the lack of explainability. Instead of points on a driver’s license, imagine a system in which every time you get pulled over, the police officer enters your data into a computer. Most times you get to go free, but at some point the black box system tells you you’re no longer allowed to drive.

Priceonomics:

[Kodak] didn’t develop a better film for rendering different gradations of brown until economic pressure came from a very different source: Kodak’s professional accounts. Two of their biggest clients were chocolate confectioners, who were dissatisfied with the film’s ability to render the difference between chocolates of different darknesses. “Also,” Connor says, “furniture manufacturers were complaining that stains and wood grains in their advertisement photos were not true to life.”

Patricia Marx, The New Yorker:

The moment is equivalent, perhaps, to the juncture when fish crawled out of the sea and onto land. At the reception desk of a robot-staffed hotel in Japan, sharp-fanged, hairy-chested dinosaurs wearing bellhop hats and bow ties poise their talons at the keyboard; at a pizza restaurant in Multan, Pakistan, bosomy figures on wheels, accessorized with scarves around their necks, deliver food to your table; at a gentlemen’s club in Las Vegas, androids in garters perform pole dances.

The difficult part is not to teach humans to trust robots, but to teach them not to blindly accept them.

The truth is that what the algorithm says, we will do. Once it’s clear that something is convenient for us, we drop any initial resistance. And so software design choices end up becoming our default choices — the places that a map decides to emphasise, the suggested route, the results at the top of the search, the related items, and so on.

These suggestions might even help us — they are, often, convenient. Nonetheless, it’s important to ask why they’re there, to notice which details were tuned down or ignored to favour the default.

Da un paio d’anni Google ha iniziato a dare risposte: a selezionare, fra le fonti e i risultati di una ricerca, una singola risposta da evidenziare in un riquadro in cima alla lista dei risultati. Google promuove questi risultati dandogli un maggiore peso visivo e includendo il loro contenuto direttamente nella pagina dei risultati — evitando così all’utente di dover visitare un altro sito per leggerli. Li chiama featured snippets:

Quando un utente pone una domanda, la risposta restituita potrebbe essere mostrata in un riquadro speciale di snippet in primo piano nella parte superiore della pagina dei risultati di ricerca. Questo riquadro di snippet in primo piano include un riepilogo della risposta estratto da una pagina web, insieme a un link alla pagina, il relativo titolo e l’URL.

L’obiettivo è quello di riuscire a rispondere direttamente alle domande dell’utente, invece di essere uno strumento di ricerca per trovare e valutare delle possibili risposte. Stando ai dati raccolti da Google agli utenti queste risposte senza sforzo, immediate, piacciono — perché possono trovare quello che cercano senza dover visitare un altro sito o un’altra app. Funzionano molto dai dispositivi mobili — perché siamo più di fretta — ma soprattutto sono un vantaggio competitivo per quanto riguarda gli assistenti vocali: una lista di risultati non funziona su smartwatch e assistenti come Google Home e né Siri né Echo sono al momento in grado di fornire risposte dirette estrapolate da pagine web.

Il problema è che, come sottolinea un post di The Outline, queste risposte a volte sono assurde, sbagliate, aiutano a diffondere teorie cospirazioniste; sono insomma inaffidabili. Google risponde Obama alla domanda ‘chi è il re degli Stati Uniti?’, pensa che lo stesso stia pianificando un colpo di stato, e spiega che tutte le donne sono prostitute se gli si chiede ‘perché le donne sono cattive?’. Un algoritmo, basato su popolarità di un risultato, pagerank e altri oscuri criteri, promuove un risultato a risposta in automatico. Google ha la capacità di intervenire manualmente per modificare le risposte di certe ricerche, e spesso lo fa, ma è probabile che passi del tempo prima che si renda conto sia necessario intervenire — e in quel tempo molte persone leggano la risposta fasulla:

In theory, featured snippets will always temporarily turn up some bad answers, but the net effect would be better answers. “It’ll never be fully baked, because Google can’t tell if something is truly a fact or not,” said Danny Sullivan of Search Engine Land. “It depends on what people post on the web. And it can use all its machine learning and algorithms to make the best guess, but sometimes a guess is wrong. And when a guess is wrong, it can be spectacularly terrible.”

Tutto ciò è un problema perché, stando a un recente sondaggio, il 63% delle persone si fida di Google. Queste risposte sono decontestualizzate: l’utente non visita il sito originario, non nota il layout, il contenuto o gli autori (tutti indizi che aiutano a valutare la veridicità di una fonte), ma le legge attraverso l’interfaccia pulita di Google, e potrebbe così essere portato a pensare che queste risposte vengano direttamente da Google (il problema è peggiore con gli assistenti vocali).

Ben Thompson:

This is what makes the NYT Now and BuzzFeed News apps so interesting: both accept the idea that their respective publications don’t have a monopoly on the best content, even as both are predicated on the idea that curation remains valuable. Apple News takes this concept further by being completely publication agnostic.

L’analisi di Ben sul perché certe aziende, come Apple, stiano preferendo degli “umani” rispetto a algoritmi (che danno l’apparenza di essere innocui e sopra le parti, ma sono comunque fatti da noi) per la selezione e aggregazione di notizie è piuttosto interessante, e solleva gli stessi problemi che mi ero posto nel mio precedente articolo su Apple News. Ovvero: nel momento in cui ci sarà una notizia su Foxconn, Apple la promuoverà dentro il suo Apple News?

Il 5 Luglio del 2009, nella provincia cinese Xinjiang, improvvisamente Internet smise di funzionare. Il governo decise di “spegnerlo” nel tentativo di disperdere una serie di proteste, finendo così col tenere i cittadini offline per 10 mesi. Un funzionario descrive oggi quella scelta come “un serio errore… Ora siamo anni indietro nel tracciare i terroristi in quell’area“.

(La censura online, in Cina, potrebbe essere più selettiva di quanto in precedenza ipotizzato)

Aeon Magazine ha dedicato un articolo su quello che sta facendo — o vorrebbe fare — il governo cinese per sfruttare i dati raccolti tramite social network e internet per conoscere i propri cittadini:

Ren (uno pseudonimo), un nativo di Beijing, ha speso i suoi anni del college in Occidente difendendo ferventemente la Cina online. Al contrario, adesso dichiara: “Ho capito che non sapevo cosa stava succedendo, ci sono così tanti problemi ovunque“. Ora è tornato in Cina, e lavora per il governo. Sostiene che monitorare i social media sia la maniera migliore per il governo di conoscere i cittadini e di rispondere all’opinione pubblica, permettendo così un totalitarismo “responsabile”. Gli ufficiali corrotti possono essere identificati, i problemi locali portati all’attenzione dei livelli più alti, e l’opinione pubblica può essere ascoltata. Allo stesso tempo, i dati possono essere analizzati per identificare la formazione di gruppi pericolosi in certe aree, e per prevedere certi incidenti (proteste) prima che avvengano.

“Ora che ci siamo liberati dei “grandi Vs“, dice Ren, “dovremmo preoccuparci di quello che dicono le persone normali“. I “big Vs” sono gli utenti più seguiti, e verificati, di Weibo e altri social network, personaggi famosi, ma anche “intellettuali” che sono stati sistematicamente eliminati negli ultimi tre anni. Avendo eliminato gli opinion leader e le ideologie alternative, il governo può finalmente utilizzare le lamentele del pubblico come fonte di informazione, invece che come sfida a se stesso.

(Leggendolo, mi è venuto in mente un talk di Maciej Cegłowski, di Pinboard)