Peer review e Wikipedia

La normale peer review accademica è deterministica, mentre l”approccio wikipediano è probabilistico. È la solita differenza fra il modello a cattedrale e il modello a bazaar (testo originale).

Wikipedia (ma, in generale, tutti i wiki) ampliano la Legge di Linus: dati abbastanza occhi, tutti gli errori vengono a galla.

Questo è vero per il software (l’ambiente in cui nasce la legge di Linus), ma per un sacco di altri ambiti: code is words, e se ho un testo su cui lavorare collaborativamente, e le regole sono chiare per tutti, la collaborazione massiva può funzionare.

Un’altra differenza fondamentale fra la peer review accademica e quella wikipediana è che nella prima si danno feedback, consigli, suggerimenti: nella seconda, si modifica direttamente il testo. Con un po’ di fortuna, può capitare il “l’effetto piranha”(1, 2): centinaia di piccoli contributi costruiscono una pagina, come una torre di Babele fatta di lego.
Questo diventa interessante nel momento in cui non ho più una sola comunità al lavoro (ergo, una sola competenza): quando la diversità è in azione, posso avere un esperto scrivere il grosso di una voce, un amministratore che la formatta correttamente, una maestra elementare in pensione che migliora ortografia e comprensibilità di certe frasi, l’appassionato che aggiunge fotografie per illustrare meglio l’articolo, un bot che sposta tutti i “perchè” in “perché”. Nel migliore dei casi, la diversità di competenze migliora la voce a vari livelli.

Il problema del modello a bazaar è che, essendo probabilistico, è “indeterminato”: non sai mai se la voce di Wikipedia è attendibile o meno, devi heisemberghianamente andare a vedere, controllare tu stesso. In quel momento lì, “la funzione d’onda collassa” e tu, come osservatore, decidi se la voce è attendibile o meno.

Il problema con il modello a cattedrale, usato dalla peer review accademica, è che noi inconsciamente abbiamo una sospensione di incredulità, come al cinema, e attribuiamo all’articolo un certo peso in base ad un’autorità esterna (l’autore dell’articolo, la rivista, l’editore, l’impact factor, ecc.).

Il punto vero, secondo me, è che mentre Wikipedia è sincera nel proprio essere indeterminata e probabilistica, l’editoria accademica fa finta di non esserlo.
E la sociologia della scienza e una minima consapevolezza di come funziona l’economia accademica (il publish or perish, la reputazione accademica data dalle pubblicazioni come strumento per l’avanzamento di carriera, fattore di stipendio, ecc.) dovrebbe farci essere ben più scettici. Più ci sono interessi in gioco, più ci saranno persone che proveranno ad aggirare le regole.
In un certo senso, Wikipedia ha ragione: tutto è indeterminato, tutto è probabilistico, e io dovrei sempre controllare l’attendibilità di ciò che scrivo e non fidarmi mai solo della fonte.
Sarebbe terribilmente stancante, ma corretto.

Perchè tutto è innaffidabile (3).