Peer(la) Review (scroll down for english)

Quest'oggi si parla di scienza, in particolare di pubblicazioni scientifiche. Giusto o sbagliato che sia nel campo della ricerca tutto si misura in qualità e quantità di pubblicazioni. Il concetto di quantità è semplice, meglio tante pubblicazioni che una, il concetto di qualità è più critico. Nel valutare il curriculum di un ricercatore non si valuta la qualità del lavoro, ma il nome delle riviste o conferenze sulle quali l'articolo è stato pubblicato. Il concetto di pubblicazione è così importante che si dice Publish or Perish, un ricercatore che non pubblica, perisce.
Se pubblicare è così importante cerchiamo di capire come si pubblica un articolo. Il cardine del processo è il concetto di peer review, diversamente dalle riviste comuni, non è il redattore a decidere cosa pubblicare. Quando un ricercatore pensa di essere giunto a un punto fermo nel suo lavoro decide di mandare i risultati a una rivista o a una conferenza. Altri ricercatori "suoi pari" (da qui il termine peer) decideranno se il lavoro è degno di attenzione. In teoria tutto molto bello, non è un solo redattore che decide ma una serie di revisori che giudica il lavoro. Ci sono diversti tipi di approcci al peer review:
-Chiuso. L'identità dei revisori non è svelata all'autore ma i revisori sanno chi è l'autore dell'articolo. I commenti sono resi disponibili all'autore. (E' quello che nella mia esperienza è più comune)
-Open. Tutti sanno tutto di tutti, i revisori sanno chi è l'autore e l'autore sa chi sono i revisori. (Credo sia quello più raro, non mi è mai capitato)
-Doppio cieco. I revisori non sanno chi è l'autore dell'articolo e l'autore dell'articolo non sa chi sono i revisori, ma ha modo di leggere i commenti. (Quello che preferisco)

Questo in teoria, e in teoria è tutto molto bello. Si è giudicati da propri pari e nel caso doppio cieco si escludo rischi di giudizi basati su antipatia. E in pratica? Il mio giudizio è che il sistema faccia acqua da numerose parti - ma non per questo penso sia da buttare. Per aiutare a farvi una idea vi racconto alcune mie esperienze.

Ormai un anno fa con il mio relatore si era deciso di presentare la mia tesi di laurea a una conferenza. Era la mia prima esperienza con il sistema delle peer review. Entusiasta di poter iniziare a pubblicare ho scritto l'articolo e sottoposto alla revisione, per questo prima esperienza mi è toccato il sistema doppio cieco. Qualche mese dopo arriva il responso: rifiutato. Non mi abbatto, era il primo tentativo - devo ancora imparare mi dico. Leggo i commenti per capire dove ho sbagliato, il revisore più cattivo sosteneva con veemenza che il mio lavoro non fosse completo perchè non citavo l'emerito professor T. e i suoi lavori nel settore. Il mio primo pensiero è stato "si ho capito, ma cosa ne pensi del lavoro?" il mio secondo pensiero è stato "aspetta che ti indovino come si chiama il revisore". Un anno dopo lo stesso articolo è stato accettato a un'altra conferenza. Morale A: non sempre la revisione valuta l'effettiva qualità del lavoro e il risultato della revisione è fortemente non deterministico.

Un paio di mesi dopo aver iniziato il dottorato sono passato dall'altra parte della barricata. Il mio capo mi ha chiesto di revisionare tre articoli per una conferenza, mi ha detto "io di solito non ci perdo più di 5 minuti ad articolo". 5 minuti per un articolo di 6 pagine - ho pensato "massì il mio capo è un genio, del resto ha due lauree un dottorato ed è professore ordinario a 38 anni mica per nulla". Con entusiasmo e responsabilità tipica del novizio mi sono messo a fare le revisioni. Con delusione mi sono reso conto di non essere qualificato, l'argomento di tutti e tre gli articoli era lontano da quello di cui mi occupo. Nonostante questo ho dovuto finire le revisione e ho scoperto che è prassi molto comune. Sia quella di dedicare al più 5 minuti, sia quella di non essere qualificati. Non me la sono sentita: ho dato a tutti e tre un voto abbastanza alto e nei commenti ho cercato di dare consigli costruttivi sulla forma e sulla chiarezza dei contenuti, non sulla correttezza. Morale B: la revisione degli articoli a conferenza è spesso fatto in fretta e di controvoglia.

La seconda esperienza riguarda articoli a conferenza, mi dicevano che gli articoli a rivista sono molto più controllati tanto è che dal momento della sottomissione di un articolo alla sua accettazione o rifiuto passa più di un anno. La scorsa settimana ho potuto verificare la validità di questa affermazione. Per un esame di dottorato ho studiato "Uniform Stability of Switched Linear Systems: Extensions of LaSalle's Invariance Principle" di Jao Hespanha che è stato pubblicato sulle IEEE Transactions, una rivista importante e rigorosa. Non è stato uno studio breve, soprattutto perchè ho passato ore a cercare di comprendere i due esempi. Esempi che si sono rivelati entrambi errati. E' vero che gli esempi non intaccano la validità complessiva del lavoro, ma da una rivista importante uno si aspetta più rigore. Non nego che l'ho presa anche in modo personale, fa rabbia passare ore a pensare "no, non può essere sbagliato, è pubblicato sulle transactions, sono io che non capisco" Morale C: anche per gli articoli a rivista il sistema peer review non garantisce la correttezza dei lavori pubblicati. E siamo in un campo dove è facile stabilire la correttezza o meno.

In conclusione: probabilmente tra i metodi disponibili il peer review è quello che più si addice al metodo scientifico, ma è perfettibile. Troppo è lasciato alla voglia e buona fede dei revisori. Ormai la tecnologia mette a disposizione strumenti più efficaci delle riviste, i ricercatori potrebbero mettere sul proprio sito tutti i propri lavori e lasciare la possibilità ai lettori di commentare. In questo modo il lavoro sarebbe veramente peer reviewed. Ma poi su curriculum cosa scriveremmo? pubblicato sul nostro sito? Tutto si riduce a questo. Triste...

---

Let's talk science, especially let's talk about scientific publications. Be it right or wrong what really counts for researches are publications, both quality and quantity. Quantity is simple, the more you publish the better. Quality is a little trickier. What really counts is not the quality of the work itself but the name of journal or conference where you published. Journals are so important that we say Publish or Perish.
If publishing is so important let's try to understand how a researcher gets his work to be published. The main point here is peer review. Differently from common papers it's not the editor who decides what to publish. When a researchers submit his or her work for publication, other researchers decide if the work is worth publishing. In theory everything is great, it is not a single editor who decides but several reviewers judge the paper.
There are different approaches to peer review:
-Closed. Reviewers' identity is not revealed, but reviewers know the name of the author. Comments are available to the authors. (In my experience this is the most common)
-Open. Everyone knows everybody. Reviewers know who the author is and the author knows who the reviewers are. (I think this is the least common)
-Double blind. Reviewers don't know who the author is and the author doesn't know the reviewers, but he can read the comments. (This is the one I like best)

This is the theory, and the theory sounds great. Your work is judged by your peers and the risk of strange influences or power games is reduced.
Is this what happens? My experience tells another story. I don't think the peer review systems is to be trashed but it has a major weakness. I'll tell a couple of anecdotes.

More or less a year ago I decided to publish my thesis. I wrote a conference paper out of it and submitted for publication. After a few months I got the comments back: my paper had been rejected. It was my first paper, it couldn't be perfect, I still have to learn. So I read the comments to learn what I did wrong, and the reviewer who gave me a very bad grade wrote that my work was incomplete because I didn't cite the work of Prof T. My first thought was "ok, but what do you think about my work?", my second thought was "mmmm I think I can guess who the reviewer was". A year later the same work was accepted to another conference. Lesson A: Not always peer review judges the quality of the work, and the review process is strongly nondeterministic.

A couple of months after I started my PhD I found myself on the other side. My advisor asked me to review three conference papers, he said "I usually don't spend more that 5 minutes per paper" 5 minutes for a 6 pages paper? - I thought "ok, my advisor is a genius, after all he got two master's, a PhD and he's full professor at 38 for a reason". With the enthusiasm of a novice I started the revisions, only to realize I wasn't qualified enough. The topic of all the three papers was far from my area. I found out that this is not uncommon, both the facts the people spend only 5 minutes for revisions and are often not qualified. Lesson B: conference papers are often reviewed without much care.

The previous experience was about conference papers, journal papers are different, they said. After all from submission to rejection or acceptance there can be more than a year. Last week I could verify this statement. I studied "Uniform Stability of Switched Linear Systems: Extensions of LaSalle's Invariance Principle" by Jao Hespanha which was published on IEEE Transactions, an important journal. It wasn't a quick study, especially because I spent hours trying to understand the two examples and both turned out to be wrong. It is true that the examples do not affect the validity of the rest of the work, but at IEEE they should know better. I am not denying I took it quite personally, I don't like to be tricked to think: "no, it cannot be wrong, it on the transactions, it must be me." Lesson C: peer review does not guarantee correctness of journal papers neither and mine is a field where is relatively easy to check for correctness.

Probably, among the available review methods, peer review is the best suited for science, but it can be improved. Too much is left to the reviewers' good faith and will. Other paradigm should be tested, after all every researcher could publish his or her work on his website and wait for comments by everybody. But then what could we write on our resumes? 150 papers published on my site? Everything comes down to this... sad.