Pubblicato in: Scienza & Tecnica

La scienza. Uso ed abuso. Il caso di PubPeer.

Giuseppe Sandro Mela.

2016-11-11.

 2016-11-08__la-scienza-uso-ed-abuso-__001

L’aggettivo “scientifico” enuncia che un fenomeno è ripetibile indipendentemente dall’osservatore.

Così, è scientifico enunciare che le dita di una mano umana sono cinque: chiunque può verificare in qualsiasi momento questo dato di fatto.

La constatazione del dato di fatto dipende in modo sostanziale dalla metodologia impiegata. Fenomeni valutati con metodologie differenti possono esitare in risultati differenti per natura ovvero per entità. Il metodo enzimatico oppure quello chimico forniscono risultati differenti nella determinazione della glicemia: ma se i test sono stati condotti ad arte, la differenze sono costanti e prevedibili.

Né si pensi che ciò valga esclusivamente per le scienze empiriche: vale anche per le scienze astratte. Dagli identici postulati e definizioni qualsiasi matematico che segua correttamente i criteri della dimostrazione perviene al medesimo risultato. Non solo. Se le dimostrazioni sono corrette, lo stesso teorema può essere dimostrato con metodologie differenti. Per esempio, in via geometrica oppure in via trigonometrica, per restare nelle matematiche elementari.

*

Cosa si deve intendere per constatazione, ragionamento, dimostrazione “corretta“?

È corretto ciò che è condotto secondo il principio di non-contraddizione.

Tale principio enuncia la falsità di ogni proposizione implicante che una certa proposizione A e la sua negazione, cioè la proposizione non-A, siano entrambe vere allo stesso tempo e nello stesso modo. Una proposizione è vera oppure è falsa.

Alterum non datur, da cui discende ex falso quolibet.

Esistono situazioni rare, ma riscontrabili, nelle quali una affermazione e la sua negazione non possono essere ambedue simultaneamente completamente vere: ma il fatto di non poter categorizzare il vero e falso non inficia il principio di non-contraddizione. Stesso ragionamento può essere condotto per le logiche di Łukasiewicz oppure per quelle polivalenti di Gödel.

*

Ampliamo allora il discorso.

Le matematiche sono una grandiosa costruzione, quasi tempio del principio di non-contraddizione: tutte le dimostrazioni si fondano su tale principio.

Alcuni constatazioni hanno dello stupefacente.

La prima è che la quasi totalità dei fenomeni naturali è esprimibile e modellabile in termini matematici. Per restare nei campi elementari, si pensi ai principi della dinamica o della termodinamica, oppure alla legge dei gravi. Ma se la natura è descrivibile in termini matematici, ne consegue che anche essa è implementata secondo il principio di non-contraddizione.

La seconda è più stupefacente ancora. Spesso i matematici hanno studiato per mera curiosità e soddisfazione dell’intelletto delle matematiche totalmente astratte. Bene, quasi invariabilmente, dopo anche lunghi lassi di tempo, si constatava come queste matematiche potessero descrivere in modo proprio nuove categorie di fenomeni empirici.

Le teorie di Galois sonnecchiarono per più di un secolo prima che Heisenberg le utilizzasse, reinventandole. A tal proposito, per meglio comprendere quanto detto, potrebbe essere utile rileggersi il lavoro di Banaszak & Al, Galois Symmetries of Bethe Parameters for the Heisenberg Pentagon, Reports on Mathematical Physics, 71: 2205-215, 2013.

* * * * * * *

Si voglia o meno, le scienze progrediscono imparando dai propri errori. Se questo succede nelle scienze astratte, a magior ragione lo si riscontra in quelle empirche.

Molto saggiamente Einstein sosteneva che un buon ricercatore passa un’ora del suo tempo al giorno a costruire il suo edificio logico, e tutte le altre ventitre a cercare con cura eventuali contraddizioni nelle quali fosse incorso.

Se per un matematico nessuna dimostrazione sarà mai sufficientemente rigorosa e verificata, così per lo sperimentale i suoi test non saranno mai sufficientemente robusti e ripetibili.

L’errore metodologico è sempre in agguato e spesso riesce a mimetizzarsi con somma abilità.

*

In realtà, lo scienziato, quello vero, è più interessato al metodo che ai risultati, è più concentrato sulla ricerca degli errori che sulla eventuale grandiosità dei risultati.

Ma siamo tutti esseri umani.

Spesso ci si innamora dei risultati ottenuti, e li si guarda con lo sguardo amoroso dell’amante piuttosto che con il doveroso distacco professionale. Molto spesso, più spesso di quanto non si possa credere, anche se in buona fede, ci si concentra più sulla bellezza od eventuale utilità dei risultati ottenuti che non sulle sbavature riscontrate.

È il famoso problema del punto anomalo.

Sicuramente nella grande maggioranza dei casi è un puro e semplice errore, ma spesso è l’evidenza empirica di un nuovo e ben più complesso fenomeno. Si pensi solo a quanto abbia influito lo strano comportamento di Mercurio sulla formulazione della teoria della relatività.

*

In un clima di reciproca correttezza, il mondo scientifico è adsueto a fare ed a sentirsi porre delle critiche, talora anche feroci. La revisione critica è segno di intelligenza ed anche di normalità psichica. Ma anche una critica serrata dovrebbe essere fatta con garbo, educazione e competenza. E il primo segno di buona educazione consiste nel presentarsi. Chi si vergogna del proprio nome a maggior ragione dovrebbe vergognarsi dei propri argomenti.

Ma le critiche, per distruttive che siano, devono anch’esse rispondere ai criteri scientifici.

Le critiche ai risultati sono raramente produttive: le uniche davvero utili sono quelle che scovano una qualche contraddizione nel metodo. Le prime sono sostanzialmente inutili, e fonte di sperpero di tempo utile.

Le critiche anonime trovano una loro corretta applicazione solo nel momento in cui un lavoro è sottoposto per la pubblicazione su di una rivista scientifica. L’editore ne invia copia a diversi esperti, referee, che ne danno un giudizio anonimo, per gli intuibili motivi umani. L’editore si fa garante della serietà dei referee. E di frequente i referee riescono a migliorare in modo sostanziale il lavoro loro sottoposto.

Esclusa questa condizione davvero molto particolare, le critiche anonime quali quelle tollerate sul web sarebbero da condannarsi, e senza possibilità di appello.

Intanto, nella grande maggioranza dei casi più che critiche sono delle calunnie, infondate nella sostanza e molto male espresse nella forma: gli insulti non concorrono a far scienza. Ed invero è molto difficile trovare critiche anonime che non siano anche insultanti.

Nel caso del PubPeer, anche ad una lettura trasandata salta immediatamente agli occhi la quasi totale assenza dell’uso del tempo condizionale. Non parliamo poi del congiuntivo, il cui uso dovrebbe essere ripristinato per legge. Facciamoci caso. Più un ricercatore è serio ed attendibile e più usa il congiuntivo, il condizionale ed i verbi ausiliari di potenzialità. L’indicativo presente è impiegato esclusivamente per quelle pochissime cose che siano perfettamente auto evidenti.

Due più due fa quattro: qui l’indicativo presente è usato in modo proprio.

Quasi invariabilmente le critiche anonime usano un tranchant indicativo presente, quasi che l’autore della critica possedesse la scienza infusa e si sentisse il padreterno della scienza. Ma lo scienziato serio invia una lettera agli autori e all’editore, firmandosi con tanto di cognome, nome ed istituzione: cerca soltano di capire meglio i fenomeni, non ricerca facile popolarità né enta di sminuire gli autori.

Purtroppo vi sono molte persone che girano con lo scolapasta in testa, e senza nemmeno accorgersene.


The Economist. 2016-11-05. The watchers on the Web

A court case may define the limits of anonymous scientific criticism.

*

MANY scientific studies are flawed. Often, the reason is poor methodology. Sometimes, it is outright fraud. The conventional means of correction—a letter to the journal concerned—can take months. But there is now an alternative. PubPeer is a website that lets people comment anonymously on research papers and so, in theory, helps purge the scientific literature of erroneous findings more speedily.

Since its launch in 2012, PubPeer has alerted scientists to mistakes and image manipulation in papers, and exposed cases of misconduct. But it has also attracted criticism, not least from journal editors, some of whom argue anonymity’s cloak lets vendettas flourish unchecked. Now the site is embroiled in a court case that tests the limits of free speech under America’s First Amendment, and may define what it is permissible for researchers to say online and anonymously about science.

The proceedings centre on discussions that began on the site in November 2013. These highlighted apparent similarities between images showing the results of different experiments in papers by Fazlul Sarkar, a cancer researcher who was then based at Wayne State University in Detroit. Dr Sarkar alleges that certain commenters insinuated he was guilty of scientific fraud. The comments, he says, together with anonymous e-mails sent to the University of Mississippi, cost him the offer of a professorship there. In October 2014 he sued the commenters for defamation and subpoenaed PubPeer to disclose their identities. A court is now expected to decide whether the site will be forced to do so.

The American Civil Liberties Union has taken on the case on PubPeer’s behalf. Its lawyer, Alex Abdo, says that the anonymity of PubPeer’s commenters is protected by American law unless Dr Sarkar can provide evidence that their statements are false and have damaged his reputation. Evidence filed by PubPeer from John Krueger, an image-analysis expert, states the images in question “did not depict different experiments as they purported to” or contained other “irregularities”, and may have been manipulated. Mr Abdo asserts that the comments identified by Dr Sarkar are not defamatory. Therefore PubPeer should not be forced to disclose the commenters’ identities.

Who blows the whistle?

By contrast, Dr Sarkar’s lawyer, Nick Roumel, argues the law should not provide anonymous commenters with more protection than it gives those who post under their real names. It is impossible to contact PubPeer’s commenters to establish what they know about the allegations without knowing their identities, he says.

In March 2015 a judge at the Wayne County Circuit Court agreed that PubPeer need not disclose the identities of any of its commenters except for one. That commenter had confirmed on the site that he or she had notified Wayne State University of problems with Dr Sarkar’s papers. A prolific pseudonymous whistle-blower named Clare Francis is known to have e-mailed Wayne State in November 2013, to notify it of concerns with Dr Sarkar’s work aired on PubPeer, adding in her e-mail (if, indeed, “Clare Francis” is a woman) that, in some cases, they amounted to “what many think of as scientific misconduct.” Whether Clare Francis and the subject of the judge’s order are the same is not clear.

Both sides lodged appeals against the ruling. PubPeer objects to revealing the identity of the last commenter. Mr Roumel wants to know the identities of them all.

Two goliaths of information technology, Google and Twitter, lodged a brief in support of PubPeer in January 2016. So did two giants of science: Harold Varmus, a Nobel prize-winning cancer researcher, and Bruce Alberts, a former president of the National Academy of Sciences. They argued that the First Amendment protects “unfettered scientific discourse”.

On October 19th the Scientist, a magazine, published some findings of a misconduct investigation carried out by Wayne State University in 2015. The report of this investigation, which the magazine obtained under America’s Freedom of Information Act, states that Dr Sarkar “engaged in and permitted (and tacitly encouraged) intentional and knowing fabrication, falsification, and/or plagiarism of data”. Furthermore, 18 papers from Dr Sarkar’s laboratory have been retracted from five different journals.

Dr Sarkar rejects all the investigation’s findings. He states that he provided the correct images to the university but his explanations of how the errors occurred were dismissed out of hand. Despite his having more than 500 peer-reviewed papers to his name, his reputation has been destroyed because of “minor errors in a few articles,” he says. Philip Cunningham, who convened the Wayne State panel that investigated Dr Sarkar, says all evidence was carefully considered and the university stands by the integrity and accuracy of the report.

Normally, neither Dr Sarkar’s retractions nor Wayne State University’s report would have any bearing on the case because appeals can only consider evidence presented during an earlier trial. But on October 28th, in what may be a decisive ruling, the court allowed PubPeer to enter the Scientist’s story about the report into the official record of the case. The results of the appeal hearing itself, which took place on October 4th, are expected imminently.

Whichever way that decision goes, at least one side is likely to appeal against it. But however the case eventually ends, its outcome will affect the process of “open peer review” that PubPeer is pioneering by determining whether or not anonymous critics of scientific papers can, in the last analysis, retain their anonymity.