Lo scopo finale di ogni lavoro di ricerca scientifica è quello di divulgare i relativi risultati.
L’articolo scientifico o pubblicazione scientifica è il principale mezzo di comunicazione all'interno della comunità scientifica. I progressi nel campo della medicina e la diffusione dei risultati delle ricerche sono intrinsecamente legati alla pubblicazione scientifica. Tuttavia, non sempre tale comunicazione risulta d’immediata chiarezza ed efficacia per poter comprendere la qualità e la rilevanza del lavoro e dei relativi risultati illustrati, soprattutto in assenza di un’adeguata formazione in metodologia della ricerca.
Questa iniziativa editoriale si propone di fungere da breve guida per l’approccio alla lettura critica di un articolo scientifico, ovvero “l'applicazione di regole oggettive ad uno studio per valutarne la validità dei dati, la completezza, i metodi, le procedure, le conclusioni, ed il rispetto dei principi etici”. Vi offrirà consigli ed indicazioni per comprendere ed analizzare i punti più critici e rilevanti di un articolo scientifico, che determinano, in ultimo, la qualità e la validità della pubblicazione stessa.
Introduzione
La letteratura scientifica comprende quelle pubblicazioni scientifiche che trattano lavori (teorici o sperimentali sul campo) delle scienze naturali e sociali. La maggior parte della letteratura scientifica è scritta in lingua inglese ed è pubblicata su riviste scientifiche di settore.
Le due principali tipologie di pubblicazione scientifica sono l’articolo scientifico o di letteratura scientifica originale, ovvero un articolo che descrive i risultati di una ricerca sperimentale, solitamente scritto dagli stessi ricercatori che hanno condotto quest’ultima, e la review, ovvero una revisione ed analisi dettagliata e riassuntiva di articoli scientifici già pubblicati su un determinato argomento.
Questo Quaderno è incentrato, in particolar modo, sull’analisi critica di un articolo scientifico originale, con un focus sugli studi clinici, ovvero quelle attività di ricerca sperimentale condotte sull’uomo.
LE RIVISTE SCIENTIFICHE
Nel momento in cui ci si appresta ad analizzare in maniera critica un articolo scientifico è opportuno tenere in debita considerazione anche diversi aspetti riguardanti la rivista scientifica su cui questo è pubblicato.
Il processo di Peer Review
Nell’ambito della ricerca scientifica, la peer review (revisione da parte dei pari o revisione paritaria) è un importante processo di controllo volto a valutare e garantire la validità scientifica e la qualità ed integrità dei contenuti di una pubblicazione. Le linee guida del Comitato Internazionale degli Editori di Riviste Mediche (International Committee of Medical Journal Editors, ICMJE) definiscono il processo di peer review come una valutazione critica, indipendente e priva di bias di un articolo scientifico prima della sua pubblicazione.
La maggior parte delle riviste scientifiche internazionali si avvale di questa valutazione esperta da parte di specialisti del settore, indipendenti ed esterni alla rivista, per verificare l’idoneità alla pubblicazione di un determinato articolo scientifico. Le riviste peer reviewed sono indicizzate in repertori bibliografici ufficiali, quali Pubmed (Medline), Scopus di Elsevier e Web Of Science di Thomson Reuters. Inoltre, queste riviste solitamente specificano sul loro sito web che si avvalgono del processo di peer review, fornendone una descrizione chiara e trasparente per i diversi tipi di pubblicazione.
In dettaglio, il processo di peer review prevede che un manoscritto di un articolo scientifico, una volta sottomesso dagli autori alla rivista scelta, sia sottoposto dal direttore responsabile (editor in chief)/comitato editoriale della rivista in questione, dopo un primo esame, alla revisione critica da parte di uno o più esperti (generalmente due o tre) con competenze nelle discipline e sul tema di cui tratta l’articolo (peer reviewer o referee). Esistono diversi modelli di peer review: la revisione in doppio cieco (sia gli autori dell’articolo sia i referee non sono a conoscenza dell’identità l’uno dell’altro, per permettere una valutazione del manoscritto il più possibile priva di pregiudizi o bias), la revisione in singolo cieco (l’identità dei referee designati è nascosta agli autori dell’articolo), e la revisione aperta (l’identità di autori e referee, nonché tempi e commenti del processo sono resi noti). L'anonimato dei referee e la loro indipendenza sono quasi sempre garantiti, ed hanno lo scopo di incoraggiare critiche aperte e scoraggiare eventuali parzialità nelle decisioni sull’accettazione o rifiuto della pubblicazione. I referee incaricati di revisionare criticamente un lavoro di ricerca originale valutano in particolare, oltre alla correttezza formale del testo, novità ed innovazione dell’ipotesi di studio, il rigore del disegno sperimentale, la correttezza metodologica, l’approccio alla analisi dei dati e la plausibilità dei risultati. Successivamente i referee presentano la loro valutazione in merito all’idoneità alla pubblicazione del manoscritto e le loro raccomandazioni all’editor in chief/comitato editoriale della rivista, il quale valuta se accogliere o meno tali commenti e suggerimenti, comunicandoli agli autori del manoscritto per una loro risposta/revisione dell’articolo, e decide in ultimo se accettarne o rifiutarne la pubblicazione.
Il processo di peer review è effettuato quasi sempre gratuitamente e volontariamente dai referee, e non sempre vi è un riconoscimento esplicito per l’impegno ed il lavoro da loro svolto (soprattutto nel caso di un processo in singolo o doppio cieco), nonostante siano proprio i referee, con la loro esperienza, conoscenza, imparzialità ed interesse nel revisionare un manoscritto con la massima diligenza, il pilastro fondamentale di questo processo.
Le criticità maggiormente sollevate del processo di peer review sono i tempi, molto spesso lunghi, con conseguenti ritardi di pubblicazione, e l’effettiva imparzialità nel giudizio ed eventuali conflitti d’interesse dei referee e del comitato editoriale della rivista. I principali bias di questo processo sono il pregiudizio basato sul contenuto (parzialità per o contro l’accettazione di articoli in base al contenuto di questi), il frequente bias di conferma (tendenza a raccogliere ed interpretare l’evidenza in modi che portano a confermare piuttosto che a metter in discussione convinzioni preesistenti), il conservativismo (pregiudizio nei confronti della ricerca all’avanguardia ed innovativa), il pregiudizio nei confronti della ricerca interdisciplinare, il bias di pubblicazione (tendenza delle riviste a pubblicare ricerche con risultati positivi, tralasciando quelle con risultati negativi), ed infine il pregiudizio dato dal conflitto d’interesse (la possibile influenza di interessi personali, finanziari o professionali sul giudizio di referee ed editori).
Sebbene la peer review sia ormai una prassi consolidata e sia comunque ritenuta dalla maggioranza della comunità scientifica un processo utile per rendere i lavori più leggibili e migliorare la qualità della presentazione dei dati, l’effettivo valore di questo processo editoriale è ancora ampiamente dibattuto.
Modelli editoriali di pubblicazione di un articolo scientifico
Fatte salve alcune eccezioni, la maggior parte delle riviste peer reviewed tradizionali non prevede il pagamento di un corrispettivo per la sottomissione e pubblicazione di articoli, ma questi sono interamente fruibili solo previo acquisto o sottoscrizione di un abbonamento alla rivista stessa.
Questa modalità di pubblicazione scientifica tradizionale è stata fortemente modificata con l’avvento dell’editoria digitale open access (ad accesso aperto), nata con lo scopo di garantire un accesso alla letteratura scientifica più “democratico”.
Le riviste open access in senso stretto (la cosiddetta gold road) offrono gratuitamente e senza restrizioni la fruizione di articoli scientifici dopo il regolare processo di peer review, che si svolge spesso in aperto, in quanto sono generalmente gli autori stessi (o le istituzioni che ne finanziano le ricerche) a pagare un corrispettivo per la pubblicazione del proprio articolo e per consentirne il libero accesso, conservandone i diritti d’autore. Gli esempi più noti di riviste open access sono la Public Library of Science (PLoS) e BioMed Central. Nonostante gli indubbi vantaggi, legati in particolare alla più rapida ed ampia diffusione e visibilità della propria ricerca scientifica, questo modello presenta aspetti controversi riguardo alla qualità del processo di peer review, in quanto il guadagno di questa tipologia di riviste è proporzionale al numero di articoli pubblicati.
Altre strategie affermatisi per garantire pubblicazioni ad accesso aperto sono:
- la pratica di auto-archiviazione (self-archiving, la cosiddetta green road), ovvero il deposito da parte degli autori del proprio articolo scientifico in un archivio aperto, istituzionale o disciplinare, o nel proprio sito personale, dopo averlo pubblicato su una rivista scientifica peer reviewed (tradizionale o a modello open access) e averne negoziato i diritti;
- il modello open access ibrido proprio di alcune riviste che contengono sia articoli ad accesso libero sia a pagamento.
Da segnalare inoltre la più recente diffusione anche in ambito biomedico di articoli scientifici in modalità preprint resi disponibili in repository ad accesso aperto, alimentata in particolar modo dalla pandemia di COVID-19, che ancor di più ha messo la comunità scientifica davanti alla necessità di avere a disposizione in tempi brevi ed in forma gratuita i risultati della ricerca scientifica. Tali articoli pubblicati in forma preprint non sono stati sottoposti al processo di peer review, ma messi immediatamente a disposizione della comunità scientifica, generalmente dopo esser stati sottoposti al vaglio preliminare dei responsabili del repository ed eventualmente di ricercatori volontari. Questi articoli possono essere poi contestualmente sottomessi dagli autori ad una rivista peer reviewed.
Secondo l’ICMJE per massimizzare i benefici e minimizzare i potenziali danni ascrivibili alla diffusione di scoperte scientifiche prima di un processo di peer review è importante, tra le altre cose, che il repository identifichi chiaramente i preprint come articoli non sottoposti a peer review, potenzialmente quindi da non considerarsi report conclusivi e definitivi, richieda agli autori di dichiarare i propri conflitti d’interesse e fonti di finanziamento, ed indichi sia tempi e motivi di un eventuale ritiro di un preprint sia quando un preprint viene in seguito pubblicato in una rivista peer reviewed.
Infine, è importante essere a conoscenza dell’esistenza (in continuo aumento) di riviste scientifiche o accademiche o di editori non affidabili, che adottano una cosiddetta pubblicazione predatoria (predatory publishing). Le riviste predatorie (o pseudo-riviste) accettano e pubblicano, generalmente sfruttando il modello editoriale open access, tutti o quasi gli articoli scientifici a loro sottomessi, dietro compenso per la pubblicazione, e senza realmente fornire un processo di peer review o altri servizi editoriali, pur dichiarando di avvalersene. Tali riviste possono essere definite come “giornali o editori che danno priorità al proprio interesse a spese della cultura, essendo caratterizzati da informazioni false o fuorvianti, deviazione dalla best practice editoriale, mancanza di trasparenza e/o uso aggressivo ed indiscriminato di pratiche di adescamento”.
Il predatory publishing pregiudica una corretta comunicazione scientifica e lo stesso progresso scientifico, in quanto senza un adeguato processo di peer review e controllo qualità queste pseudo-riviste pubblicano articoli che presentano ricerche con gravi lacune o riportano informazioni inaccurate o addirittura deliberatamente false, contribuendo quindi a creare disinformazione, con anche il rischio che articoli contenenti importanti risultati sperimentali siano invece trascurati dalla comunità scientifica.
Alcune indicazioni volte ad aiutare a identificare le caratteristiche delle riviste peer reviewed attendibili rispetto alle pseudo-riviste sono state rese disponibili da diverse organizzazioni del settore, tra cui l’Associazione Mondiale degli Editori di Riviste Mediche (World Association of Medical Editors, WAME) (https://www.wame.org/identifying-predatory-or-pseudo-journals e https://wame.org/principles-of-transparency-and-best-practice-in-scholarly-publishing).
L’Impact Factor
Un altro aspetto riguardante le riviste scientifiche da tenere in considerazione, con le dovute cautele, nel momento in cui si desidera valutare un articolo scientifico è quanto la rivista su cui questo è pubblicato sia “quotata” rispetto ad altre.
Esistono diversi indicatori bibliometrici volti a categorizzare, comparare e ad analizzare l’influenza di una rivista scientifica peer reviewed. Tra questi, il più comunemente utilizzato e diffuso è l’impact factor, sviluppato nel 1961 dal Dr. Eugene Garfield, fondatore dell’Institute for Scientific Information (ISI), ed attualmente di proprietà della divisione scientifica dell’editore Thomson Reuters (divenuta Clarivate Analytics) e pubblicato a cadenza annuale nel Journal Citation Reports (JCR).
L’impact factor di una rivista scientifica è una misura della frequenza con cui viene citato un “articolo medio” in essa pubblicato in un particolare anno; si calcola come il numero di citazioni ricevute, nell’anno di riferimento considerato, da articoli pubblicati da una data rivista nei due anni precedenti diviso per il numero complessivo di articoli citabili pubblicati negli stessi due anni. L’impact factor rappresenta quindi una misura dell’impatto e del grado di importanza di una rivista nel suo settore di specializzazione.
Come strumento di valutazione metrica delle citazioni, l’impact factor ha il vantaggio di essere semplice da descrivere e facile da calcolare. Inoltre, questo indice fornisce sia ai lettori che agli autori informazioni sul processo di revisione. Infatti, il possedere un impact factor più elevato da parte di una rivista scientifica solitamente indica che gli articoli pubblicati da quest’ultima sono stati sottoposti ad un processo di revisione più minuzioso, e di conseguenza ci si attende che siano più affidabili.
Tuttavia, questo metodo, e soprattutto la sua applicazione non sono esenti da critiche. É importante essere consapevoli delle limitazioni di questo indice e dell’abuso che può derivarne da parte delle riviste per aumentare il proprio prestigio.
In primis, occorre sottolineare che l’impact factor permette di confrontare essenzialmente riviste appartenenti alla stessa disciplina scientifica, in quanto il numero di citazioni varia molto da un settore all’altro. Se una rivista è open access, gli articoli di questa saranno maggiormente disponibili per ulteriori citazioni rispetto a riviste peer reviewed tradizionali, e questo può aumentarne l’impact factor. Inoltre, una rivista scientifica altamente specializzata potrebbe esser meno seguita rispetto ad una rivista che tratta argomenti scientifici o medici più generali, e per questo esser meno citata, con conseguente diminuzione del suo impact factor. Infine, riviste nuove, seppur attendibili, non possono avere associato questo indice se non dopo tre anni di pubblicazione.
Ulteriori limitazioni e svantaggi di questo indice sono:
- La selettività di pubblicazione nei confronti di articoli che si prevede esser maggiormente citabili, quali review o articoli di ricerca, rispetto ad altri articoli per cui le future citazioni risultano meno probabili, come i case report, manoscritti che riportano risultati negativi o anche articoli che trattano di argomenti molto specializzati per cui l’interesse del pubblico risulta limitato.
- L’abuso dell’autocitazione, ovvero il riferimento bibliografico agli articoli della stessa rivista, che ne aumenta l’impact factor.
- La predominanza di riviste scientifiche in lingua inglese (il calcolo di questo indice non tiene conto di pubblicazioni in lingue diverse dall’inglese).
- La densità delle citazioni di una rivista, ovvero il numero dei riferimenti bibliografici che possono influenzare il calcolo dell’impact factor.
- La tempistica di pubblicazione (articoli pubblicati alla fine di un dato anno contribuiscono in misura minore al calcolo di questo indice rispetto ad articoli pubblicati ad inizio anno).
L’impact factor di una rivista è generalmente influenzato da una piccola percentuale dei suoi articoli pubblicati e non vi è praticamente alcuna correlazione tra la frequenza di citazione di un singolo articolo e l’impact factor della rivista di pubblicazione. È importante sottolineare che l’impact factor riflette la qualità complessiva di una rivista scientifica, e non la qualità del singolo articolo e del lavoro degli autori. Inoltre, questo indice non riflette quello che è realmente l’impatto della rivista al di fuori della comunità scientifica.
Appare ormai evidente che il contenuto di una rivista scientifica e il suo impatto sono troppo complessi per esser valutati tramite una modalità di misurazione singola. Diversi indici bibliometrici sono stati sviluppati nel corso degli anni, tra cui il punteggio Eigenfactor, il CiteScore, lo SCImago Journal Rank, l’indice SNIP (Source Normalized Impact per Paper) e l’H-index e sue forme alternative in Google Scholar, ma nessuno di questi ha riscosso una sufficiente popolarità per poter esser considerato un valido sostituto dell’impact factor.
|
Tips - Per poter valutare in modo critico una pubblicazione scientifica originale, è opportuno quindi porsi le seguenti domande (relativamente alla rivista scientifica):
|
LA STRUTTURA DI UN ARTICOLO SCIENTIFICO
Una pubblicazione scientifica deve soddisfare specifici criteri, relativi a struttura ed impostazioni, alcuni di comune impiego ed altri definiti in dettaglio da ciascuna rivista scientifica.
L’oggetto di un articolo scientifico è definito in primis dal suo titolo, che dovrebbe contenere i dati essenziali per capire di cosa tratta quest’ultimo.
Situato subito al di sotto del titolo e dell’elenco degli autori della pubblicazione si trova solitamente l’abstract, ovvero il riassunto dell’intero articolo, volto a riportare le informazioni principali relative ad argomento, metodologie e risultati dello studio, descritte poi in dettaglio in ciascuna delle sezioni dell’articolo. Nel caso di pubblicazioni a pagamento, l'abstract corrisponde alla parte dell'articolo liberamente fruibile online. La lettura del solo abstract, seppur possa fornire informazioni sufficienti per stabilire se lo studio può essere di nostro interesse o meno, non consente una valutazione critica della pubblicazione scientifica. Pertanto, è consigliabile leggere l’abstract solo dopo aver letto ed analizzato l’articolo per intero, per verificarne poi la coerenza.
Generalmente, il corpo principale di un articolo scientifico originale segue il cosiddetto modello IMRAD (Introduction, Methods, Results And Discussion), ovvero si compone delle seguenti sezioni principali, ciascuna delle quali può esser informativa in merito alla validità o ai limiti dello studio in questione:
- Introduzione: sezione che vuole rispondere alla domanda “perché è stato condotto lo studio?”. Questa sezione spiega la rilevanza della ricerca clinica condotta rispetto a quanto già noto, descrivendo il problema o la situazione alla base del razionale dello studio e quali sono le ipotesi e gli obiettivi che questo si è posto.
- Metodi: sezione che vuole rispondere alla domanda “come è stato condotto lo studio?”. Questa sezione descrive in che modo è stata condotta la ricerca, ed in particolare fornisce dettagli in merito al disegno di studio, alla definizione di popolazione in studio e alla dimensione campionaria prescelta, a quali e quanti sono i diversi gruppi in studio, agli eventuali trattamenti in studio, alle procedure e alle valutazione effettuate durante lo studio ed ai metodi utilizzati per la raccolta e l’analisi statistica dei dati.
- Risultati: sezione che vuole rispondere alla domanda “quali sono i risultati ottenuti dallo studio?”. Questa sezione illustra, solitamente con l’ausilio di tabelle e/o grafici, il complesso dei dati ottenuti ed i risultati raggiunti dallo studio tramite i metodi descritti nella sezione precedente, specificandone l’eventuale significatività statistica. I risultati possono essere quantitativi (numeri) o qualitativi (osservazioni e/o descrizioni) a seconda del disegno dello studio e dei dati raccolti.
- Discussione: sezione che vuole rispondere alla domanda “qual è il significato e la rilevanza dei risultati ottenuti dallo studio?”. In questa sezione gli autori dell’articolo commentano i risultati ottenuti, in accordo agli obiettivi dello studio e alla luce di quanto già noto sull’argomento, sottolineandone la rilevanza clinica e mettendo in evidenza eventuali punti di forza, problemi metodologici e limiti dello studio.
In ultimo, sono riportate le conclusioni dello studio, integrate nella discussione o descritte in una sezione successiva a parte, volte a sottolineare i dati rilevanti, fornire il messaggio chiave che gli autori vogliono trasmettere ed evidenziare eventuali sviluppi futuri.
La bibliografia, ovvero l’elenco dei riferimenti di letteratura di quanto affermato nel testo dell’articolo, è solitamente l’ultima sezione di una pubblicazione scientifica e permette al lettore di valutare se le fonti citate dagli autori sono pertinenti e corrette rispetto a quanto asserito.
