![[AIB]](/aib/wi/aiba12.gif)
AIB-WEB. ContributiAIB-WEB. Contributi
di Paolo Gardois
Università di Torino. Dipartimento di scienze pediatriche e
dell'adolescenza. Biblioteca
Il presente lavoro costituisce una versione tradotta ed aggiornata di "Evaluating the quality of medical information on the Internet: a brief bibliography" presentato all'VIII congress on medical librarianship, Londra, 2-5 luglio 2000 e pubblicato sul Web all'URL: <http://www.icml.org/posters/post28/poster28.htm>.
"[Quality can be defined as] the totality of characteristics of an entity that bear on its ability to satisfy stated and implied needs."
[La qualità può essere definita come] la totalità delle caratteristiche di un'entità che influenzano la sua capacità di soddisfare bisogni dichiarati e impliciti.
[International organization for standardization, Technical Committee ISO/TC 176. ISO 8402: Quality management and quality assurance. Vocabulary. 2nd ed. Geneva: International organization for standardization, 1994. (1994-04-01)]
"We must find ways of producing, validating and diffusing appropriate information in a manner that involves users (consumers) in order to guarantee a non-authoritarian practice, access for all to healthcare information, and high quality information on the internet."Dobbiamo trovare modi di produrre, convalidare e diffondere l'informazione appropriata in un modo che coinvolga gli utenti (consumatori) per garantire una pratica non autoritaria, l'accesso per tutti all'informazione sulla salute e la presenza di informazione di alta qualità su Internet.
[Eysenbach, G et al. Towards quality management of medical information on the internet: evaluation, labelling, and filtering of information. BMJ 1998; 317: 1496-1502.]
7 : Discussione dei più importanti criteri di
valutazione
7.1 : Qualità e contesto
7.2 : Chi sono i probabili fruitori della valutazione?
7.3 : Strategie di valutazione
7.3.1 : L'approccio "gateway" o motore di ricerca ;
7.3.2 : L'approccio centrato sulla certificazione
7.4 : Standardizzazione contro personalizzazione?
7.5 : Chi valuta?
7.5.1 : Uomo contro robot? ;
7.5.2 : Lavoro di squadra: ruoli e punti di vista
7.6 : Misurare
7.7 : Prospetto dei più importanti gruppi di
criteri di valutazione
7.7.1 : Contesto e scopo della risorsa ;
7.7.2 : Coerenza e qualità interne ;
7.7.3 : Collegamenti e confronti con il mondo esterno ;
7.7.4 : Impatto sull'utente finale
7.8 : Conclusione
L'informazione biomedica in Internet cresce per quantità ma non sempre per qualità. È pertanto urgente costruire metodi di valutazione articolati e flessibili per filtrare l'informazione valida e metterla a disposizione degli utenti. A questo scopo occorrono squadre di valutatori dalle diverse competenze e griglie valutative che integrino metadati descrittivi e valutativi tenendo presenti quattro aree principali: contesto e scopo della risorsa, sua coerenza interna e qualità, collegamenti con il mondo esterno e impatto sull'utente finale.
La nascita della società dell'informazione influenza profondamente la ricerca biomedica e la pratica clinica.
Internet diventa sempre più importante sia per reperire sia per pubblicare informazione. Pertanto, la crescente quantità di informazione presente rischia di trasformarsi in sovraccarico informativo se non si filtrano e sottopongono ad un controllo di qualità le risorse.
Testi provenienti da siti web e articoli di riviste sono stati raccolti e confrontati per costruire una bibliografia aggiornata ed un profilo dei più importanti criteri e problemi aperti riguardanti la valutazione dell'informazione biomedica su Internet.
Le risorse Internet prese in considerazione sono prevalentemente siti web e mailing lists.
L'informazione è stata raccolta dal gennaio al marzo del 2000 utilizzando le seguenti fonti:
Un ulteriore controllo della validità dei collegamenti alle fonti citate in bibliografia è stato effettuato il 27 settembre 2000.
L'informazione destinata a medici e ricercatori in campo biomedico cresce oggi ad un ritmo sempre più veloce.
Questa crescita quantitativa non è purtroppo accompagnata da una corrispondente qualità. Per supportare adeguatamente la ricerca biomedica è perciò urgente imparare a filtrare e valutare l'informazione biomedica presente su Internet. Ciò consente di risparmiare tempo e concentrarsi su un numero relativamente piccolo di risorse rilevanti ed affidabili e di evitare quelle non affidabili.
Tra i soggetti potenzialmente interessati al processo di valutazione troviamo:
Si discute di valutazione di risorse Internet sia in riviste mediche e di biblioteconomia e scienza dell'informazione sia -- sempre più frequentemente -- sul web stesso: in periodici elettronici, mailing lists, newsgroups e molte altre fonti. Inoltre sono nati durante questi ultimi anni diversi siti web dedicati all'argomento.
In entrambi i casi ho raccolto l'informazione da fonti che si propongono di "valutare i valutatori" accertando la qualità dei criteri di volta in volta proposti per definire valida una determinata risorsa biomedica presente in Internet.
Due sono i principali risultati:
La qualità delle risorse Internet non può essere definita come una grandezza a sé stante.
Esistono ovviamente criteri per valutare la coerenza interna di una risorsa (vedi sotto), ma la vera valutazione è diretta ad accertarne l'efficacia. In altre parole si tratta di accertare se un determinato target di utenza può considerarla o meno soddisfacente rispetto ai suoi specifici bisogni informativi.
In letteratura troviamo centinaia di liste di controllo contenenti criteri per valutare le risorse Internet.
Tuttavia, questo non è il punto principale né quello di partenza. Prima di creare una lista di requisiti ideali di qualità, dovremmo controllare attentamente il contesto in cui la qualità stessa si esprime e può essere apprezzata.
Nel campo biomedico è importante distinguere tra risorse finalizzate a:
Con il variare dei target di utenza variano non solo le risorse di riferimento ma anche i livelli e/o le strategie di valutazione.
Ad esempio indicizzare risorse impiegando termini MeSH molto specifici può non essere indicato per il pubblico ma è indispensabile per i ricercatori.
In questo caso si costruisce un database ricercabile di risorse selezionate, indicizzate e descritte, includendo tutte le risorse che soddisfano un dato insieme di criteri di valutazione.
Il database è solitamente reso accessibile tramite un sito web e può prendere la forma di:
Si eseguono controlli periodici per verificare se le risorse continuano a soddisfare gli standard richiesti. Se il risultato è negativo le risorse vengono rimosse dal database.
Anche in questo caso un'organizzazione sviluppa un insieme di criteri qualitativi e svolge controlli periodici.
La principale differenza è che alle risorse Internet che soddisfano i requisiti prescritti viene attribuito un marchio che esse possono mostrare sulle loro pagine.
Le risorse biomediche presenti su Internet differiscono per:
Ecco perché una metodologia di valutazione rigidamente uniforme applicata a risorse così diverse non è possibile né desiderabile.
Tuttavia è possibile usare gli standard come base flessibile sulla quale costruire valutazioni più approfondite e specializzate.
L'insieme di metadati raccolti nel Dublin Core può costituire un valido punto di partenza.
È molto importante utilizzare metadati sia descrittivi sia valutativi.
Se però i primi (quali ad esempio il nome della risorsa, l'autore, perfino le parole chiave) presentano una certa oggettività, molte difficoltà sorgono invece con i secondi (vedi sotto).
Opporre l'uomo al software nella valutazione delle risorse Internet costituisce un puro non-senso.
Vi sono caratteristiche che possono essere valutate soltanto con l'utilizzo di software, quali analizzatori di log dei server o correttori ortografici o ancora software che controllano la correttezza del codice HTML presente nella pagina rispetto alle specifiche ufficiali di HTML.
A parte i casi sopra specificati, comunque, sono gli esperti a giocare un ruolo chiave nel processo di valutazione.
Valutare una risorsa Internet è un'operazione che non consiste in un singolo atto, simile a quello di compilare un modulo. Si tratta invece di un processo ed anche di un lavoro in divenire, in quanto una risorsa deve essere seguita ed esaminata durante la sua intera esistenza per evidenziarne i cambiamenti. Durante questo processo sono richieste abilità diverse e diversi punti di vista e background devono interagire.
Qualunque sia la metodologia utilizzata, una valutazione completa di una risorsa biomedica presente su Internet richiede competenze almeno nelle seguenti aree:
Nessuna di queste abilità è sufficiente per se stessa: solo il lavoro di squadra può produrre un efficace processo di valutazione. Costituiscono un buon modello da seguire le meta-analisi realizzate dalla Cochrane Collaboration, specialmente per quanto attiene al trattamento dei dati relativi al reale impatto sull'utente finale dell'informazione tratta da Internet.
Ottime idee per il processo di valutazione possono venire anche dalla rivitalizzazione e dal riadattamento di strumenti sperimentati a lungo dai bibliotecari nell'ambito delle fonti cartacee: si veda ad esempio la griglia di Whittaker.
I test di usabilità creati dalle case produttrici di software in ambienti di laboratorio possono essere utili nel valutare gli aspetti più tecnici di una risorsa Internet.
Anche gli autori possono contribuire a descrivere e indicizzare tali risorse, fornendo una prima sommaria descrizione basata su un insieme elementare di metadati. A questo punto tuttavia è necessaria una revisione svolta da una squadra di professionisti, sia per motivi etici (gli autori potrebbero essere portati a valutare troppo -- o anche troppo poco -- generosamente il proprio lavoro) sia per l'accuratezza dell'informazione (gli autori da soli raramente possiedono l'insieme di strumenti e abilità proprio della squadra di valutatori).
Gli utenti dovrebbero essere incoraggiati ad esprimere le loro opinioni riguardo alle valutazioni, e queste opinioni dovrebbero essere seriamente tenute presenti durante lo svolgimento delle revisioni.
Inoltre lo stesso processo di valutazione deve essere valutato: un buon modello potrebbe essere il peer-reviewing o il co-reviewing (ancora, una delle migliori pratiche è rappresentata dalle meta-analisi Cochrane).
I criteri implicano misurazioni, ma che cosa esattamente va misurato (e che cosa è misurabile) e perché?
Quasi tutto, secondo alcuni autori; quasi nulla, secondo altri.
Credo che una risposta potrebbe consistere nel provare a misurare ciò che il gruppo di valutatori e l'utenza di riferimento pensano che davvero valga la pena misurare. Si provi a misurare soltanto con un preciso scopo in mente, ed entro questi limiti si usino i più rigorosi standard possibili, fornendo differenti possibilità di accesso ai risultati del processo di valutazione.
Per esempio, in un sito web che costituisca un gateway per argomento si può offrire:
Quanto al risultato, un punteggio può essere un modo intuitivo di ordinare i risultati, ma in generale è molto difficile fondarlo su basi oggettive. Pertanto, se si ritiene di aggiungere un campo "punteggio" al database occorre essere sicuri che i criteri utilizzati per assegnare punti alle risorse siano:
In conclusione, nel provare a sintetizzare i più importanti criteri proposti dai principali studi, non posso evitare di provare a fornire la mia lista di criteri di valutazione.
Si tratta tuttavia soltanto di un esempio, realizzato sulla base dei bisogni informativi degli utenti della mia biblioteca: clinici e ricercatori ad alta specializzazione e studenti di scuole di specialità post-laurea in ambito medico.
I criteri possono essere suddivisi in quattro gruppi principali, ognuno dei quali può contenere diversi sottoinsiemi di criteri a seconda della metodologia di valutazione e dell'utenza di riferimento:
Segue una breve descrizione di ciascuno dei gruppi.
Il mondo cartaceo ha regole e criteri ben saldi nel campo della valutazione della qualità. Queste regole si applicano a risorse stabili e la cui affidabilità può essere stabilita con chiarezza; inoltre sono state sviluppate lungo centinaia di anni.
Le risorse online e le risorse Internet richiedono nuove regole sia a causa della differente natura del nuovo medium, sia per il differente contesto in cui l'informazione deve essere cercata e reperita.
Sviluppare nuovi criteri è un processo già in corso che sicuramente richiederà del tempo. Vorrei riassumere qui solo alcuni punti tratti dalla letteratura riguardo agli auspicabili sviluppi futuri:
La presente bibliografia intende essere breve e presentare gli articoli ed i contributi più utili che sono stato in grado di reperire. Molte delle fonti tuttavia sono dotate di estese bibliografie sull'argomento che possono essere usate per ulteriori approfondimenti.
1. Adelhard K - Obst O. Evaluation of medical internet sites. Methods Inf Med. 1999 Jun;38(2):75-9.
2. Ambre, J et al. Criteria for Assessing the Quality of Health Information on the Internet. <http://hitiweb.mitretek.org/docs/criteria.html> creato il 1997-10-14 ; ultimo aggiornamento 1999-05-04 ; ultimo controllo 2000-09-27
3. Anagnostelis, B - Cox, J. Data on the Internet: Evaluating the Quality or "Less is more". <http://biome.ac.uk/sage/ukolug.html> creato nel 1996 ; ultimo controllo 2000-09-27
4. Anagnostelis, B. Filtering for quality. <http://biome.ac.uk/sage/inform.html> creato il 1996-12 ; ultimo controllo 2000-09-27
5. Anderson, PF et al. Print and Internet Resources on Web Design and Internet Resource Evaluation. <http://henry.ugl.lib.umich.edu/megasite/bibl.html> creato nel 1997 ; ultimo aggiornamento 1998-05-28 ; ultimo controllo 2000-09-27
6. Argus Clearinghouse (The). Rating Systems. <http://www.clearinghouse.net/ratings.html> ultimo controllo 2000-09-27
7. Blumberg P - Sparks J. Tracing the evolution of critical evaluation skills in students' use of the Internet. Bull Med Libr Assoc. 1999 Apr;87(2):200-5
8. Boretti, E. Valutare Internet : la valutazione di fonti di documentazione web. <http://www.aib.it/aib/contr/boretti1.htm> creato il 2000-02-09 ; ultimo aggiornamento 2000-03-28 ; ultimo controllo 2000-09-27
9. Caywood, C. Library Selection Criteria for WWW Resources. <http://www6.pilot.infi.net/~carolyn/criteria.html> creato nel 1995 ; ultimo aggiornamento 1999-12 ; ultimo controllo 2000-04-01
10. Ciolek, TM - Goltz, M (editors). Criteria Used to Select Links for Resources' Catalogues. <http://www.ciolek.com/WWWVLPages/QltyPages/QltyLinks.html> creato il 1995-05-22 ; ultimo aggiornamento 1999-05-05 ; ultimo controllo 2000-09-27
11. Ciolek, TM (editor). Information Quality - Catalogue of Potent Truisms. <http://www.ciolek.com/WWWVLPages/QltyPages/QltyTruisms.html> creato il 1994-10-15 ; ultimo aggiornamento 1997-11-10 ; ultimo controllo 2000-09-27
12. Cook, A - McNab, A - Anagnostelis, B. The good, the bad and the ugly: Internet review sites. <http://biome.ac.uk/sage/iolim96.html> creato nel 1996 ; ultimo controllo 2000-09-27
13. Desai NS et al. Evaluation of drug information in an Internet newsgroup. J Am Pharm Assoc (Wash). 1997 Jul-Aug;NS37(4):391-4.
14. Evaluating Internet Resources for SOSIG. <http://www.sosig.ac.uk/desire/ecrit.html> creato nel 2000 ; ultimo controllo 2000-09-27
15. Evaluating the Quality of Internet Information Sources. <http://itech18.coe.uga.edu/faculty/gwilkinson/webeval.html> ultimo aggiornamento 1997-05-20 ; ultimo controllo 2000-09-27
16. Evaluating the Quality of Internet Information Sources: bibliography. <http://itech18.coe.uga.edu/faculty/gwilkinson/bibliography.html> ultimo aggiornamento 1997-05-19 ; ultimo controllo 2000-09-27
17. Eysenbach, G et al. Towards quality management of medical information on the internet: evaluation, labelling, and filtering of information. BMJ 1998;317:1496-1502 (28 November) <http://www.bmj.com/cgi/content/full/317/7171/1496> ultimo controllo 2000-09-27
18. Forsstrom J. Why certification of medical software would be useful? Int J Med Inf. 1997 Dec;47(3):143-52.
19. Gadd CS - Baskaran P - Lobach DF. Identification of design features to enhance utilization and acceptance of systems for Internet-based decision support at the point of care. Proc AMIA Symp. 1998;:91-5
20. gLIB. Griglia di valutazione per risorse biomediche su Internet. <http://www.pediatria.unito.it/biblio/glib/griglia.html> ultimo aggiornamento 1999-12-29 ; ultimo controllo 2000-09-27
21. Golladay, G et al. Internet Resources for Orthopaedic Surgeons. J Bone Joint Surg Am 1998;80(10):1525-1532.
22. Grassian, E. Thinking Critically about Discipline-Based World Wide Web Resources. <http://www.library.ucla.edu/libraries/college/instruct/web/discp.htm> creato il 1997-10-10 ; ultimo aggiornamento 1998-11-10 ; ultimo controllo 2000-09-2709-10
23. Grassian, E. Thinking Critically about World Wide Web Resources <http://www.library.ucla.edu/libraries/college/instruct/web/critical.htm> creato il 1995-06 ; ultimo aggiornamento 1998-10 ; ultimo controllo 2000-09-27
24. Growth House, Inc. Rating criteria and excellence Awards. <http://www.growthhouse.org/award.html> ultimo controllo 2000-09-27
25. Health On the Net Foundation. HON code of conduct (HONcode) for medical and health web sites. <http://www.hon.ch/HONcode/Conduct.html> creato il 1997-04 ; ultimo aggiornamento 2000-01-25 ; ultimo controllo 2000-09-27
26. Health Summit Working Group. Criteria for Assessing the Quality of Health Information on the Internet - Policy Paper. <http://hitiweb.mitretek.org/docs/policy.html> creato il 1999 ; ultimo aggiornamento 1999-04-05 ; ultimo controllo 2000-09-27
27. Hernandez-Borges A - Macias P - Torres A. Are medical mailing lists reliable sources of professional advice? Med Inform (Lond). 1998 Jul-Sep;23(3):231-6.
28. Hersh W. "A world of knowledge at your fingertips": the promise, reality, and future directions of on-line information retrieval. Acad Med. 1999 Mar;74(3):240-3.
29. Howe, W. Evaluating Quality. <http://www0.delphi.com/navnet/quality.html> ultimo aggiornamento 1998-09-02 ; ultimo controllo 2000-09-27
30. Jacobson, T - Cohen, L. Evaluating Internet Resources. <http://www.albany.edu/library/internet/evaluate.html> creato il 1996-04 ; ultimo controllo 2000-09-27
31. Jadad, AR - Gagliardi, A. Rating Health Information on the Internet: Navigating to Knowledge or to Babel? JAMA 1998;279(8):611-614.
32. Joubert M et al. Quality criteria and access characteristics of Web sites: proposal for the design of a health Internet directory. Proc AMIA Symp. 1999;:824-8.
33. Kim, P et al. Published criteria for evaluating health related web sites: review. BMJ 1999;318:647-649 (6 March). <http://www.bmj.com/cgi/content/full/318/7184/647> ultimo controllo 2000-09-27
34. Kirk, EE. Evaluating Information Found on the Internet. <http://milton.mse.jhu.edu/research/education/net.html> creato nel 1996 ; ultimo aggiornamento 2000-04-01 ; ultimo controllo 2000-09-27
35. Lange K. Internet sites of interest to pediatric nurse practitioners. J Pediatr Health Care. 1997 Jul-Aug;11(4):175-81. Review.
36. Library Instruction Round Table. Website Evaluation Criteria. <http://diogenes.baylor.edu/Library/LIRT/lirtcrit.html> ultimo aggiornamento 2000-04-01 ; ultimo controllo 2000-09-27
37. McLauchlan GJ - Cadogan M - Oliver CW. Assessment of an electronic mailing list for orthopaedic and trauma surgery. J R Coll Surg Edinb. 1999 Feb;44(1):36-9.
38. McNab, A - Anagnostelis, B - Cooke, A. Never mind the quality, check the badge-width! <http://www.ariadne.ac.uk/issue9/quality-ratings/> ultimo aggiornamento 1997-08-04 ; ultimo controllo 2000-09-27
39. Medcertain <http://www.medcertain.org/> ultimo controllo 2000-09-27
40. med-PICS: Platform for Medical Internet Content Selection. Collaboration for Critical Appraisal of Medical Information on the Internet. <http://medpics.org> ultimo aggiornamento 1998-12-01 ; ultimo controllo 2000-09-27
41. Miller, P. Metadata for the masses. <http://www.ariadne.ac.uk/issue5/metadata-masses/> ultimo aggiornamento 1996-09-11 ; ultimo controllo 2000-09-27
42. Oliver, KM - Wilkinson, GL - Bennett, LT. Evaluating the Quality of Internet Information Sources <http://itech18.coe.uga.edu/Faculty/gwilkinson/AACE97.html> ultimo aggiornamento 1997-04-14 ; ultimo controllo 2000-09-27
43. OMNI: Organising Medical Networked Information. OMNI Guidelines for Resource Evaluation. <http://omni.ac.uk/agec/archive-evalguid.html> ultimo aggiornamento 1999-02-27 ; ultimo controllo 2000-09-27
44. Quade G - Far F - Puschel N. Long-term evaluation of the CancerNet WWW service. Medinfo. 1998;9 Pt 1:327-31.
45. Quintana Y. Intelligent medical information filtering. Int J Med Inf. 1998 Aug-Sep;51(2-3):197-204.
46. Rettig, J. Putting the Squeeze on the Information Firehose: The Need for 'Neteditors and 'Netreviewers'. <http://www.swem.wm.edu/firehose.html> creato il 1995-11-08 ; ultimo controllo 2000-09-27
47. Sacchetti P - Zvara P - Plante MK. The Internet and patient education--resources and their reliability: focus on a select urologic topic. Urology. 1999 Jun;53(6):1117-20.
48. Sacile R - Wiley T - Lombardo C. Quality assurance guidelines for a biomedical information web system: the working experience of the BreakIT project. Med Inform Internet Med. 1999 Apr-Jun;24(2):109-20. Review.
49. Shon J - Musen MA. The low availability of metadata elements for evaluating the quality of medical information on the World Wide Web. Proc AMIA Symp. 1999:945-9.
50. Silberg, W et al. Assessing, Controlling and Assuring the Quality of Medical Information on the Internet: Caveant Lector and Viewor - Let the Reader and Viewer Beware. JAMA 1997;277(15):1244-1245
51. Smith, AG. Evaluation of information sources. <http://www.vuw.ac.nz/~agsmith/evaln/evaln.htm> ultimo aggiornamento 2000-03-14 ; ultimo controllo 2000-09-27
52. Smith, AG. Testing the Surf: Criteria for Evaluating Internet Information Resources. The Public-Access Computer Systems Review 1997;8(3). <http://info.lib.uh.edu/pr/v8/n3/smit8n3.html> ultimo controllo 2000-09-27
53. Stoker, D - Cooke A. Evaluation of Networked Information Sources. <http://biome.ac.uk/sage/essen.html> creato nel 1995 ; ultimo controllo 2000-09-27
54. Tillman, H. Evaluating Quality on the Net. <http://www.tiac.net/users/hope/findqual.html> creato nel 1995 ; ultimo aggiornamento 2000-01-05 ; ultimo controllo 2000-09-27
55. Voiglio EJ et al. Prospecting and evaluation of the anatomy sites on the Internet. Surg Radiol Anat. 1999;21(1):65-8.
56. Wilkinson, GL - Bennett, LT - Oliver, KM. Consolidated Listing of Evaluation Criteria and Quality Indicators. <http://itech18.coe.uga.edu/Faculty/gwilkinson/criteria.html> ultimo aggiornamento1997-05-19 ; ultimo controllo 2000-09-27
57. Wilkinson, GL - Oliver, KM - Bennett, LT. Quality Indicators as Ranked by Experienced Internet Users. <http://itech18.coe.uga.edu/Faculty/gwilkinson/rankings.html> ultimo aggiornamento 1997-05-19 ; ultimo controllo 2000-09-27
58. Wyatt, JC. Commentary: measuring quality and impact of the world wide web. BMJ 1997;314:1879 (28 June) <http://www.bmj.com/cgi/content/full/314/7098/1879> ultimo controllo 2000-09-27