«Bibliotime», anno IV, numero 1 (marzo 2001)
La valutazione del reference nell'era digitale
L'intento delle riflessioni contenute nelle pagine che seguono è quello di mettere a fuoco le questioni metodologiche (passate, presenti e - chissà - anche future) relative alla valutazione del servizio di reference, lasciando sullo sfondo le analisi di contesto (impatto della rete sulle biblioteche, sugli utenti e sui bibliotecari) che altri meglio di me hanno analizzato e analizzeranno, a cui si accenna solo a supporto dei discorsi metodologici e tecnici.
Si precisa inoltre che gli strumenti di valutazione del reference digitale analizzati e proposti non sono relativi ad una specifica tipologia di biblioteche, ma hanno la pretesa di poter essere applicati a biblioteche diverse dal punto di vista funzionale, in quanto accomunate, sul piano metodologico, da problematiche per molti versi assimilabili.
La letteratura professionale sulla valutazione dei servizi bibliotecari ha da sempre riconosciuto la centralità del reference tra le attività da valutare.
Secondo Wilfrid Lancaster, tale riconoscimento dipende dal fatto che il reference è tra i servizi bibliotecari più costosi e quindi più alta è l'esigenza di giustificare la spesa che la biblioteca deve sostenere per attivare un servizio efficace [1].
Nello stesso tempo, credo si possa affermare che il reference è uno dei principali indicatori di qualità del servizio bibliotecario, sia perché in esso giungono a compimento le scelte e gli interventi operati dalla biblioteca in momenti diversi del ciclo gestionale, sia perché rappresenta il punto di connessione tra l'organizzazione del servizio e la sua offerta all'utenza, il momento più alto nel quale si realizza la trasformazione degli input in output.
L'articolazione di questo servizio e la sua natura sfaccettata rendono particolarmente complesse l'analisi e la progettazione degli strumenti valutativi. Il concetto di 'servizio di reference' infatti è talmente ampio da poter riassumere in sé quasi tutti gli aspetti dell'attività informativa e formativa della biblioteca.
La classificazione biblioteconomica tradizionale distingue tra il servizio diretto e quello indiretto. Per 'servizio diretto' si intende l'assistenza personale fornita dallo staff della biblioteca agli utenti per ottenere l'informazione cercata e si esplica prevalentemente rispondendo a domande - molte delle quali di natura fattuale - per telefono, di persona o via posta (elettronica o tradizionale). Fanno parte del servizio di reference diretto anche le ricerche bibliografiche più complesse e l'attività di istruzione e di assistenza all'utenza nell'utilizzo delle risorse della biblioteca.
Il 'servizio indiretto' comprende invece la preparazione di strumenti (come bibliografie e cataloghi) per migliorare l'accesso alle collezioni, la selezione e l'ordine dei materiali, la costruzione di virtual reference desk, la formazione e la supervisione del personale e la gestione del document delivery e del prestito interbibliotecario. In alcune biblioteche specializzate, il personale che si occupa delle attività di reference deve anche preparare abstract e tradurre documenti. In pratica, il servizio indiretto si esplica in assenza del contatto personale con l'utente; alcune di queste attività si possono considerare preparatorie del reference diretto, altre sono compiute in sé, in quanto nascono dalla conoscenza acquisita dell'utenza da servire e progettano transazioni solo virtualmente dirette.
Mi pare di poter affermare che il passaggio dalla biblioteca tradizionale a quella digitale non toglie validità a questa classificazione; se mai, non si avrà difficoltà a constatare la rilevanza crescente che nella biblioteca digitale stanno assumendo alcuni aspetti del servizio indiretto. Più esattamente, si assiste al progressivo transitare di attività di reference prima svolte attraverso il contatto personale con l'utente all'interno di forme - più o meno nuove - di reference indiretto.
Questa constatazione porta con sé ulteriori considerazioni: come si è detto, il servizio di reference indiretto è reso possibile dal fatto che esso prepara al contatto con l'utente oppure, in caso contrario, è il risultato di un'approfondita conoscenza degli utenti da servire. Questo sembrerebbe valido solo in una biblioteca tradizionale, anzi più frequentemente in una biblioteca tradizionale specializzata.
Difatti, l'avvento delle nuove tecnologie e delle nuove risorse informative esalta il servizio svolto in assenza dell'utente, ma non garantisce né il successivo contatto (l'utente potrebbe usufruire del servizio informativo della biblioteca dal PC di casa senza mai metterci piede) né la conoscenza del pubblico di riferimento (la biblioteca mette a disposizione strumenti informativi on line potenzialmente utilizzabili da chiunque, quindi rivolti ad un pubblico di fatto inconoscibile).
Di tutto questo bisognerà accuratamente tener conto in fase valutativa e su questo ci si soffermerà più distesamente nella seconda parte dell'intervento.
Sul piano dei metodi di valutazione, si può dire che il servizio di reference è un appropriatissimo campo di applicazione di diversi approcci valutativi [2]; difatti la compresenza di elementi quantitativi e qualitativi, l'incidenza del fattore umano, l'importanza degli aspetti d'insieme e di quelli puntuali del servizio suggeriscono e stimolano l'applicazione di metodologie diversificate, utilizzabili sia contemporaneamente che in contesti e rispetto ad obiettivi distinti.
Innanzitutto, il reference prevede un approccio sia macrovalutativo che microvalutativo. Un approccio macrovalutativo ha lo scopo di verificare se e quanto funziona il servizio, attraverso alcuni dati complessivi tra cui il numero totale delle domande ricevute in uno specifico periodo, la percentuale delle domande che hanno trovato risposta e i tempi delle transazioni.
La microvalutazione del servizio invece è finalizzata a sapere come esso funziona e perché i suoi livelli di performance sono di un certo tipo; in pratica si tratta di capire perché alcune richieste vengono gestite e altre no, perché sono state individuate le risposte ad alcune domande e ad altre no e perché i tempi di risposta in alcuni casi sono più brevi o più lunghi che in altri [3].
Un'altra distinzione metodologica particolarmente appropriata al servizio di reference è quella tra valutazione quantitativa e qualitativa; infatti, ancor più che per altri servizi, in questo caso non è importante sapere soltanto quante richieste sono state gestite e quanto tempo mediamente si è impiegato a rispondere, bensì anche il livello qualitativo, l'aggiornamento, la precisione, l'accuratezza e il grado di esaustività delle risposte fornite.
Infine, l'altissima interazione - diretta o indiretta - con l'utenza che il servizio richiede rende essenziale affiancare alle valutazioni oggettive quelle soggettive, fondate sull'approfondimento dei livelli di soddisfazione degli utenti.
Tutti questi approcci valutativi normalmente applicati al reference tradizionale mantengono intatta la loro validità anche se ci si muove nel contesto di una biblioteca digitale. È evidente però che l'utilizzazione di ciascuno di questi strumenti metodologici in un contesto di servizio diverso da quelli per i quali sono nati e sono stati sperimentati necessita di un atteggiamento critico e di una riflessione ad hoc [4].
Tradizionalmente, nel valutare il servizio diretto, gli interrogativi che un valutatore si pone o dovrebbe porsi sono i seguenti:
La risposta alla prima domanda si ottiene in genere progettando rilevazioni campionarie del servizio e utilizzando dei moduli che consentano di monitorare il flusso delle transazioni informative nell'arco delle settimane-campione prescelte. Accurate descrizioni degli strumenti e delle modalità di raccolta di questi dati sono contenute sia nel manualetto IFLA per le biblioteche universitarie e di ricerca Measuring quality [5] sia nelle Linee guida per la valutazione delle biblioteche pubbliche italiane dell'AIB [6]. Queste ultime suggeriscono l'individuazione di tre settimane-campione nel corso dell'anno, scelte in quanto rappresentative di tre diversi livelli del flusso utenziale (alto, medio, basso) e l'adozione, per ciascuna settimana, di un modulo suddiviso in quattro parti, corrispondenti a tipologie diverse di domande e di risposte: si distingue, innanzitutto, fra transazioni informative e direzionali (le prime sono le richieste di informazioni bibliografiche vere e proprie, le seconde riguardano invece l'organizzazione della struttura e dei servizi).
Le transazioni informative sono a loro volta articolate in completate, riorientate e non completate. Una transazione informativa si dice completata quando il bibliotecario giudica che l'utente abbia ricevuto l'informazione richiesta; si dice riorientata quando la risposta alla richiesta viene differita nel tempo o nello spazio (ad esempio, quando il bibliotecario fornisce notizie esatte e fondate su dove l'utente può trovare l'informazione cercata); non completata quando per motivi vari l'utente non riceve l'informazione richiesta. Questa modalità di raccolta dei dati prevede, quindi, uno sforzo di autovalutazione, volto a introdurre un elemento qualitativo nella valutazione del servizio. Ma di questo si parlerà più avanti.
Sul piano della quantificazione complessiva delle transazioni, l'utilizzazione del web della biblioteca come tramite del servizio informativo ha introdotto numerose novità, in particolare in conseguenza della possibilità di avere a disposizione statistiche sugli accessi prodotte automaticamente, mediante i transaction log.
Transaction log analysis is the automatic logging and subsequent analysis of the interaction which occurs when a user undertakes a search on the system [7].
I programmi per l'analisi dei log file hanno lo scopo di raccogliere dati quantitativi sul traffico registrato sul sito, informazioni demografiche sugli utenti e sul comportamento nell'utilizzazione delle pagine. Tali programmi sono piuttosto efficaci nel raccogliere dati sugli accessi, sul numero delle connessioni al sito (numero di download di una pagina html), sul numero dei computer connessi contemporaneamente, sulle informazioni visualizzate, e sono in grado di stabilire da quali postazioni e quando sono state effettuate le connessioni (grazie agli indirizzi IP e ai browser utilizzati dagli utenti), etc.; sono invece molto meno efficaci nel dare informazioni sul comportamento e le modalità di utilizzazione delle informazioni presenti sui siti da parte degli utenti [8].
Le statistiche prodotte automaticamente dal sistema di rete sono la strada suggerita dalle Linee guida dell'IFLA per la quantificazione degli usi remoti e la costruzione dei due indicatori relativi, ossia "gli accessi remoti pro capite" e "la soddisfazione dell'utente per i servizi ad accesso remoto" (il n. 15 e il n. 17 della lista di diciassette indicatori previsti).
Si deve però tener presente che le statistiche generate in automatico non sempre sono affidabili: sebbene possa sembrare che in una biblioteca digitale raccogliere statistiche sia semplice perché può essere fatto automaticamente, vi sono molti problemi con questi tipi di dati; ad esempio, anche se si può sapere cosa è stato recuperato, non sempre è possibile stabilire cosa è stato soltanto visto, oppure salvato, o ancora stampato, questo perché il World Wide Web è basato su un protocollo (http: hyper text transfer protocol) che non mantiene aperta la sessione di lavoro. Allo stesso modo, le pagine salvate nella memoria locale o in un proxy sono contate soltanto una volta e sono proprio le pagine più visitate ad essere più facilmente scaricate nella memoria locale. Inoltre, non bisogna dimenticare che i pacchetti software esistenti sono nati per rispondere ai bisogni della comunità commerciale per fini pubblicitari non agli scopi della comunità bibliotecaria. Nonostante questo le statistiche di rete sono una misura molto popolare e dalla quale non si può prescindere, ma non dovrebbero essere utilizzate acriticamente e isolatamente ma solo in combinazione con altre indagini, questionari e interviste [9].
Se già non è un'operazione semplice quella di quantificare le transazioni informative, ancora più complesso è esprimere una misura della completezza e all'accuratezza delle risposte fornite dai bibliotecari [10]. A questo scopo sono stati sperimentati diversi metodi di valutazione: l'autovalutazione, le simulazioni, gli unobtrusive test ecc.
Dell'autovalutazione si è già parzialmente parlato nel descrivere la metodologia di raccolta dei dati sulle transazioni informative proposta dal Gruppo "Gestione e valutazione" dell'AIB. L'autovalutazione del servizio consiste nel chiedere direttamente al bibliotecario di fare un resoconto della propria attività informativa, indicando di volta in volta l'esito della transazione, ossia se pensa o meno di aver risposto correttamente all'interrogativo postogli dall'utente. È facile però verificare che tale metodo è viziato da numerosi limiti; infatti, se da un lato esso è sicuramente il modo più semplice e rapido per ottenere dei dati e garantisce una buona attendibilità sulle transazioni che non hanno ottenuto alcuna risposta, dall'altro produce risultati molto più incerti riguardo agli interrogativi a cui si è risposto in maniera solo parziale o imprecisa.
Per ovviare a questo inconveniente si ricorre spesso ad un valutatore esterno, meno coinvolto nelle attività e negli obiettivi della struttura. A seconda che la valutazione avvenga in condizioni di consapevolezza o meno dei bibliotecari si parla di simulazione o osservazione discreta (unobtrusive test). In entrambi i casi, i valutatori selezionano un insieme di domande a cui un bibliotecario di una specifica biblioteca o di un gruppo di biblioteche dovrebbe essere in grado di rispondere correttamente. Tali domande vengono scelte da una lista di richieste reali ricevute in passato dalla biblioteca in questione o da una biblioteca simile a quella studiata o vengono create da esperti che conoscono il tipo di domande che vengono poste in biblioteche di quelle dimensioni e di quella tipologia. Le domande prescelte sono caratterizzate da diversi livelli di difficoltà; si passa dalle domande fattuali a cui è possibile rispondere rapidamente utilizzando opere di consultazione classiche a ricerche bibliografiche che richiedono un impegno specifico e a volte prolungato del bibliotecario per garantire risposte esaurienti. Alcuni studi hanno dimostrato che l'osservazione discreta fornisce un quadro più accurato dei livelli di performance del servizio di reference ed è uno strumento sufficientemente flessibile per qualunque tipo di contesto e di rilevazione. D'altra parte, si tratta di una metodologia piuttosto costosa, dal momento che il suo successo dipende dal fatto di utilizzare valutatori-utenti ben formati e capaci.
È evidente che un conto è riflettere sui livelli di completezza e di accuratezza delle risposte fornite agli utenti, un altro conto è interrogarsi sui loro livelli di soddisfazione [11]. La letteratura di ambito aziendalistico ci ha insegnato che la soddisfazione dell'utenza nasce dallo scarto tra la qualità attesa e quella percepita. La qualità prevista (o attesa) corrisponde ai desideri e ai bisogni espliciti e impliciti degli utenti ed è quindi determinata da parametri qualitativi del tutto soggettivi di ciascun utente, in quanto determinati da fattori personali, sociologici e culturali. La qualità percepita è quella che l'utente percepisce nel momento in cui riceve il servizio, la sensazione e la valutazione che egli dà del servizio sperimentato, che cosa ritiene di aver ricevuto.
I questionari sulla soddisfazione dell'utenza [12] e le sperimentazioni metodologiche come il SERVQUAL [13] sono gli strumenti da utilizzare per rispondere agli interrogativi sui livelli di soddisfazione dei fruitori del servizio di reference.
Una volta raccolti i dati sulle dimensioni quantitative del servizio, sui livelli di completezza e di accuratezza delle risposte e sulla soddisfazione degli utenti, è necessario passare dal livello macrovalutativo a quello microvalutativo, ossia è necessario chiedersi il perché dei livelli di performance del servizio registrati.
Per far questo bisognerà prendere in considerazione tutti possibili fattori in grado di condizionarne il rendimento, tra cui è possibile enucleare almeno i seguenti:
Indubbiamente il primo fattore è quello che esercita l'influenza più forte nel determinare se ad una domanda si risponderà in maniera corretta e completa, anche se saremmo portati ad attribuire una maggiore rilevanza al secondo parametro, ossia l'ampiezza delle raccolte; in realtà, diversi studi hanno dimostrato che l'ampiezza delle risorse informative disponibili potrà condizionare l'esito della transazione solo fino ad un certo punto:
The size of the reference collection "apparently reached a point of diminishing returns beyond which less was gained by continuing to expand the collections" [14].
Il tipo di richieste poste al servizio possono condizionare l'esito della transazione sia per il modo in cui la domanda viene posta sia per l'entità complessiva dell'attività richiesta.
Il fatto che la domanda sia registrata da qualche parte, che la richiesta sia conforme alle caratteristiche e agli obiettivi della biblioteca, che l'oggetto della richiesta sia 'stabile' o sia cambiato recentemente sono ulteriori fattori che incidono sulla qualità complessiva nell'erogazione del servizio. In ogni caso, tutti gli aspetti di microvalutazione sono ancora lontani da una completa definizione metodologica e necessitano di studi e approfondimenti ulteriori prima di poter offrire garanzie di attendibilità dei risultati.
Ciò considerato, mi sembra di poter dire che anche in ambiente digitale gli strumenti di valutazione del servizio diretto restano quelli già sperimentati nella biblioteca tradizionale, dal momento che il vero fattore innovativo risulta rappresentato dall'ampliamento degli strumenti informativi e dal cambiamento dei supporti di molti strumenti di consultazione. Se mai, bisognerà tenere nel dovuto conto il cambiamento psicologico che l'avvento della tecnologia e dei supporti elettronici nelle sale di consultazione può produrre sia nell'utente che nel bibliotecario. La riflessione seguente, anche se riferita all'utilizzo dei database sui CD-ROM da parte degli utenti, può essere parimenti estesa all'utilizzo delle altre risorse informative di tipo elettronico e digitale:
Mettere dei database elettronici nelle mani di un largo numero di utenti è uno sviluppo importante, ma ha i suoi pericoli. Come confermano Charles e Clark (1990): "Nel nostro entusiasmo di abbracciare la tecnologia dei CD-ROM, noi bibliotecari abbiamo dimenticato di rendere consapevoli i nostri utenti dei suoi lati oscuri." Essi si riferivano in particolare al fatto che i database su CD-ROM potrebbero non essere sempre perfettamente aggiornati, ma un pericolo più grande risiede nel fatto che essi danno ad alcuni utenti un falso senso di sicurezza - la sensazione che, poiché la fonte è tecnologica, possono trovare tutto o, almeno, trovare le risorse migliori. A volte ciò porta al fatto che alcuni utenti pensano di poter fare meglio degli esperti nella ricerca di informazioni. [...]. I pericoli sono stati messi in evidenza da Kirby e Miller (1986): "È ben noto che I sistemi di ricerca on-line amichevoli sono accolti entusiasticamente. Gli utenti finali sono molto soddisfatti perché possono sperimentare la possibilità di trovare fonti informative rilevanti con tecniche semplici, con poco dispendio di tempo, dalla loro comoda postazione nel proprio ufficio Il pericolo maggiore viene tuttavia dal fatto di accettare acriticamente le risposte del computer. Può capitare, quando una ricerca semplice ha restituito solo pochi risultati, di sentire gli utenti commentare così questa situazione: " Bene, è tutto quello che c'è nel computer!". Gli utenti finali talvolta non si rendono conto del fatto che il computer trova solo ciò che essi hanno specificato, non necessariamente quello che vogliono [15].
Per questi motivi, in era digitale il servizio di reference si avvicina sempre di più all'attività di istruzione agli utenti; così dal nostro specifico punto di vista - quello della valutazione - i bibliotecari dovranno acquisire strumenti valutativi nuovi e complementari a quelli tradizionali che consentano di verificare i risultati raggiunti in questa attività di istruzione bibliografica. Il fatto è che i problemi valutativi posti da questo tipo di attività sono molto diversi da quelli discussi fino a questo momento. Infatti, la valutazione di un programma di istruzione bibliografica si avvicina moltissimo alla valutazione di un programma educativo, cosicché il piano di riflessione facilmente si sposta nel campo più generale della valutazione dell'istruzione e della didattica, terreno fino a questo momento poco battuto dalla letteratura biblioteconomica sulla valutazione dei servizi. Un'ulteriore complicazione scaturisce dal fatto che l'istruzione all'uso delle risorse bibliografiche per gli utenti può essere formale (ad esempio, uno o più seminari sull'utilizzo delle risorse della biblioteca inseriti nel corso di studi degli studenti universitari) oppure informale (l'attività continua di istruzione da parte dei bibliotecari agli utenti su come cercare informazioni piuttosto che trovarle al posto loro). Ma qui si può soltanto porre una questione che è troppo ampia per poter essere affrontata in questa sede e che ci porterebbe troppo lontano.
Mi preme invece spostare lo sguardo dalla valutazione del servizio diretto a quello indiretto, visto che, come si è detto in apertura, il vero fenomeno rivoluzionario che sta investendo il servizio in era digitale è la sua progressiva espansione al di fuori dei confini fisici della biblioteca e la sua capacità di raggiungere utenti remoti e a volte sconosciuti. Questa situazione introduce diversi elementi che complicano il processo di interazione informativa, sollevando di conseguenza problemi del tutto nuovi sul piano valutativo.
Lancaster nel 1993 [16] così schematizzava il modello di organizzazione e recupero dell'informazione che allora si andava delineando:
Tale schematizzazione, pur essendo per certi versi un po' datata, conserva intatta la sua validità nella misura in cui mette in evidenza il complesso insieme di relazioni che si instaurano tra i diversi attori del processo di ricerca e selezione delle informazioni. Può essere perciò interessante rileggerla - e magari reinterpretarla - con gli occhi di noi bibliotecari di oggi. Il tentativo di rilettura della schematizzazione di Lancaster farà immediatamente balzare all'occhio il pezzo mancante del puzzle, le cui dimensioni stanno assumendo oggi proporzioni tali da rendere alfine incomprensibile il quadro d'insieme: il fenomeno Internet.
Ma andiamo per ordine. Le figure individuate da Lancaster sono le seguenti:
La crescente amichevolezza dei database, l'esplosione dei motori di ricerca, la diffusione delle connessioni casalinghe, la crescente familiarità con il linguaggio della rete hanno creato progressivamente una presunzione di autosufficienza ("disintermediazione") che è attualmente la minaccia più pericolosa sul piano della qualità nella ricerca di informazioni.
Per questo motivo credo che la rappresentazione grafica prima proposta vada completata con un ultimo attore che era solo sottinteso e citato da Lancaster, ma che oggi diventa il punto di confluenza e di convergenza di tutti i percorsi di organizzazione, mediazione e recupero dell'informazione e che è appunto Internet.
Questa consapevolezza aiuta a comprendere la diversità dello scenario all'interno del quale ci si muove, ma non facilita certo il compito sul piano della valutazione del servizio informativo che può essere svolto dalla biblioteca, anche perché le forme e le formule che nel tempo il servizio informativo indiretto ha assunto sono molteplici e progressivamente in crescita. Un rapido browsing nelle fonti bibliografiche sul servizio di reference degli ultimi 2-3 anni mette in evidenza una presenza crescente di riflessioni e contributi su nuovi strumenti di organizzazione del servizio come le electronic distribution lists e i newsgroups, le videoconferenze, i virtual reference desks, i bookmark ragionati, Intranet, il desktop publishing, i motori di ricerca, la disseminazione selettiva delle informazioni (SDI), le electronic instructions [17].
Mi sembra interessante osservare che molti degli strumenti sperimentati dalle biblioteche per esplicare il servizio anche in remoto tendono ad un recupero della conoscenza approfondita e quasi ad personam dell'utente, seppure attraverso un contatto solo virtuale; credo che mai come oggi la biblioteca debba riappropriarsi della propria missione, cioè debba impegnarsi nella ridefinizione dell'utenza potenziale e nella selezione della fetta di mercato da servire (definizione del target e sua segmentazione). Il web ci costringe a metterci in cooperazione e l'idea chiave della cooperazione è la ripartizione dei compiti; in questo senso, dobbiamo avere assolutamente chiaro per chi stiamo predisponendo determinati strumenti. Il fatto che a quegli strumenti potrà accedere chiunque si connetta alla rete non solo non ci esime ma anzi ci suggerisce ancora più fortemente di predisporre tali strumenti per categorie di utenti con esigenze specifiche sul piano dei contenuti:
Una questione chiave nello sviluppo della biblioteca digitale è infatti quella di riuscire a conservare la diversità, che risponde a precisi bisogni individuali, e allo stesso tempo consentire la condivisione dell'informazione a livello universiale tra discipline e istituzioni. [...] Il problema della biblioteca digitale è quindi quello di conciliare la diversità dell'utente e l'universalità delle risorse digitali. Questo paradosso (universale vs. personale), da un punto di vista teorico, è legato a una diversa visione dell'utente della biblioteca digitale e a un diverso modello di documento digitale [18].
Nel valutare i servizi in remoto, il concetto di utenza potenziale, trasformato nei suoi contenuti (ha più senso parlare soltanto di popolazione residente nell'area territoriale della biblioteca per la biblioteca pubblica o degli studenti della propria facoltà per una biblioteca di facoltà?), mantiene intatta la sua valenza. In questo senso, è molto stimolante, dal punto di vista teorico, la distinzione proposta dallo standard ISO 11620 Library performance indicators tra due dati diversi riguardo alla popolazione di riferimento, denominati rispettivamente population to be served e target population [19], le cui definizioni sono le seguenti:
Population to be served: number of individuals for whom the library is set up to provide its services and materials. For public libraries this will normally be represented by the population of the legal service area; for academic libraries this will normally be the total of academic and professional staff plus students.
Target population: groups of actual and potential users appropriate to an individual library as object of a specific service or as the primary users of specific materials. The target population may be the population to be served.
La possibilità di distinguere tra un'utenza potenziale istituzionale nel suo complesso e segmenti d'utenza reale e potenziale in riferimento a singoli servizi o specifici materiali consente una lettura nuova alla luce dei cambiamenti di scenario prima illustrati e diventa utilizzabile sul piano teorico per ridefinire e apportare degli aggiustamenti al concetto - a volte generico - di utenza istituzionale. Sul piano pratico della quantificazione i problemi permangono.
La rete dunque non fa altro che riproporre un vecchio interrogativo più volte emerso in passato nelle riflessioni biblioteconomiche ma mai risolto, cioè quello della definizione dell'utenza potenziale delle biblioteche speciali e specializzate, interrogativo al quale non possono sfuggire ormai neppure le altre tipologie di biblioteche.
Quando, nel 1994, alla fine della prima parte del progetto americano Digital library iniziative, si è costituito un Gruppo di lavoro per la ricerca sull'utente, questo definì i problemi comuni riscontrati nei primi sei progetti sviluppati nelle istituzioni partecipanti. Tali problemi erano i seguenti:
la difficoltà di analisi dei bisogni dell'utente remoto, la difficoltà di considerare una popolazione di utenti numerosa ed eterogenea, la difficoltà di analizzare e dare un senso alla varietà di dati quantitativi e qualitativi raccolti [...] [20].
Costruire un servizio di reference remoto per gradi, per tappe successive, può aiutare a non procedere in maniera casuale nella definizione di un servizio mirato: partire dalla costruzione di appropriati servizi di reference per i propri utenti reali, sperimentare servizi di reference a distanza per i propri utenti reali e poi estenderli a utenti remoti, testare insomma un insieme allargato di utenti potenziali, ma conoscibili per la biblioteca consente di passare in una seconda fase alla costruzione di strumenti informativi, come i virtual reference desk e i bookmark ragionati, che a questo punto non saranno più la risposta ad una esigenza generica ma il risultato di una conoscenza specifica e di esigenze verificate che potranno poi essere condivise anche da utenti che hanno le medesime esigenze ma che non conosciamo.
Le biblioteche non possono sottrarsi ad un cambiamento per certi versi paragonabile - utilizzando un paradosso storiografico - a quello avvenuto in passato nella produzione di beni, cioè il passaggio dai laboratori artigianali caratterizzati da una produzione realizzata su richiesta e su misura per l'utente all'industria e alla produzione in serie. Si tratta cioè di individuare delle categorie di utenti che esprimono potenzialmente gli stessi bisogni e mettere loro a disposizione prodotti con caratteristiche predefinite. In un secondo momento, ricerche di mercato e indagini ad hoc potranno servire a decidere l'attivazione di servizi aggiuntivi rivolti a soddisfare esigenze particolari (nella letteratura angloamericana, users with special needs in senso lato); infine, le biblioteche dovranno essere in grado non solo di assorbire input dal proprio mercato, ma di produrre output, costruendo l'offerta e contribuendo a creare valore.
In questo senso penso che vadano recuperati gli strumenti valutativi che si incentrano sull'utenza potenziale, magari rispolverando e approfondendo la distinzione tra population to be served e target population; la vera difficoltà resta quella di quantificare tali parametri, in particolare il secondo.
La conferma arriva dagli indicatori proposti fino a questo momento a livello internazionale per la valutazione dei servizi della biblioteca digitale, per esempio quelli suggeriti dal progetto EQUINOX [21] finanziato dalla Commissione Europea nell'ambito del Programma Telematics for libraries, oppure quelli presenti nel rapporto finale del progetto europeo MIEL2 (Management Information Systems and Performance Measurement for the Electronic Library: eLib Supporting Study) [22], che fa parte del programma MIEL (Management Information for the Electronic Library), o ancora quelli indicati dal progetto Developing National Library Network Statistics & Performance Measures [23], condotto da John Carlo Bertot e Charles McClure e finanziato dal Department of Education degli Stati Uniti. Molti di questi indicatori infatti continuano ad essere costruiti con formule incentrate sulla popolazione di riferimento (es. numero di connessioni pro capite), oscillando di volta in volta tra l'uso del dato della population to be served o della target population, ma non risolvono in alcun modo gli interrogativi relativi alla quantificazione di questi dati fin qui posti.
Per quanto riguarda il reference in particolare, non sfugge la presenza di pochi dati e indicatori sul servizio (a testimonianza non certo di scarsa considerazione della sua importanza, quanto della difficoltà ad individuare espedienti metodologici adeguati) e l'adozione di indici tradizionalmente parametrati sulla popolazione residente per le biblioteche pubbliche e sugli studenti per le universitarie o, in alternativa, sugli utenti attivi. Non potendo quantificare l'utenza potenziale secondo modalità altrettanto univoche e convincenti, fino a questo momento si è preferito ripiegare su parametri più tradizionali, ma certamente più condivisi.
Un'altra - e forse ancor più preoccupante - difficoltà consiste nel fatto che mai come oggi la valutazione del servizio di reference attinge a metodologie prima utilizzate per altri settori della vita della biblioteca, o peggio per settori di attività del tutto esterni al mondo bibliotecario.
In uno scenario come quello fin qui delineato non si può prescindere da strumenti di analisi sociologica, da affiancare ai tradizionali metodi statistico-quantitativi. Ancora una volta la sfida per mantenersi al passo con i tempi e per riaffermare il ruolo di specialisti dell'informazione richiede ai bibliotecari di appropriarsi - anche sul piano valutativo - di strumenti del tutto nuovi per la professione, per potersi affiancare - a livello di comprensione e di iniziativa - ai professionisti di queste discipline.
Il dibattito e la riflessione sugli strumenti metodologici più adatti alle biblioteche sono tutti da costruire, in quanto presuppongono lo scambio di esperienze e di competenze tra bibliotecari e altre professionalità. Quella del valutatore, per le competenze e il tempo che tale attività e richiederà in misura crescente, si va sempre più definendo come una vera e propria specializzazione per i bibliotecari, da affiancare a figure come quelle del catalogatore o dell'esperto di reference a cui siamo tradizionalmente più abituati
Anna Galluzzi, Biblioteca centrale Facoltà di Ingegneria - Università degli studi di Bologna, e-mail: galluzzi@cib.unibo.it
Note
[1] "Financial justification is crucial for reference services. Although reference departments are key components of every library, they are costly to maintain because of their largely professional staffs and the expensive sources needed to answer many questions." (Sharon L. Baker, Wilfrid F. Lancaster, The measurement and evaluation of library services. Arlington, Information Resources Press, 1977, p. 229).
[2] Per approfondimenti e ulteriori spunti di riflessione sull'argomento nella letteratura angloamericana si vedano: American Library Association, Reference and Adult Service Division, Evaluation of Reference and Adult Services Committee management and Operation of Public Services Section, The reference assessment manual. Ann Arbor, Michigan, Pierian Press, 1995; Assessment and accountability in reference work, edited by Susan G. Blandy, Lynne M. Martin and Mary L. Strife. New York, Haworth Press, 1992; Charles A. Bunge, Approaches to the evaluation of library reference service, in Evaluation and scientific management of libraries and information centres, edited by F. W. Lancaster and C. W. Cleverdon. Leyden, Noordhoff, 1977, p. 41-71; Gwenda Dalton, Performance measurement matters when evaluating the effectiveness of reference services, "Mousaion", 6 (1988) 2, p. 28-46; Carlin Donald, Michael Pemberton, The measurement of public library reference effectiveness: a state library approach, "Public Library Quarterly, 1 (1979), n. 2, p. 105-116;
Patricia Hults, Reference evaluation: an overview, "Reference Librarian", 38 (1992) p. 141-150; Andrew Martin, Setting standards for enquiry desk operations: a case study, in University of Northumbria at Newcastle, Department of Information and Library management, Proceedings of the 2nd Northumbria International Conference on performance measurement in libraries and information services, held at Longhirst Management and Training Centre, Longhirst Hall, Northumberland, England, 7 to 11 September 1997. Newcastle upon Tyne, Information North for the Department of Information and Library Management, University of Northumbria at Newcastle, 1998, p. 165-171, Linda M. Olson, Reference service evaluation in medium-sized academic libraries: a model, "Journal of Academic Librarianship, 9 (1984) 6, p. 322-329; June D. Parker, Evaluating documents reference service and the implications for improvements, "Journal of Government Information, 23 (1996) 1, p. 49-70; Barbara Paton, Eva Fisch, Rosemary Cotter, David Cunnington, Performance indicators for reference and information services: a study of academic libraries in Victoria, Australia, in University of Northumbria at Newcastle, Department of Information and Library management, Proceedings of the 2nd Northumbria International Conference on performance measurement in libraries and information services, cit., p. 201-206; B. Quinn, Beyond efficacy: the exemplar librarian as a new approach to reference evaluation, "Illimois Libraries", 76 (1994) 3, p. 163-173; Matthew L. Saxton, Reference service evaluation and meta analysis. Findings and methodological issues, "Library quartely", 67 (1997), n. 3, p. 267-289; James C. Stalker, Marjorie E. Murfin, Quality reference service: a preliminary case study, "Journal of Academic Librarianship, 22 (1996) 6, p. 423-429; J. B. Whitlatch, Reference services: research methodologies for assessment and accountability, "Reference Librarian, 38 (1992), p. 9-19.
[3] Cfr. Sharon L. Baker, Wilfrid F. Lancaster, cit., p. 232-233.
[4] Per approfondimenti e ulteriori spunti di riflessione si veda Bernie Sloan, Remote reference service, consultabile su: <http://www.lis.uiuc.edu/~b-sloan/e-ref.html> (ultima consultazione: 23/1/01); in particolare, il paragrafo intitolato Assessment of the remote reference service model.
[5] IFLA Section of University Libraries & other General Research Libraries, Measuring Quality. International Guidelines for Performance Measurement in Academic Libraries, edited by Roswitha Poll and Peter te Boekhorst, in collaboration with Ramon Abad Hiraldo, Aase Lindahl, Rolf Schuursma, Gwenda Thomas and John Willemse. Munchen, New Providence, Paris, K.J. Saur, 1996. Traduzione italiana: International Federation of Library Associations and Institutions, Associazione Italiana Biblioteche, Linee guida per la valutazione delle biblioteche universitarie: edizione italiana di Measuring quality, a cura della Commissione Nazionale Università e Ricerca. Roma, Associazione Italiana Biblioteche, 1999.
[6] Associazione Italiana Biblioteche, Gruppo Gestione e valutazione, Linee guida per la valutazione delle biblioteche pubbliche italiane. Dati, indicatori, valori di riferimento. Roma, Associazione Italiana Biblioteche, 2000.
[7] Margareth E. Graham, Richard J. Hartley, Evaluating your Online Public Access Catalogue, in University of Northumbria at Newcastle, Department of Information and Library management, Proceedings of the 2nd Northumbria International Conference on performance measurement in libraries and information services held at Longhirst Management and Training Centre, Longhirst Hall, Northumberland, Englan, 7 to 11 september 1997, cit., p. 424.
[8] Amos Lakos, Identifying and Assessing Library Clients in a Networked Environment: Issues and Possibilities, in University of Northumbria at Newcastle, Department of Information and Library management, Proceedings of the 2nd Northumbria International Conference on performance measurement in libraries and information services, cit., p. 291.
[9] Cfr. Jenny Kena, Performance Indicators for the Electronic Library, June 1998, consultabile su: <http://www.ozemail.com.au/~jkena/perf.html> (ultima consultazione: 23/1/01).
[10] Per approfondimenti e ulteriori spunti di riflessione sull'argomento nella letteratura angloamericana si vedano Charles A. Bunge, Evaluating reference services and reference personnel: questions and answers from the literature, "Reference librarian, 43 (1994), p. 195-207; David A. Tyckoson, Wrong questions, wrong answers: behavioural vs. factual evaluation of reference service, "Reference Librarian", 38 (1992), p. 151-173; Mary Tygett, V. Lonnie Lawson, Kathleen Weessies, Using undergraduate marketing students in an unobtrusive reference evaluation, "RQ", 36 (1996) 2, p. 270-276; Nancy A. Van House, Thomas Childers, Unobtrusive evaluation of a reference referral network: the California experience, "Library and Information Science Research, 6 (1984) 3, p. 305-319.
[11] Per approfondimenti e ulteriori spunti di riflessione sull'argomento nella letteratura angloamericana si vedano Gwenda M. E. Dalton, Quantitative approach to user satisfaction in reference service evaluation, "South African Journal of Library and Information Science", 60 (1992) 2, p. 89-103; Patricia Dewdney, C. S. Ross, Flying a light aircraft: reference service evaluation from the user's viewpoint, "RQ", 34 (1994) 2, p. 217-230; Marjorie E. Murfin, Evaluation of reference service by user report of success, "Reference librarian", (1995) 49/50, p. 229-241.
[12] A titolo esemplificativo si vedano le proposte contenute in: IFLA Section of University Libraries & other General Research Libraries, Measuring Quality, cit.; trad. it. Linee guida per la valutazione delle biblioteche universitarie, cit.
[13] Giovanni Di Domenico, Progettare la user satisfaction, "Biblioteche oggi", 14 (1996) 9, p. 52-65.
[14] Ronald R. Powell, Investigation of the relationship between quantifiable reference service variables and reference performance in public libraries, "Library Quarterly, 48 (1978) 1, p. 1-19, cit. in Sharon L. Baker, Wilfrid F. Lancaster, cit., p. 257.
[15] Friedrick Wilfrid Lancaster, If you want to evaluate your library... London, Library Association Publishing, 1993, p. 216-217 (traduzione nostra).
[16] Friedrick Wilfrid Lancaster, If you want to evaluate your library... cit.
[17] Cfr. a titolo esemplificativo Eileen G. Abels, The e-mail reference interview, "RQ", 35 (1996), p. 345-358; Wendi Arant, A new twist to the electronic distribution list: a library outreach tool, "Internet Reference Service Quarterly", 4 (1999) 2, p. 51-56; Kathleen M. Folger, The virtual librarian: using desktop videoconferencing to provide interactive reference assistance, 1997 ACRL Conference paper, consultabile su <http://www.ala.org/acrl/paperhtm/a09.html> (ultima consultazione: 23/1/01); Nettie Lagace, Michael McClennen, Questions and quirks: managing an Internet-based distributed reference service, "Computers in libraries", 18 (1998), n. 2, p. 24-27; Corinne Y. C. Laverty, Library instruction on the web: inventing options and opportunities, "Internet Reference Service Quarterly", 2 (1997) 2/3, p. 55-66; Gerry McKiernan, Beyond bookmarks: a review of frameworks, features, and functionalities of schemes for organizing the web, "Internet Reference Service Quarterly", 3 (1998) 1, p. 69-82; Amanda Moore, As I sit studying: WWW-based reference services, "Internet Reference Service Quarterly", 3 (1998) 1, p. 29-36; Elizabeth Shaw, Real-time reference in a MOO: promise and problems, 1996, consultabile su <http://www-personal.si.umich.edu/~ejshaw/research2.html> (ultima consultazione: 23/1/01).
[18] Alberto Salarelli, Anna Maria Tammaro, La biblioteca digitale. Milano, Editrice Bibliografica, 2000, p. 123, 125.
[19] Si ricorda che il termine target viene utilizzato nella letteratura di ambito aziendalistico per riferirsi al gruppo di persone a cui è rivolta la politica di marketing.
[20] Alberto Salarelli, Anna Maria Tammaro, cit., p. 124.
[21] Cfr. Equinox. Library Performance Measurement and Quality Management System, consultabile su <http://equinox.dcu.ie/> (ultima consultazione: 8/1/2001).
[22] Cfr. Peter Brophy, Peter M. Wynne, Management information systems and performance measurement for the electronic library: eLib supporting study (MIEL 2) , final report. Preston, University of Central Lancashire Centre for Research in Library & Information Management (CERLIM), 1997 (cited May 2000), consultabile su <http://www.ukoln.ac.uk/dlis/models/studies/mis/mis.rtf> (ultima consultazione: 8/1/2001).
[23] Cfr. Developing national library network. Statistics & performance measures, consultabile su <http://www.albany.edu/~imlsstat/projectteam.html> (ultima consultazione: 8/1/2001).
«Bibliotime», anno IV, numero 1 (marzo 2001)
