Carlo,
in realtà ho descritto la procedura di splitting del file unico enorme non perché pensavo a un'analisi a campione ma per una questione tecnica molto semplice: è impossibile aprire un file da 90GB. Bisogna spezzettarlo in file più piccoli. Ma è solo un passaggio. In realtà io pensavo di aprire tutti i file frutto dello splitting, estrarre da ogni file tutti i records che hanno provenienza ICCU (i tag usati li denotano molto bene) e a questo punto iniziare l'analisi: innanzitutto sommare e ottenere il totale dei records di provenienza ICCU presenti oggi nel VIAF. Poi, ma prima devo esaminare meglio con quali modalità, credo sia possibile, bisognerebbe ottenere il numero totale dei records schiacciati e il numero totale di quelli rimasti non schiacciati: da questi bisogna estrapolare gli isolati che sono originali dell'ICCU e che altrimenti nel VIAF non ci sarebbero perché nessun altro authority file li possedeva, e a questo punto si potrebbero ottenere tutti i records ICCU non schiacciati ma in realtà confrontati e compatibili con records VIAF "buoni". Questo darà il totale delle schiacciature mancate ma "ipoteticamente" possibili e quindi la percentuale del non schiacciato. Estendendo la stessa procedura a records di altre agenzie estere, come per es. BNF, si potrebbero confrontare le percentuali di schicciamento, che secondo me è un dato molto interessante perché è quello che fa da "termometro" dell'authority file ICCU e dice quanto è "internazionale", compatibile con le modalità con cui fuori dall'Italia si fanno records di autorità. Naturalmente non sarà una misura "oggettiva" di qualità, ma un indicatore della "scambiabilità" dei records in un contesto sempre più internazionale. Questo è quello che mi proponevo. Se c'è qualcuno che ha voglia di dare una mano per fare queste analisi quantitative file per file, sarà un aiuto prezioso. Si tratta di file XML e quindi bisogna essere muniti un editor di testo di quelli con funzioni evolute (ne esistono di buoni e gratuiti) che consentono l'uso delle espressioni regolari in modo da ottenere conteggi di determinate occorrenze, split dei records, e eventualmente inserimento di tabulazioni per convertire i file XML in un formato elaborabile con Excel, cosa che sarebbe molto utile. Occorre quindi essere un po' pratici di queste cose che sono l'ABC dell'analisi quantitativa dei records.
Questa analisi quantitativa dovrebbe poi trovare un complemento nell'analisi qualitativa: a questo punto naturalmente da fare a campione. Io la userei per questo fine: non per dare il voto all'authority file quanto per spiegare perché lo schiacciamento non è avvenuto. Quali sono i problemi ricorrenti.
Fatto questo, sarebbe bello aggiungere una seconda parte di carattere "teorico": che dovrebbe essere composta perlomeno da: 1) spiegazione su che cosa è il VIAF e perché si annuncia come una cosa molto utile, per es. a livello del riuso dei dati, e qui si inserisce l'esempio di Wikipedia 2) per quali ragioni "storiche" i records di autorità forniti dall'ICCU sono fatti in un certo modo 3) confronti con le regole adottate da altri: qui avere le linee guida francesi sulla creazione dei records di autorità sarebbe molto utile come parametro importante di confronto
Ultima parte: osservazioni che vengono fuori da tutto questo: 1) raccomandazione urgente all'ICCU di inoltrare richiesta a OCLC per la reimportazione dei dati dell'ICCU nel VIAF 2) raccomandazioni sulla necessità di rivedere le regole per la creazione di records di autorità in Italia adeguandosi alla dimensione internazionale e avendo un occhio di riguardo al processamento dei records con algoritmi e al loro riuso in altri contesti (=superare la visione bibliocentrica).
A te Carlo Va bene di occuparti della parte che ho definito sbigrativamente "teorica" e delle raccomandazioni? Io mi occuperei dell'analisi quantitativa e su questo ci confrontiamo. Poi se ci sono anche altri che vogliono dare un contributo per le varie parti hanno solo da farsi avanti.
Io comincerò dopo Pasqua.
Ciao
Pierfranco
Il giorno 28 marzo 2013 12:59, Carlo Bianchini carlo.bianchini@unipv.itha scritto:
Il modo di procedere proposto da Pierfranco mi sembra corretto: la progressiva suddivisione a blocchi garantisce un meccanismo di casualita' nella scelta del campione da analizzare (era una degli aspetti del lavoro che mi preoccupava). Se fosse possibile, senza un onere eccessivo, analizzare un paio di blocchi anziche' uno, confrontare i dati e farne una media sarebbe ancora meglio. Credo che, raccogliendo le mail di Pierfranco e in parte alcune osservazioni delle mie e aggiungendo i dati dell'analisi, per scrivere l'articolo non serva molto. Se Pierfranco e' d'accordo, cerco di preparare una bozza per la settimana dopo quella di Pasqua.
Carlo
Il 28 marzo 2013 10:18, Andrea Zanni zanni.andrea84@gmail.com ha scritto:
L'idea dell'articolo mi pare cosa buona e giusta, anche se non sono sicuro di potervi aiutare. Forse mantenendo qualche rapporto con Max e chiedendo magari a OCLC qualche informazione/dato.
Andrea
2013/3/28 Pierfranco Minsenti pierfranco.minsenti@gmail.com
Carlo, sono totalmente d'accordo con quello che hai scritto: bisogna ottenere che l'importazione dei dati ICCU nel VIAF sia rifatta e non
pare
affatto un lavoro particolarmente oneroso. Basterebbe che l'ICCU
consegnasse
ad OCLC un export appena un poco diverso. E OCLC dovrebbe semplicemente rifare le sue procedure. Ma il problema è serio e l'occasione non va sprecata.
Anch'io credo che altrimenti perdiamo una partita molto importante:
adesso
viene fuori con WP, ma verrà fuori ancora e per molte altre cose e quel peccato originale di disattenzione rischia di costare caro.
Proprio per questo io propongo questa linea: di pubblicare un articolo
con
dati quantitativi che dimostrano le percentuali di non schiacciamento e
che
spieghi con esempi e riferimenti all'algoritmo usato quale è il
problema.
Questo articolo dovrebbe servire a mettere il problema sotto gli occhi
di
tutti e a convincere l'ICCU ad agire presso OCLC chiedendo una reimportazione che però questa volta concordi i criteri e superi per
tutto
ciò che è possibile con metodi automatici i problemi emersi.
Anche se il guaio non è completamente rimediabile per la situazione più grave che riguarda i records dell'ICCU per gli autori stranieri per
questa
ragione: solo in una certa misura hanno le condizioni per poter essere importabili nel VIAF con queste procedure perché sono di qualità estremamente diseguale, spesso mancano di informazioni essenziali e i livelli di autorità non sono sempre coerenti con la qualità effettiva
dei
records come dimostrano questi esempi:
(in SBN la scala dei livelli di autorità per i records dei nomi autori
è:
MIN =51; MED=71; MAX=90; SUP=95; AUF=97)
Proust, Marcel record SUP CFIV007392 dotato di date sia nei campi appositi, sia in nota + codici di lingua e
di
nazionalità
Baudelaire, Charles record SUP CFIV000538 con date nei campi e in nota ma codice di nazione sbagliato (IT invece
di
FR) e privo di codice di lingua
Woolf, Virginia record MAX CFIV016490 priva di date e di codici lingua e paese
Dickens, Charles, record MAX CFIV000404 stessi problemi di Woolf
Nabokov, Vladimir Vladimirovič record MAX CFIV000621 dotato di date sia nei campi appositi, sia in nota + codici di
nazionalità
Ma anche gli autori classici hanno problemi:
Ovidius Naso, Publius, record MAX CFIV002690 ha date in nota in forma discorsiva, non utilizzabili (nel VIAF non
esiste
il record italiano corrispondente)
quindi nel caso degli autori stranieri e degli autori classici è molto
più
dubbio il risultato di una reimportazione nel VIAF e l'ICCU dovrebbe lavorare sull'export usando dei filtri appropriati e sempre con gli spostamenti di date in 200$f.
Gli esempi che ho trovato sono significativi, ma secondo me per fare un articolo scientifico che dimostri l'entità non episodica del guaio
bisogna
fare un'analisi quantitativa seria. Pare che OCLC non metta a
disposizione
report con dati quantitativi sui risultati delle importazioni. Questo problema è superabile scaricando l'intero dataset, come ho fatto: decompresso viene un file enrome di circa 90 GB. L'ho splittato in file
più
piccoli da 200.000 records che però sono ancora troppo grossi. Rifaccio
la
splittatura in file da 100.000 records che dovrebbero essere gestibili
da un
personal computer come il mio e poi intendo estrarne dei dati
quantitativi
che dicano: totale records ICCU importati, totale schiacciati, totale
non
schiacciati e di questi quali sono records unici (forniti solo
dall'ICCU) e
quali invece avrebbero dovuto essere schiacciati perché l'analisi di compatibilità li aveva qualificati come tali, salvo che poi non si è proceduto causa assenza di almeno una di quelle informazioni
supplementari
oltre al nome considerate indispensabili per l'algoritmo di
schiacciamento
(in particolare, come emerge sia dall'articolo su JLis, sia dalla
risposta
di Max Klein: l'associazione a un titolo significativo, e/o le date di nascita e morte). Questo "non" dimostrerà che tutti i records non
schicciati
ma "compatibili" avrebbero anche dovuto essere schiacciati perché solo
un
export fatto diversamente, che muova le date dal tag 300 al tag 200$f
potrà
dimostrarlo: dato che è giusto che venga applicato l'algoritmo VIAF originale basato anche su informazioni supplementari. Tuttavia il n°
totale
dei "compatibili" unito a un'analisi a campione dovrebbe dire quale percentuale di successo maggiore avrebbe una nuova importazione fatta
con
attenzione.
Penso dopo Pasqua di esaminare a fondo il dataset per vedere quante risposte può fornire. Sarebbe anche molto interessante poter mettere a confronto i dati sul totale records forniti dall'ICCU e le relative percentuali di schiacciamento e di non schiacciamento con i dati di
altre
importanti realtà europee come BNF e Germania. Anche qui le percentuali dovrebbero essere indicative. Inoltre servirebbe anche a dimostrare che
gli
altri hanno dato tutti i records di autorità: anche quelli di autori stranieri.
Uno studio così secondo me interesserebbe anche OCLC. Il problema in Italia è quello di farsi ascoltare. Quindi bisogna creare una specie di "azione" di lobby intorno a questo problema.
Pierfranco Minsenti
Il giorno 27 marzo 2013 23:19, Carlo Bianchini <
carlo.bianchini@unipv.it>
ha scritto:
Ho appena finito di rileggere tutto lo scambio: basta distrarsi un momento ...
Da quello che capisco, mi sembra che sarebbe necessaria, indispensabile, una reimportazione dei dati ICCU in VIAF, per motivi che vanno oltre il problema contingente della versione italiana di Wikipedia. Se il lavoro di importazione dell'authority file di SBN (in teoria uno dei lavori piu' qualificati che siamo in grado di realizzare come bibliotecari) nel VIAF, che ormai e' di fatto l'archivio di autorita' piu' importante del mondo, e' stato fatto male, va rifatto.
Spiego i problemi diversi che stanno dietro a questi due casi (giusto perche' Pierfranco ha evidenziato questi e non altri; chissa' quanti ce n'e'). Karol Wojtyla era una 'persona qualsiasi' fino a un certo punto della sua vita; e percio' e' nota con il suo nome, K.W. Poi e' stato eletto Papa, ha smesso di esistere come K.W ed e' diventato Giovanni Paolo II, in qualche maniera un'altra persona (come sono due persone diverse il Presidente della Repubblica e il cittadino Giorgio Napolitano, quando scrivono un documento pubblico o privato ...). Da questo punto di vista (catalografico) le opere del prima e del dopo devono essere distinte, in genere perche' ricercate per motivi diversi. O almeno dovrebbe essere possibile ANCHE distinguerle. Mentre per il potenziale lettore di Wikipedia (che giustamente 'si cura poco' per cosi dire di queste distinzioni), dovrebbero essere due forme o due nomi della 'stessa cosa'. Cercando l'uno o l'altro dovrebbe trovare comunque sempre *tutte* le informazioni sull'uomo che poi e' diventato papa.
Per Erasmo da Rotterdam, e' solo una questione di convenzione. Fino a qualche tempo fa, sempre per ragioni di economia (che sono venute meno) bisognava stabilire qual è la forma 'migliore' per riferirsi a E.d.R..; cosi' le varie regole hanno stabilito che e' meglio la forma vernacolare, anzi no la forma latina, anzi no la forma cognome e nome, anzi no per gli autori greci la forma latina ecc. ecc. Al punto che, dato che era un casino tremendo e ci si e' accorti che le convenzioni erano possibili solo entro un certo ambito culturale che, per quanto ampio, era sempre limitato e non era mai condiviso a livello mondiale (basti pensare alla precedenza nome e cognome o viceversa nella tradizione occidentale o orientale), si e' rinunciato a una forma unica, e si e' deciso di ... fare il VIAF! Il VIAF ha proprio lo scopo di creare un grappolo di intestazioni, tutte di egual valore, da riferire a un'unica entita', rispettando la forma preferita dalle diverse comunita' rappresentate nel VIAF. Per questo motivo e' particolarmente grave il problema sollevato da Pierfranco. Se, nell'unico posto al mondo in cui si dovrebbe riconoscere che Alcott, Louisa May di SBN e Alcott, Louisa May, 1832-1888 della LoC sono la stessa cosa con due nomi diversi, questo non avviene, e' come dire che SBN non partecipa (ancora?) al VIAF.
Dal punto di vista di WP sarebbe comunque utile ottenere i dati che ha chiesto Susanna, per fare un passo ulteriore (forse andando oltre l'esperienza di WP in altre lingue) perche' nell'AF dell'ICCU ci sono le forme varianti dei nomi raccolte nel tempo dai catalogatori. Per usare un esempio gia' sfruttato da Pierfranco, per Italo Svevo nel AF italiano (Id. Autorita SBN = IT\ICCU\CFIV\007334) ci sono TRE forme alternative del nome della persona che usava come pseudonimo Italo Svevo, nel VIAF, se si guarda la scheda della LoC ce n'è solo UNA (http://id.loc.gov/authorities/names/n79021228.html), ma ce ne sono altre, diverse, nella scheda della BNE collegata al VIAF. Avere l'authority file dell'ICCU sarebbe un'opportunita' per creare in modo massiccio i redirect per le voci personali (ed eventualmente degli enti) di WP.
Certo sarebbe opportuno prendere dall'AF dell'ICCU solo i dati di qualita', come ha proposto Gianfranco, per evitare di importare errori.
Carlo
Il 27 marzo 2013 18:45, Pierfranco Minsenti pierfranco.minsenti@gmail.com ha scritto:
Sarebbe interessante avere lo scarico dell'authority file SBN dall'ICCU. Però poi bisogna avere una procedura che associa il nome come è previsto da SBN al nome usato in Wikipedia.
Ci sono casi problematici da risolvere. Per es. il caso di Karol Wojtyla:
In Wikipedia IT è Karol Wojtyla: http://it.wikipedia.org/wiki/Karol_Wojty%C5%82a
ma in SBN gli autori papi hanno il nome in latino da papa, quindi non Karol Wojtyla ma: Ioannes Paulus <papa ; 2.> record SBN di livello AUF: CFIV000007
In VIAF non c'è stato lo schiacciamento. Il record VIAF ufficiale di Wojtyla è: http://viaf.org/viaf/35605; invece quello italiano rimasto
isolato
è: http://viaf.org/viaf/90108506
Poi ci sono gli autori umanisti con nome latinizzato: Erasmo da Rotterdam è tal quale in Wikipedia IT IT: http://it.wikipedia.org/wiki/Erasmo_da_Rotterdam Ma in SBN è: Erasmus : Roterodamus record MAX CFIV002829
Una procedura che realizzi un confronto accurata e nei casi giusti il match non è cosa semplice.
Poi l'Authority file di SBN è pieno di doppioni: se dessero uno
scarico
completo sarebbe complicato. Dovrebbero perlomeno filtrare e restringere ai casi di records AUF e MAX o SUP.
Pierfranco Minsenti
Il giorno 27 marzo 2013 17:13, giaccai@gmail.com ha scritto:
Rossella Caffo ha ricevuto la mia mail di richiesta dei dati di autority italiani e mi risponde che ne parlerà con le sue referenti e mi farà sapere. Aspettiamo fiduciosi.
Saluti Susanna
====================== Susanna Giaccai - Firenze
Il giorno 27 marzo 2013 16:27, Pierfranco Minsenti pierfranco.minsenti@gmail.com ha scritto:
> Ciao Andrea, > > i codici identificativi nazionali si recuperano dal VIAF: nei
records
> MARC 21 XML dai tag 700, e del resto recuperarli è proprio quello
che
> hanno > fatto francesi e tedeschi per la loro Wikipedia. > > Quindi la fattibilità dipende dalla domanda: potete chiedere (a ?)
di
> rifare l'importazione del VIAF in Wikipedia IT seguendo criteri > diversi da > quelli seguiti per ora, gli stessi criteri di fatto seguiti anche
da
> francesi e tedeschi? > > Se l'importazione si può rifare e meglio, allora bisogna verificare > concretamente dove prendere i dati che servono. > > I file del VIAF in formato MARC21 XML contengono nel tag 700 tutti
i
> records che la procedura di schiacciamento ha ritenuto simili:
cioè i
> tag > 700 ripetuti contengono tutte le forme del nome ricavate dai
records
> schiacciati dall'algoritmo; oltre alle diverse forme del nome ogni > tag > contiene anche nel sottocampo 0 la sigla identificativa dell'ente
che
> ha > fornito quel record (tra parentesi tonde) seguita
dall'identificativo
> nazionale. > > Per i records forniti dall'ICCU questo significa che quando sono > stati > schiacciati con altri, in uno nei tag 700 del record VIAF cluster > compare > anche la sigla dell'ICCU e l'identificativo che ha l'autore in SBN. > > Esempio per Alessandro Manzoni che è uno degli autori che in SBN è > fornito di date e quindi è stato schicciato: > > <mx:datafield tag="700" ind2="1" ind1=" "> > > <mx:subfield code="a">Manzoni , Alessandro</mx:subfield> > > <mx:subfield code="d"><1785-1873></mx:subfield> > > <mx:subfield code="0">(ICCU)CFIV009079</mx:subfield> > > </mx:datafield> > > In questi casi quindi si tratterebbe di istruire la procedura di > importazione in modo che in presenza di <mx:datafield tag="700" > mx:subfield code="0">(ICCU) > > allora recuperi dal sottocampo 0 l'identificativo: CFIV009079 che
sta
> tra > la parentesi di chiusura e la fine del sottocampo > > I dati sono liberi perché è il VIAF che li mette a disposizione > liberamente. > > Però nel caso dei records che NON sono stati schiacciati, il VIAF > "buono" > importato anche in Wikipedia contiene vari tag 700, ma nessuno di > essi ha > l'identificativo di un record ICCU. > > Forse ci sono altri formati di export del VIAF che contengono
proprio
> tutto perché nella versione HTML c'è la sezione History of VIAF che > contiene > anche gli identificativi dei record i cui schiacciamenti sono stati > respinti > ma che da quello che si può giudicare a occhio, per autori famosi, > sarebbero > stati buoni. > > Da indagare ulteriormente. > > Pierfranco > > > Il giorno 27 marzo 2013 14:55, Andrea Zanni > zanni.andrea84@gmail.com ha > scritto: >> >> Grazie Pierfranco dell'ulteriore analisi. >> >> 2013/3/27 Pierfranco Minsenti pierfranco.minsenti@gmail.com >>> >>> Ma questo significa che oggi come oggi, per fare qualcosa di
simile
>>> a >>> FTL in Wikipedia IT sarebbe possibile solo se vengono inseriti in >>> Wikipedia >>> gli identificativi nazionali oltre al VIAF. >> >> >> Ok, dunque come si ottiene questo? >> Si può passare da VIAF e riprendere quei dati dell'ICCU, >> o sono altri dati, che stanno da un'altra parte? Sono liberi o no? >> Riusciamo a prenderli? >> >> Andrea >> >> _______________________________________________ >> Bibliotecari mailing list >> Invio messaggi in lista: Bibliotecari@wikimedia.it >> Configurazione utente: >> http://mailman.wikimedia.it/listinfo/bibliotecari > > > > _______________________________________________ > Bibliotecari mailing list > Invio messaggi in lista: Bibliotecari@wikimedia.it > Configurazione utente: > http://mailman.wikimedia.it/listinfo/bibliotecari
Bibliotecari mailing list Invio messaggi in lista: Bibliotecari@wikimedia.it Configurazione utente: http://mailman.wikimedia.it/listinfo/bibliotecari
Bibliotecari mailing list Invio messaggi in lista: Bibliotecari@wikimedia.it Configurazione utente: http://mailman.wikimedia.it/listinfo/bibliotecari
-- Carlo Bianchini, Ph.D. Università degli Studi di Pavia Dipartimento di Musicologia e Beni Culturali, Corso Garibaldi, 178 I-26100 CREMONA - ITALY Tel. ++ 39 (0)372 25575 ; fax ++39 (0)372 457077 http://sites.google.com/site/homepagecarlobianchini (ita) http://unipv.academia.edu/CarloBianchini/ (eng) skype: c.bianchini67 _______________________________________________ Bibliotecari mailing list Invio messaggi in lista: Bibliotecari@wikimedia.it Configurazione utente:
http://mailman.wikimedia.it/listinfo/bibliotecari
Bibliotecari mailing list Invio messaggi in lista: Bibliotecari@wikimedia.it Configurazione utente:
http://mailman.wikimedia.it/listinfo/bibliotecari
Bibliotecari mailing list Invio messaggi in lista: Bibliotecari@wikimedia.it Configurazione utente: http://mailman.wikimedia.it/listinfo/bibliotecari
-- Carlo Bianchini, Ph.D. Università degli Studi di Pavia Dipartimento di Musicologia e Beni Culturali, Corso Garibaldi, 178 I-26100 CREMONA - ITALY Tel. ++ 39 (0)372 25575 ; fax ++39 (0)372 457077 http://sites.google.com/site/homepagecarlobianchini (ita) http://unipv.academia.edu/CarloBianchini/ (eng) skype: c.bianchini67 _______________________________________________ Bibliotecari mailing list Invio messaggi in lista: Bibliotecari@wikimedia.it Configurazione utente: http://mailman.wikimedia.it/listinfo/bibliotecari