Cari tutti,
avevo intenzione di scrivervi questa mail da un paio di giorni per aggiornarvi sullo stato di VIAF-SBN reconciler[1].
In questi giorni ho aggiunto alcune cose: * una funzione per cercare un termine usando le API di Wikipdia * degli oggetti SbnItem e ViafItem che in sostanza estraggono le informazioni dalle rispettive schede sull'opac e dalla pagina VIADF (scrapando i rispettivi siti).
Mi sono riletto un po' di mail precedenti di Pierfranco, adesso devo capire come gestire il caso di autori con codici multipli. Poi inizierò a fare delle prove di ricerca su Wikipedia. L'obiettivo è: * trovare i record VIAF con il solo codice ICCU (perché non matchati) * cercare attraverso Wikipedia qual è il codice del cluster VIAF * aggiungere anche il codice ICCU e il codice VIAF sull'item di Wikidata di quell'elemento.
Vi torna?
Cristian
Ciao,
non sono sicuro di aver capito che cosa intendi quando scrivi:
* trovare i record VIAF con il solo codice ICCU (perché non matchati)
Intendi: trovare dentro al VIAF quei particolari records grappolo che sono in realtà dei monograppolo: cioè che contengono solo l'identificativo ICCU e non anche altri identificativi come Library of Congress ecc.? Questi VIAF monograppolo legati solo a un record ICCU sono i casi di doppioni che dovrebbero ridursi (ma sicuramente non azzerarsi) grazie a una nuova importazione nel VIAF di un export da SBN fatto con migliori criteri.
Ma trovare questi casi è possibile analizzando un datadump del VIAF.
Però non capisco bene a che cosa serve se l'obiettivo è quello di andare a correggere delle cose.
O forse non ho capito bene io?
pierfranco
Il giorno 25 luglio 2013 11:55, Cristian Consonni kikkocristian@gmail.comha scritto:
Cari tutti,
avevo intenzione di scrivervi questa mail da un paio di giorni per aggiornarvi sullo stato di VIAF-SBN reconciler[1].
In questi giorni ho aggiunto alcune cose:
- una funzione per cercare un termine usando le API di Wikipdia
- degli oggetti SbnItem e ViafItem che in sostanza estraggono le
informazioni dalle rispettive schede sull'opac e dalla pagina VIADF (scrapando i rispettivi siti).
Mi sono riletto un po' di mail precedenti di Pierfranco, adesso devo capire come gestire il caso di autori con codici multipli. Poi inizierò a fare delle prove di ricerca su Wikipedia. L'obiettivo è:
- trovare i record VIAF con il solo codice ICCU (perché non matchati)
- cercare attraverso Wikipedia qual è il codice del cluster VIAF
- aggiungere anche il codice ICCU e il codice VIAF sull'item di
Wikidata di quell'elemento.
Vi torna?
Cristian
[1] https://github.com/CristianCantoro/viaf-sbn_reconciler _______________________________________________ Bibliotecari mailing list Invio messaggi in lista: Bibliotecari@wikimedia.it Configurazione utente: http://mailman.wikimedia.it/listinfo/bibliotecari
Il 25 luglio 2013 12:17, Pierfranco Minsenti pierfranco.minsenti@gmail.com ha scritto:
Ciao,
non sono sicuro di aver capito che cosa intendi quando scrivi:
- trovare i record VIAF con il solo codice ICCU (perché non matchati)
Intendi: trovare dentro al VIAF quei particolari records grappolo che sono in realtà dei monograppolo: cioè che contengono solo l'identificativo ICCU e non anche altri identificativi come Library of Congress ecc.?
Sì
Questi VIAF monograppolo legati solo a un record ICCU sono i casi di doppioni che dovrebbero ridursi (ma sicuramente non azzerarsi) grazie a una nuova importazione nel VIAF di un export da SBN fatto con migliori criteri.
Certo, ma come ho già detto altre volte sto provando l'approccio "bottom-up" invece di aspettare un nuovo import. Le due cose non sono alternative.
Ma trovare questi casi è possibile analizzando un datadump del VIAF.
Questo datadump dove si trova? È disponibile?
C
I dataset del VIAF si scaricano da qui:
ci sono in diversi formati.
Praticamente ne mettono a disposizione uno nuovo ogni mese.
Quello di adesso è datato 15 giugno.
(nota: sono 2 mesi che ne parlo e l'intervento che ho fatto a Roma era proprio sull'analisi dei dataset.).
Pierfranco
Il giorno 25 luglio 2013 12:24, Cristian Consonni kikkocristian@gmail.comha scritto:
Il 25 luglio 2013 12:17, Pierfranco Minsenti pierfranco.minsenti@gmail.com ha scritto:
Ciao,
non sono sicuro di aver capito che cosa intendi quando scrivi:
- trovare i record VIAF con il solo codice ICCU (perché non matchati)
Intendi: trovare dentro al VIAF quei particolari records grappolo che
sono
in realtà dei monograppolo: cioè che contengono solo l'identificativo
ICCU e
non anche altri identificativi come Library of Congress ecc.?
Sì
Questi VIAF monograppolo legati solo a un record ICCU sono i casi di doppioni che dovrebbero ridursi (ma sicuramente non azzerarsi) grazie a
una
nuova importazione nel VIAF di un export da SBN fatto con migliori
criteri.
Certo, ma come ho già detto altre volte sto provando l'approccio "bottom-up" invece di aspettare un nuovo import. Le due cose non sono alternative.
Ma trovare questi casi è possibile analizzando un datadump del VIAF.
Questo datadump dove si trova? È disponibile?
C _______________________________________________ Bibliotecari mailing list Invio messaggi in lista: Bibliotecari@wikimedia.it Configurazione utente: http://mailman.wikimedia.it/listinfo/bibliotecari
Il 25 luglio 2013 12:30, Pierfranco Minsenti pierfranco.minsenti@gmail.com ha scritto:
Grazie. Allora invece di fare scraping userò questi dati.
Cristian
Il giorno 25 luglio 2013 14:09, Cristian Consonni kikkocristian@gmail.comha scritto:
Il 25 luglio 2013 12:30, Pierfranco Minsenti pierfranco.minsenti@gmail.com ha scritto:
Grazie. Allora invece di fare scraping userò questi dati.
Assolutamente sì. Il dataset lo espongono apposta. È OCLC/VIAF. Siamo avanti. Non è SBN.
pierfranco
Cristian _______________________________________________ Bibliotecari mailing list Invio messaggi in lista: Bibliotecari@wikimedia.it Configurazione utente: http://mailman.wikimedia.it/listinfo/bibliotecari
Cristian,
rispondo più nel dettaglio a quello che ti proponi con un suggerimento di metodo:
Il giorno 25 luglio 2013 11:55, Cristian Consonni kikkocristian@gmail.comha scritto:
L'obiettivo è:
- trovare i record VIAF con il solo codice ICCU (perché non matchati)
- cercare attraverso Wikipedia qual è il codice del cluster VIAF
- aggiungere anche il codice ICCU e il codice VIAF sull'item di
Wikidata di quell'elemento.
Dato che ti proponi di aggiungere in Wikidata/Wikipedia gli identificativi ICCU che la procedura di Max Klein per forza di cose oggi come oggi non poteva aggiungere, ti segnalo questo possibile approccio pragmatico per ottenere una lista di i codici ICCU e del relativo codice VIAF "giusto" (=codice di un grappolo multirecord) (non ho però capito la modalità con cui aggiungeresti il codice VIAF, una volta che hai la lista. A mano, uno per uno?)
La lista potrebbe essere ottenuta in questo modo: scaricando il dataset VIAF che ti ho indicato: scegliendo tra i formati possibili quello nel formato XML perché contiene tutte le informazioni che servono ed estraendo tutti i records che rispondono a queste 2 condizioni: records in cui compare la sigla ICCU 1) nel tag <history> 2) MA NON nel tag <sources>
Spiegazione: il record XML è quello che contiene anche la storia degli eventi di ogni singolo record: informazioni contenute nel tag <history>. Nel tag <sources> contiene solo l'elenco degli identificativi delle agenzie catalografiche (come l'ICCU) che nella attuale situazione hanno un record fornito da loro al VIAF che è parte di quel certo record VIAF multigrappolo. In pratica: il contenuto del tag <sources> può avere 3 variebili: 1) contenere una lista di codici di agenzie catalografiche nessuna delle quali è l'ICCU; 2) oppure può contenere solo il codice ICCU: questi sono i casi edegli "isolati" = i records monograppolo; 3) infine può contenere una lista di codici di agenzie catalografiche in cui compare anche l'ICCU: questi sono i casi dei match
In sostanza, questo significa che: se un record nel tag <history> contiene la sigla ICCU, ma non nel tag <sources> questo significa che in origine (nel 2009) il record era stato matchato con un grappolo VIAF e che poi nel 2012 è stato invece nuovamente comparato, slegato e quindi isolato. Questo è successo perché nel 2012 OCLC ha preso in carico direttamente la gestione del progetto VIAF (che fino ad allora era un progetto collaborativo: oltre a OCLC c'erano anche la Library of Congress, alla Deutsche National Bibliotheek e alla Bibliothèque Nationale de France). Nell'occasione OCLC ha deciso di rivedere tutto il VIAF applicando algoritmi più rigorosi che non confrontavano solo la stringa verbale (il nome autore) ma anche le informazioni aggiuntive. Questa revisione ha comportato mutamenti nei grappoli. Nel caso dell'Italia, che ha molti records privi di informazioni aggiuntive, la situazione 2009 era stata più favorevole al livello dei match, mentre l'algoritmo 2012 ha avuto come conseguenza meno match e quindi più casi di isolati.
Tutti questi eventi si leggono con precisione nei tag <history> che contiene i tag <ht> con attributo type e valore "add" o tag <ht> con attributo type e valore "delete". Tutti i tag <ht> contengono anche l'attributo time che registra la data dell'evento. Per questo ci sono records VIAF che in <history> possono avere un tag <ht> che contiene la sigla ICCU, il time del 2009 e il type con valore "add" e poi un secondo tag <ht> che contiene la sigla ICCU il time del 2012 e il type con valore "delete" (poi ci sono anche casi con 2 add e un delete: insomma la situazione è complessa).
Comunque: identificando la lista di records VIAF che hanno ICCU in <history> MA NON in <sources> si ottiene quella che è la situazione attuale dei records VIAF che tra 2009 e inizio 2012 contenevano nel grappolo anche un record ICCU: record che nell'autunno 2012 è stato poi scorporato e isolato (quindi ha subito un'azione "delete" dal grappolo originale).
Esempio pratico che si vede nel browser: http://viaf.org/viaf/7394594/#Moravia,_Alberto,_1907-1990
Vedi nel formato XML: http://viaf.org/viaf/7394594/viaf.xml
dove si nota che:
la stringa ICCU non compare nel tag ns2:sources ma compare 2 volte nel tag: ns2:history
<ns2:ht recid="ICCU|CFIV000648" time="2009-07-24T08:25:10+00:00" type="add"/>
<ns2:ht recid="ICCU|CFIV000648" time="2012-11-26T09:56:13+00:00" type="delete"/>
Attenzione: nel formato XML che si vede dal browser le etichette dei tag sono introdotte dal namespace ns2
Invece nel file XML scaricato (cioè il dataset nel formato XML) i namespaces non compaiono, quindi i tag sono:
<sources> <history>
Conclusione: questa estrazione consente di avere una lista che fotografa la situazione al 2009: che era più favorevole e che era basata sul match della sola stringa verbale. Usare una lista del genere significa in pratica rinunciare all'algoritmo più rigoroso usato dal 2012. Ma da analisi a campione la cosa sembra funzionare: perlomeno molto più della situazione attuale.
Un volta pulita la lista XML, si può ottenere una lista a 2 colonne da popolare con un colonna VIAF che contenga l'identificativo che nel file XML per ogni record è a inizio riga e una seconda colonna con gli identificativi ICCU da popolare con gli identificativi che si trovano per ogni record nel tag <history>. Attenzione però: l'identificativo ICCU nel tag <history> si trova nella forma ICCU|<stringa alfanumerica a 3 caratteri>V<stringa numerica a 6 caratteri>: per es. ICCU|CFIV000648 Per i motivi già discussi a maggio (linking all'opac SBN),in Wikidata e in Wikipedia l'identificativo non deve essere inserito in quella forma ma deve essere modificato per fargli assumere la forma che consente il linking: cioè la forma: IT/ICCU/<stringa alfanumerica a 3 caratteri>V/<stringa numerica a 6 caratteri> come per es.: IT/ICCU/CFIV/009079 che deve servire a creare links di questo genere: http://id.sbn.it/af/IT/ICCU/CFIV/009079
Queste mi sembrano le basi per un esperimento che mi pare possa migliorare la situazione attuale.
Ma non ho capito come passeresti dalla lista dei casi e dei valori alla loro importazione in Wikidata e in Wikipedia
Pierfranco
bibliotecari@liste.wikimedia.it