Ciao a tutti,
ci sarebbe un bel lavoro da fare su Wikidata (e Wikiepdia): approfittare del grande cambiamento in positivo che c'è stato da fine novembre per quanto riguarda la situazione dei record SBN nel VIAF. Dal 24 novembre la situazione è molto cambiata: non tanto a livello di numeri (un poco anche in quello), quanto nella percentuale di matching positivo con i records provenienti da altre agenzie catalografiche e già presenti nel VIAF. Ora questa percentuale è salita molto: è del 55% (si ricava scaricando il nuovo dataset e analizzandolo). Questo significa che è molto calato il numero di record doppioni creati dalla procedura di import nel VIAF a seguito di un matching negativo.
Fino a ottobre la percentuale di matching positivo per i records SBN era del 13%, la più bassa in assoluto (questa percentuale poteva essere calcolata da chiunque scaricando il relativo dataset, ma comunque era stata certificata anche nella tabella comparativa contenuta nel report annuale ufficiale realizzato da OCLC per le agenzie partecipanti al VIAF e distribuito a luglio alla 79. conferenza IFLA di Singapore. Scaricabile da qui: http://www.oclc.org/content/dam/oclc/events/2013/viaf-council/OCLC-2013-VIAF.... Si trattava quindi di un dato che nessuno in Italia poteva confutare).
Il numero totale dei record è leggermente cambiato: da 45.208 sono passati a 47595 quindi con una crescita di +2387 record. Tra gli scrittori aggiunti ci sono anche casi illustri che prima mancavano, come Francesco Guicciardini (http://viaf.org/viaf/89549325/). Tuttavia nel VIAF continuano a mancare i record italiani di scrittori come Paolo Giordano ( http://viaf.org/viaf/7717760/); Lorenzo da Ponte ( http://viaf.org/viaf/41838569/); Cesare Beccaria ( http://viaf.org/viaf/71387114/); Marco Polo (http://viaf.org/viaf/173430120/); Cecco Angiolieri (http://viaf.org/viaf/32075425/); Luther Blisset ( http://viaf.org/viaf/203050620/); Wu Ming (http://viaf.org/viaf/19858850/).
A livello pratico, la aumentata percentuale di matching positivo significa che ora nel VIAF casi di scrittori italiani come Dante, Moravia ecc. che prima producevano doppioni, sono collegati ad altri record stranieri in un grosso cluster.
E in quel 45% di record SBN che non hanno avuto nessun match con altri record già nel VIAF: che cosa c'è? A un esame veloce si vedono: 1) casi di nomi che solo SBN ha fornito al VIAF e quindi è corretto che siano isolati in cluster monorecord (per es. Ilda Boccassini; Bianca Berlinguer). Ma anche: 2) moltissimi casi di attori, sia italiani che internazionali (da Monica Bellucci a Brad Pitt, da Sergio Castellitto ad Humphrey Bogart); 3) cantanti e persone di spettacolo (Mina; Jannacci); 4) registi (Hitchcock); 5) scrittori stranieri (John Fante); 6) artisti (Paolo Uccello); 7) uomini politici (Barack Obama; ma anche Umberto <re d'Italia ; 1.>).
Quindi a parte i casi di nomi del gruppo 1 (che immagino sarà anche numeroso), tutti gli altri esempi che ho citato sono esempi di record SBN che non essendo stati matchati con altri record già nel VIAF hanno creato un nuovo record VIAF. Ma ovviamente si tratta di doppioni: perché naturalmente quei nomi esistevano già nel VIAF, per cui il matching avrebbe dovuto essere positivo. Per es. a Barack Obama corrisponde un cluster VIAF che raggruppa molti record: http://viaf.org/viaf/52010985/#Obama,_Barack Quindi il record VIAF 52010985 può essere considerato quello "ufficiale" mentre il record VIAF che contiene solo il record di provenienza italiana: http://viaf.org/viaf/305358548/ è un doppione che non dovrebbe esistere, e la stessa cosa vale per tutti gli altri casi citati come esempio: dal gruppo 2 al gruppo 7.
In sostanza rimangono quindi problemi nella procedura di importazione dei record SBN nel VIAF. Si può fare un'analisi più approfondita ma a un primo esame sembra di dover concludere che questa volta emergono aspetti positivi ma anche limiti della strategia basata sul prendere in considerazione, per confermare il matching, i titoli collegati ai nomi. Per lo meno: nel caso italiano i risultati di questa strategia sono suddivisi in metà casi positivi e metà negativi. I motivi sembrano essere questi: quando si tratta di scrittori italiani prendere in esame i titoli collegati funziona, mentre non funziona quando si tratta per es. di attori, di artisti (anche italiani) e in genere di persone straniere. Per es. nel caso di attori e artisti, nei record SBN forniti a OCLC i campioni di titoli collegati ai nomi possono essere diversi da quelli che si trovano nei record di provenienza straniera (per es. i titoli di film). Nel caso di scrittori stranieri, il titolo collegato è quello tradotto in italiano e quindi non corrisponde a quello che che si trova nei record provenienti da altre agenzie (questa differenza sembra spiegare anche il doppione creato per Obama dal record italiano). Per tutti questi motivi il match non è confermato e la procedura di import crea un nuovo record che è un doppione.
Ma indubbiamente la situazione attuale è comunque un grosso passo avanti e dovrebbe essere possible approfittarne per Wikidata/Wikipedia.
Quindi quello che chiedo è: sarebbe possibile ottenere (magari chiedendo di nuovo a Max Klein?) una nuova procedura di importazione dei record SBN dal VIAF a Wikidata? I record SBN clusterzati ora sono 26042: cioè sono quasi 5 volte di più rispetto a quelli che erano i record clusterizzati quando sono stati importati in Wikidata intorno a giugno di quest'anno.
Che cosa dite? Si può ottenere un nuovo import in Wikidata a partire dalla attuale situazione di SBN nel VIAF?
Pierfranco
Ottima notizia. Questo cambiamento riflette un cambiamento che viene lato SBN (migliori pratiche di catalogazione) o lato VIAF (deduplicazione)?
Invece che chiedere un nuovo import una tantum, non si può chiedere che un bot giri periodicamente (ogni notte/settimana)?
Cambiamenti nei DB ce ne saranno sempre, sia lato VIAF che SBN, e Wikidata dovrebbe essere in grado di rimanere aggiornato in continuazione, riflettendo plasticamente e automaticamente lo sviluppo dei database sorgenti.
Saluti Il 20/dic/2013 21:55 "Pierfranco Minsenti" pierfranco.minsenti@gmail.com ha scritto:
Ciao a tutti,
ci sarebbe un bel lavoro da fare su Wikidata (e Wikiepdia): approfittare del grande cambiamento in positivo che c'è stato da fine novembre per quanto riguarda la situazione dei record SBN nel VIAF. Dal 24 novembre la situazione è molto cambiata: non tanto a livello di numeri (un poco anche in quello), quanto nella percentuale di matching positivo con i records provenienti da altre agenzie catalografiche e già presenti nel VIAF. Ora questa percentuale è salita molto: è del 55% (si ricava scaricando il nuovo dataset e analizzandolo). Questo significa che è molto calato il numero di record doppioni creati dalla procedura di import nel VIAF a seguito di un matching negativo.
Fino a ottobre la percentuale di matching positivo per i records SBN era del 13%, la più bassa in assoluto (questa percentuale poteva essere calcolata da chiunque scaricando il relativo dataset, ma comunque era stata certificata anche nella tabella comparativa contenuta nel report annuale ufficiale realizzato da OCLC per le agenzie partecipanti al VIAF e distribuito a luglio alla 79. conferenza IFLA di Singapore. Scaricabile da qui: http://www.oclc.org/content/dam/oclc/events/2013/viaf-council/OCLC-2013-VIAF.... Si trattava quindi di un dato che nessuno in Italia poteva confutare).
Il numero totale dei record è leggermente cambiato: da 45.208 sono passati a 47595 quindi con una crescita di +2387 record. Tra gli scrittori aggiunti ci sono anche casi illustri che prima mancavano, come Francesco Guicciardini (http://viaf.org/viaf/89549325/). Tuttavia nel VIAF continuano a mancare i record italiani di scrittori come Paolo Giordano ( http://viaf.org/viaf/7717760/); Lorenzo da Ponte ( http://viaf.org/viaf/41838569/); Cesare Beccaria ( http://viaf.org/viaf/71387114/); Marco Polo ( http://viaf.org/viaf/173430120/); Cecco Angiolieri ( http://viaf.org/viaf/32075425/); Luther Blisset ( http://viaf.org/viaf/203050620/); Wu Ming (http://viaf.org/viaf/19858850/ ).
A livello pratico, la aumentata percentuale di matching positivo significa che ora nel VIAF casi di scrittori italiani come Dante, Moravia ecc. che prima producevano doppioni, sono collegati ad altri record stranieri in un grosso cluster.
E in quel 45% di record SBN che non hanno avuto nessun match con altri record già nel VIAF: che cosa c'è? A un esame veloce si vedono:
- casi di nomi che solo SBN ha fornito al VIAF e quindi è corretto che
siano isolati in cluster monorecord (per es. Ilda Boccassini; Bianca Berlinguer). Ma anche: 2) moltissimi casi di attori, sia italiani che internazionali (da Monica Bellucci a Brad Pitt, da Sergio Castellitto ad Humphrey Bogart); 3) cantanti e persone di spettacolo (Mina; Jannacci); 4) registi (Hitchcock); 5) scrittori stranieri (John Fante); 6) artisti (Paolo Uccello); 7) uomini politici (Barack Obama; ma anche Umberto <re d'Italia ; 1.>).
Quindi a parte i casi di nomi del gruppo 1 (che immagino sarà anche numeroso), tutti gli altri esempi che ho citato sono esempi di record SBN che non essendo stati matchati con altri record già nel VIAF hanno creato un nuovo record VIAF. Ma ovviamente si tratta di doppioni: perché naturalmente quei nomi esistevano già nel VIAF, per cui il matching avrebbe dovuto essere positivo. Per es. a Barack Obama corrisponde un cluster VIAF che raggruppa molti record: http://viaf.org/viaf/52010985/#Obama,_Barack Quindi il record VIAF 52010985 può essere considerato quello "ufficiale" mentre il record VIAF che contiene solo il record di provenienza italiana: http://viaf.org/viaf/305358548/ è un doppione che non dovrebbe esistere, e la stessa cosa vale per tutti gli altri casi citati come esempio: dal gruppo 2 al gruppo 7.
In sostanza rimangono quindi problemi nella procedura di importazione dei record SBN nel VIAF. Si può fare un'analisi più approfondita ma a un primo esame sembra di dover concludere che questa volta emergono aspetti positivi ma anche limiti della strategia basata sul prendere in considerazione, per confermare il matching, i titoli collegati ai nomi. Per lo meno: nel caso italiano i risultati di questa strategia sono suddivisi in metà casi positivi e metà negativi. I motivi sembrano essere questi: quando si tratta di scrittori italiani prendere in esame i titoli collegati funziona, mentre non funziona quando si tratta per es. di attori, di artisti (anche italiani) e in genere di persone straniere. Per es. nel caso di attori e artisti, nei record SBN forniti a OCLC i campioni di titoli collegati ai nomi possono essere diversi da quelli che si trovano nei record di provenienza straniera (per es. i titoli di film). Nel caso di scrittori stranieri, il titolo collegato è quello tradotto in italiano e quindi non corrisponde a quello che che si trova nei record provenienti da altre agenzie (questa differenza sembra spiegare anche il doppione creato per Obama dal record italiano). Per tutti questi motivi il match non è confermato e la procedura di import crea un nuovo record che è un doppione.
Ma indubbiamente la situazione attuale è comunque un grosso passo avanti e dovrebbe essere possible approfittarne per Wikidata/Wikipedia.
Quindi quello che chiedo è: sarebbe possibile ottenere (magari chiedendo di nuovo a Max Klein?) una nuova procedura di importazione dei record SBN dal VIAF a Wikidata? I record SBN clusterzati ora sono 26042: cioè sono quasi 5 volte di più rispetto a quelli che erano i record clusterizzati quando sono stati importati in Wikidata intorno a giugno di quest'anno.
Che cosa dite? Si può ottenere un nuovo import in Wikidata a partire dalla attuale situazione di SBN nel VIAF?
Pierfranco
Bibliotecari mailing list Invio messaggi in lista: Bibliotecari@wikimedia.it Configurazione utente: http://mailman.wikimedia.it/listinfo/bibliotecari
Il nuovo risultati non è dovuto a cambiamenti lato catalogazione in SBN. In effetti, non abbiamo informazioni ufficiali sulle modalità ecc. che hanno portato a questo nuovo risultato, né sono rintracciabili in qualche modo. Le pagine del sito web dell'ICCU che riguardano la cosa: http://www.iccu.sbn.it/opencms/opencms/it/main/attivita/internaz/pagina_367.... e http://www.iccu.sbn.it/opencms/opencms/it/main/attivita/naz/pagina_335.html non sono né dettagliate né aggiornate. Quindi non sappiamo nulla sui rapporti tra ICCU e OCLC salvo quel poco che era trapelato nell'estate quando era stato sollevato il problema: vale a dire la conferma che l'ICCU era già a conoscenza del problema e che era in contatto con OCLC per trovare una soluzione adatta. È possibile che la nuova soluzione si sia appoggiata a un nuovo export dei records SBN arricchito dai titoli collegati. Direi che i risultati mostrano un notevole miglioramento ma anche dei limiti strutturali e trattandosi di una procedura automatica basata su un algorimo, se verrà mantenuta tale nel momento in cui verrà applicata nuove forniture di records da parte dell'ICCU, i risultati a livello di matching negativo potranno facilmente essere superiori al 45% attuale dato che inanzitutto finora sono stati forniti record di autori italiani e che quando verranno forniti i records di autori stranieri, se vengono mantenuti i legami a titoli in traduzione, non ci sarà match, forse mai, con i records già nel VIAF e quindi si produrranno dei doppioni. Ma su tutto questo si psosono fare ipotesi visto che non c'è nessun livello di comunicazione con l'esterno e di pubblicità. E se non fosse per la politica di apertura sui dati adottata da OCLC, che a differenza dell'ICCU, rende scaricabile liberamente l'intero dataset del VIAF, non sapremmo assolutamente nulla. Quindi poter studiare i dati è già qualcosa, e su quelli si possono formulare ipotesi. Di più non è dato fare.
Per quanto riguarda l'avvio di un bot tra Wikidata e VIAF che scarichi e aggiorni sempre gli identificativi dei records di autorità mi trovo assolutamente d'accordo e anzi io non ho ancora capito come chi lavora a OCLC si sia proposto di risiolvere l'ovvio problema di aggiornamento.
C'è qualcuno che lo sa o che è in condizioni di chiederlo a Klein?
Pierfranco
Il giorno 21 dicembre 2013 00:19, Accurimbono accurimbono@yahoo.it ha scritto:
Ottima notizia. Questo cambiamento riflette un cambiamento che viene lato SBN (migliori pratiche di catalogazione) o lato VIAF (deduplicazione)?
Invece che chiedere un nuovo import una tantum, non si può chiedere che un bot giri periodicamente (ogni notte/settimana)?
Cambiamenti nei DB ce ne saranno sempre, sia lato VIAF che SBN, e Wikidata dovrebbe essere in grado di rimanere aggiornato in continuazione, riflettendo plasticamente e automaticamente lo sviluppo dei database sorgenti.
Saluti Il 20/dic/2013 21:55 "Pierfranco Minsenti" pierfranco.minsenti@gmail.com ha scritto:
Ciao a tutti,
ci sarebbe un bel lavoro da fare su Wikidata (e Wikiepdia): approfittare del grande cambiamento in positivo che c'è stato da fine novembre per quanto riguarda la situazione dei record SBN nel VIAF. Dal 24 novembre la situazione è molto cambiata: non tanto a livello di numeri (un poco anche in quello), quanto nella percentuale di matching positivo con i records provenienti da altre agenzie catalografiche e già presenti nel VIAF. Ora questa percentuale è salita molto: è del 55% (si ricava scaricando il nuovo dataset e analizzandolo). Questo significa che è molto calato il numero di record doppioni creati dalla procedura di import nel VIAF a seguito di un matching negativo.
Fino a ottobre la percentuale di matching positivo per i records SBN era del 13%, la più bassa in assoluto (questa percentuale poteva essere calcolata da chiunque scaricando il relativo dataset, ma comunque era stata certificata anche nella tabella comparativa contenuta nel report annuale ufficiale realizzato da OCLC per le agenzie partecipanti al VIAF e distribuito a luglio alla 79. conferenza IFLA di Singapore. Scaricabile da qui: http://www.oclc.org/content/dam/oclc/events/2013/viaf-council/OCLC-2013-VIAF.... Si trattava quindi di un dato che nessuno in Italia poteva confutare).
Il numero totale dei record è leggermente cambiato: da 45.208 sono passati a 47595 quindi con una crescita di +2387 record. Tra gli scrittori aggiunti ci sono anche casi illustri che prima mancavano, come Francesco Guicciardini (http://viaf.org/viaf/89549325/). Tuttavia nel VIAF continuano a mancare i record italiani di scrittori come Paolo Giordano ( http://viaf.org/viaf/7717760/); Lorenzo da Ponte ( http://viaf.org/viaf/41838569/); Cesare Beccaria ( http://viaf.org/viaf/71387114/); Marco Polo ( http://viaf.org/viaf/173430120/); Cecco Angiolieri ( http://viaf.org/viaf/32075425/); Luther Blisset ( http://viaf.org/viaf/203050620/); Wu Ming (http://viaf.org/viaf/19858850/ ).
A livello pratico, la aumentata percentuale di matching positivo significa che ora nel VIAF casi di scrittori italiani come Dante, Moravia ecc. che prima producevano doppioni, sono collegati ad altri record stranieri in un grosso cluster.
E in quel 45% di record SBN che non hanno avuto nessun match con altri record già nel VIAF: che cosa c'è? A un esame veloce si vedono:
- casi di nomi che solo SBN ha fornito al VIAF e quindi è corretto che
siano isolati in cluster monorecord (per es. Ilda Boccassini; Bianca Berlinguer). Ma anche: 2) moltissimi casi di attori, sia italiani che internazionali (da Monica Bellucci a Brad Pitt, da Sergio Castellitto ad Humphrey Bogart); 3) cantanti e persone di spettacolo (Mina; Jannacci); 4) registi (Hitchcock); 5) scrittori stranieri (John Fante); 6) artisti (Paolo Uccello); 7) uomini politici (Barack Obama; ma anche Umberto <re d'Italia ; 1.>).
Quindi a parte i casi di nomi del gruppo 1 (che immagino sarà anche numeroso), tutti gli altri esempi che ho citato sono esempi di record SBN che non essendo stati matchati con altri record già nel VIAF hanno creato un nuovo record VIAF. Ma ovviamente si tratta di doppioni: perché naturalmente quei nomi esistevano già nel VIAF, per cui il matching avrebbe dovuto essere positivo. Per es. a Barack Obama corrisponde un cluster VIAF che raggruppa molti record: http://viaf.org/viaf/52010985/#Obama,_Barack Quindi il record VIAF 52010985 può essere considerato quello "ufficiale" mentre il record VIAF che contiene solo il record di provenienza italiana: http://viaf.org/viaf/305358548/ è un doppione che non dovrebbe esistere, e la stessa cosa vale per tutti gli altri casi citati come esempio: dal gruppo 2 al gruppo 7.
In sostanza rimangono quindi problemi nella procedura di importazione dei record SBN nel VIAF. Si può fare un'analisi più approfondita ma a un primo esame sembra di dover concludere che questa volta emergono aspetti positivi ma anche limiti della strategia basata sul prendere in considerazione, per confermare il matching, i titoli collegati ai nomi. Per lo meno: nel caso italiano i risultati di questa strategia sono suddivisi in metà casi positivi e metà negativi. I motivi sembrano essere questi: quando si tratta di scrittori italiani prendere in esame i titoli collegati funziona, mentre non funziona quando si tratta per es. di attori, di artisti (anche italiani) e in genere di persone straniere. Per es. nel caso di attori e artisti, nei record SBN forniti a OCLC i campioni di titoli collegati ai nomi possono essere diversi da quelli che si trovano nei record di provenienza straniera (per es. i titoli di film). Nel caso di scrittori stranieri, il titolo collegato è quello tradotto in italiano e quindi non corrisponde a quello che che si trova nei record provenienti da altre agenzie (questa differenza sembra spiegare anche il doppione creato per Obama dal record italiano). Per tutti questi motivi il match non è confermato e la procedura di import crea un nuovo record che è un doppione.
Ma indubbiamente la situazione attuale è comunque un grosso passo avanti e dovrebbe essere possible approfittarne per Wikidata/Wikipedia.
Quindi quello che chiedo è: sarebbe possibile ottenere (magari chiedendo di nuovo a Max Klein?) una nuova procedura di importazione dei record SBN dal VIAF a Wikidata? I record SBN clusterzati ora sono 26042: cioè sono quasi 5 volte di più rispetto a quelli che erano i record clusterizzati quando sono stati importati in Wikidata intorno a giugno di quest'anno.
Che cosa dite? Si può ottenere un nuovo import in Wikidata a partire dalla attuale situazione di SBN nel VIAF?
Pierfranco
Bibliotecari mailing list Invio messaggi in lista: Bibliotecari@wikimedia.it Configurazione utente: http://mailman.wikimedia.it/listinfo/bibliotecari
Bibliotecari mailing list Invio messaggi in lista: Bibliotecari@wikimedia.it Configurazione utente: http://mailman.wikimedia.it/listinfo/bibliotecari
bibliotecari@liste.wikimedia.it
-
Accurimbono -
Pierfranco Minsenti