Cambio pure oggetto alla discussione, così chi vuole segue questo thread.
Un report più ampio e dettagliato lo trovate su https://it.wikipedia.org/wiki/Utente:Sannita/Sandbox_5
Innanzitutto, avevamo due liste di partenza (entrambe di livello 97, il massimo): 1) circa 42000 record con identità SBN = VIAF, ma senza nomi (ottenuta da VIAF); 2) circa 6600 record con identità SBN = nomi, ma senza VIAF (ottenuta da SBN).
Dopo aver unito le due liste a mano e fatto qualche altro piccolo controllo, ho iniziato a verificare a quanti codici corrispondesse una voce su Wikipedia.
Tutte le statistiche sono aggiornate a poco fa: * 58 codici SBN sono già su Wikidata (il dato è più alto di questo, semplicemente sono appena all'inizio del lavoro); * a partire da questi codici, ho creato due nuove voci e una terza voce è in cantiere; * 143 codici SBN sono pronti per essere importati su Wikidata; * 24 codici SBN presentano "problemi" di varia natura e sono stati inseriti in una lista a parte; * 6375 codici SBN devono ancora essere controllati; * 38704 codici SBN necessitano ancora di un nome (dato in lentissima decrescita, ma qua dovrebbe darmi una mano uno script preparato da Cristian).
Nei prossimi giorni, vediamo dove posso pubblicare 'sta benedetta lista. Una mano sarebbe, a questo punto, ben vista.
non so bene in che formato hai i dati e quali sono le operazioni manuali che svogli per lavorarli, pero' ad intuito credo che lo strumento adatto per automatizzare questa attivita' sia http://openrefine.org/
se hai modo di pubblicare i dati da qualche parte prima dell'hackaton posso darci un'occhiata e spiegarti come usare openrefine (a meno che non lo conosci e gia' usi)
ciao
-- raffaele
Il 09 ottobre 2013 15:57, raffaele messuti raffaele.messuti@gmail.com ha scritto:
non so bene in che formato hai i dati e quali sono le operazioni manuali che svogli per lavorarli, pero' ad intuito credo che lo strumento adatto per automatizzare questa attivita' sia http://openrefine.org/
Se hai modo di capitarmi a distanza di pochi metri, sappi che tutto l'alcool che sei in grado di ingurgitare in una sera ti sarà gentilmente offerto da me. Senza limiti, se non quelli della mia carta di credito.
In realtà, il grosso problema è quello di controllare se esiste la voce su Wikipedia (una qualsiasi Wikipedia), e qui mi sembra che openrefine possa poco. Ma già questo mi permette di semplificare di moltissimo il lavoro.
Luca Martinelli wrote:
In realtà, il grosso problema è quello di controllare se esiste la voce su Wikipedia (una qualsiasi Wikipedia), e qui mi sembra che openrefine possa poco. Ma già questo mi permette di semplificare di moltissimo il lavoro.
invece credo sia possibile (io nemmeno l'ho mai usato questo strumento quindi dovrei studiarlo meglio)
con openrefine puoi riconciliare una stringa interrogando un servizio esterno (nei casi piu' complessi usando sparql)
http://googlerefine.blogspot.it/2012/11/from-excel-file-to-rdf-with-links-to...
http://iphylo.blogspot.it/2013/04/reconciling-author-names-using-open.html
https://github.com/OpenRefine/OpenRefine/wiki/Fetching-URLs-From-Web-Service...
mi procuro questo libro e iniziamo a guardarci http://freeyourmetadata.org/
-- raffaele
Il 10 ottobre 2013 10:07, raffaele messuti raffaele.messuti@gmail.com ha scritto:
Luca Martinelli wrote:
In realtà, il grosso problema è quello di controllare se esiste la voce su Wikipedia (una qualsiasi Wikipedia), e qui mi sembra che openrefine possa poco. Ma già questo mi permette di semplificare di moltissimo il lavoro.
invece credo sia possibile (io nemmeno l'ho mai usato questo strumento quindi dovrei studiarlo meglio)
con openrefine puoi riconciliare una stringa interrogando un servizio esterno (nei casi piu' complessi usando sparql)
http://googlerefine.blogspot.it/2012/11/from-excel-file-to-rdf-with-links-to...
http://iphylo.blogspot.it/2013/04/reconciling-author-names-using-open.html
https://github.com/OpenRefine/OpenRefine/wiki/Fetching-URLs-From-Web-Service...
mi procuro questo libro e iniziamo a guardarci http://freeyourmetadata.org/
Quello che dici si può fare Raffaele. Lo so perché ho usato OpenRefine (formerly known as Google Refine) per lavoro. Luca, Nuts4Nuts, che hai visto a OSMit è proprio un reconciliation service di OpenRefine.
Per tutti: Nuts4Nuts prende un articolo di Wikipedia e cerca di capire dall'abstract dove si trova l'oggetto. Anche se non ha coordinate all'interno. Esempio, cercando "Palazzo Vecchio": http://bit.ly/GMTPdp
Non odiatemi, non ce la faccio a starvi dietro. Questa è l'amara verità. =( Sto aspettando con impazienza il bibliohackaton per parlarvi di tutte queste cose (e per raccontarvi di tutta la mia vita). Ovviamente non dovete aspettare me, pungolatemi e farò quello che posso.
C
Ragà, siete peggio dello Stato, un altro po' e lavorerò per pagarvi da bere. :D
L.
Il 10 ottobre 2013 10:07, raffaele messuti raffaele.messuti@gmail.com ha scritto:
Luca Martinelli wrote:
In realtà, il grosso problema è quello di controllare se esiste la voce su Wikipedia (una qualsiasi Wikipedia), e qui mi sembra che openrefine possa poco. Ma già questo mi permette di semplificare di moltissimo il lavoro.
invece credo sia possibile (io nemmeno l'ho mai usato questo strumento quindi dovrei studiarlo meglio)
con openrefine puoi riconciliare una stringa interrogando un servizio esterno (nei casi piu' complessi usando sparql)
http://googlerefine.blogspot.it/2012/11/from-excel-file-to-rdf-with-links-to...
http://iphylo.blogspot.it/2013/04/reconciling-author-names-using-open.html
https://github.com/OpenRefine/OpenRefine/wiki/Fetching-URLs-From-Web-Service...
mi procuro questo libro e iniziamo a guardarci http://freeyourmetadata.org/
-- raffaele _______________________________________________ Bibliotecari mailing list Invio messaggi in lista: Bibliotecari@wikimedia.it Configurazione utente: http://mailman.wikimedia.it/listinfo/bibliotecari
Le avete viste le slide di Pierfranco, vero? http://www.slideshare.net/pierfrancominsenti/unaltra-modalit-per-arricchire-...
Aubrey
2013/10/10 Luca Martinelli martinelliluca@gmail.com
Ragà, siete peggio dello Stato, un altro po' e lavorerò per pagarvi da bere. :D
L.
Il 10 ottobre 2013 10:07, raffaele messuti raffaele.messuti@gmail.com ha scritto:
Luca Martinelli wrote:
In realtà, il grosso problema è quello di controllare se esiste la voce su Wikipedia (una qualsiasi Wikipedia), e qui mi sembra che openrefine possa poco. Ma già questo mi permette di semplificare di moltissimo il lavoro.
invece credo sia possibile (io nemmeno l'ho mai usato questo strumento quindi dovrei studiarlo meglio)
con openrefine puoi riconciliare una stringa interrogando un servizio esterno (nei casi piu' complessi usando sparql)
http://googlerefine.blogspot.it/2012/11/from-excel-file-to-rdf-with-links-to...
http://iphylo.blogspot.it/2013/04/reconciling-author-names-using-open.html
https://github.com/OpenRefine/OpenRefine/wiki/Fetching-URLs-From-Web-Service...
mi procuro questo libro e iniziamo a guardarci
-- raffaele _______________________________________________ Bibliotecari mailing list Invio messaggi in lista: Bibliotecari@wikimedia.it Configurazione utente: http://mailman.wikimedia.it/listinfo/bibliotecari
-- Luca "Sannita" Martinelli http://it.wikipedia.org/wiki/Utente:Sannita _______________________________________________ Bibliotecari mailing list Invio messaggi in lista: Bibliotecari@wikimedia.it Configurazione utente: http://mailman.wikimedia.it/listinfo/bibliotecari
ho perso una mezz'ora con refine, ecco ad esempio cosa puo' fare (in realta' ci si possono fare molte cose di piu' imparandolo):
https://dl.dropboxusercontent.com/u/536407/refine-wikidata-viaf/index.html
partendo da una lista di nomi e usando un servizio di riconciliazione col viaf e con lo sparql di dbpedia si possono ricavare l'id viaf e l'id wikidata
non ho comunque letto tutti i thread su sbn/viaf, quindi puo' darsi che non sia questo quello che serve. in ogni caso mi sembra che un workshop breve su refine possa essere utile all'hackaton. c'e' qualcuno gia' esperto che se lo accolla? a livello introduttivo potrei farlo io, ma non so quanto riesco a studiare da qui a due settimane
-- raffaele
Il 10 ottobre 2013 13:24, raffaele messuti raffaele.messuti@gmail.com ha scritto:
non ho comunque letto tutti i thread su sbn/viaf, quindi puo' darsi che non sia questo quello che serve. in ogni caso mi sembra che un workshop breve su refine possa essere utile all'hackaton. c'e' qualcuno gia' esperto che se lo accolla? a livello introduttivo potrei farlo io, ma non so quanto riesco a studiare da qui a due settimane
+1 Io OpenRefine l'ho usato un po', posso farti da backup (se hai domande specifiche). In ogni caso, aggiungi anche delle birre da parte mia. Oltre alle birre di Luca.
C
bibliotecari@liste.wikimedia.it
-
Andrea Zanni -
Cristian Consonni -
Luca Martinelli -
raffaele messuti