vi segnalo questa pagina del MIBAC
http://www.beniculturali.it/mibac/export/MiBAC/sito-MiBAC/MenuPrincipale/Tra...
in cui si legge che: i dati dell'Anagrafe biblioteche è disponibili in open data con licenza Licenza: Creative Commons "CC0 1.0 Universal Public Domain Dedication"http://www.culturaitalia.it/opencms/export/sites/culturaitalia/attachments/linked_open_data/Licenza_CulturaItalia_CC0.pdf
Li potremmo usare per WIKIDATA e Open Steet Maps?
Buona serata Susanna
====================== *Susanna Giaccai - Firenze *http://it.wikipedia.org/wiki/Utente:Giaccaihttp://it.wikipedia.org/wiki/Utente:Sannita
Il giorno 07 giugno 2013 19:30, Simona Turbanti sturbanti@gmail.com ha scritto:
Giovanni aveva informato anche me della richiesta fatta e sono contenta sia andata a buon fine. Complimenti a tutti voi per l'ottimo lavoro di squadra e a Giovanni (che non credo ci legga) per le pressioni esercitate, cosa di non poco conto ;-) E ora non resta che sfruttare al meglio l'incontro romano... simona Pierfranco Minsenti wrote:
Intendevo dire: chi ci ha lavorato per fare in modo di usarlo per il redirect in connessione con gli identificativi da AF.
lo hanno realizzato i tecnici dell'iccu (chi sono non lo so). Bergamin ha solo fatto pressioni sulla direzione.
Bibliotecari mailing list Invio messaggi in lista: Bibliotecari@wikimedia.it Configurazione utente: http://mailman.wikimedia.it/listinfo/bibliotecari
Bibliotecari mailing list Invio messaggi in lista: Bibliotecari@wikimedia.it Configurazione utente: http://mailman.wikimedia.it/listinfo/bibliotecari
Il 07 giugno 2013 20:26, giaccai@gmail.com ha scritto:
vi segnalo questa pagina del MIBAC
http://www.beniculturali.it/mibac/export/MiBAC/sito-MiBAC/MenuPrincipale/Tra...
in cui si legge che: i dati dell'Anagrafe biblioteche è disponibili in open data con licenza Licenza: Creative Commons "CC0 1.0 Universal Public Domain Dedication"
Scusa se metto i punti sulle "i" Susanna, ma da quel documento io leggo che i contenuti di http://www.culturaitalia.it/ sono pubblicati in CC0, non quelli di http://anagrafe.iccu.sbn.it/
C
Scusa, mi volevo riferire ai dati dell'Anagrafe delle biblioteche
Susanna
====================== *Susanna Giaccai - Firenze *http://it.wikipedia.org/wiki/Utente:Giaccaihttp://it.wikipedia.org/wiki/Utente:Sannita
Il giorno 07 giugno 2013 20:33, Cristian Consonni kikkocristian@gmail.comha scritto:
Il 07 giugno 2013 20:26, giaccai@gmail.com ha scritto:
vi segnalo questa pagina del MIBAC
http://www.beniculturali.it/mibac/export/MiBAC/sito-MiBAC/MenuPrincipale/Tra...
in cui si legge che: i dati dell'Anagrafe biblioteche è disponibili in
open
data con licenza Licenza: Creative Commons "CC0 1.0 Universal Public
Domain
Dedication"
Scusa se metto i punti sulle "i" Susanna, ma da quel documento io leggo che i contenuti di http://www.culturaitalia.it/ sono pubblicati in CC0, non quelli di http://anagrafe.iccu.sbn.it/
C _______________________________________________ Bibliotecari mailing list Invio messaggi in lista: Bibliotecari@wikimedia.it Configurazione utente: http://mailman.wikimedia.it/listinfo/bibliotecari
Il 07 giugno 2013 20:38, giaccai@gmail.com ha scritto:
Scusa, mi volevo riferire ai dati dell'Anagrafe delle biblioteche
Ma quel documento non si riferisce a quei dati.
C
Il 07 giugno 2013 20:26, giaccai@gmail.com ha scritto:
vi segnalo questa pagina del MIBAC
http://www.beniculturali.it/mibac/export/MiBAC/sito-MiBAC/MenuPrincipale/Tra...
in cui si legge che: i dati dell'Anagrafe biblioteche è disponibili in open data con licenza Licenza: Creative Commons "CC0 1.0 Universal Public Domain Dedication"
Li potremmo usare per WIKIDATA e Open Steet Maps?
Sì. Tra l'altro, facendomi un giro sul sito dell'Anagrafe noto che il codice con cui vengono registrate le biblioteche è l'ISIL,[1] che racchiude i codici di 26 Stati più la Groenlandia.
Diciamo che abbiamo trovato un'altra proprietà da inserire su Wikidata... :)
[1] http://biblstandard.dk/isil/index.htm?l=it
Il 07 giugno 2013 23:51, Luca Martinelli martinelliluca@gmail.com ha scritto:
Sì. Tra l'altro, facendomi un giro sul sito dell'Anagrafe noto che il codice con cui vengono registrate le biblioteche è l'ISIL,[1] che racchiude i codici di 26 Stati più la Groenlandia.
Diciamo che abbiamo trovato un'altra proprietà da inserire su Wikidata... :)
We haz teh data!
Il già citato scraper[1] adesso raccoglie tutte le informazioni dalla scheda, dal vecchio nome, ai nomi alternativi, all'orario, alla data di aggiornamento.
Per essere pignoli mancherebbero soltato la latitudine e la longitudine che si trovano cliccando sulla mappa di Google nella colonna a destra. Ho già scritto un altro scraper che recupera queste info, ma non gira su scraperwiki (lo posso fare girare dal mio portatile)
Il formato del risultato è ancora un po' spartano, ma insomma... c'è tutto.
:D
Il 08 giugno 2013 19:09, Cristian Consonni kikkocristian@gmail.com ha scritto:
Per essere pignoli mancherebbero soltato la latitudine e la longitudine che si trovano cliccando sulla mappa di Google nella colonna a destra. Ho già scritto un altro scraper che recupera queste info, ma non gira su scraperwiki (lo posso fare girare dal mio portatile)
C'è un problema (enorme, se vogliamo mettere questi dati dentro OpenStreetMap), purtroppo le coordinate che vengono indicate nella mappa sono troncate ad una sola cifra decimale questo vuol dire che la loro precisione è di qualche chilometro.
Per capirci prendendo una biblioteca a caso: Biblioteca Comunale Franco La Rocca Piazzale Aldo Moro n. 3 - 92100 Agrigento qui la pagina: [1]
La mappa indica: LAT: 37.3 N | LON: 13.5 Peccato che il punto indicato sulla mappa abbia coordinate intorno a: 37.309594,13.586032
Per farvi capire la differenza tra le due guardate questa mappa: http://tinyurl.com/k55msuz
Con questo livello di precisione il dato delle coordinate è del tutto inutile.
Credo che l'ICCU abbia le coordinate precise infatti il punto sulla mappa nella pagina[1] è posizionato diversamente rispetto a quello che si ottiene semplicemente inserendo l'indirizzo in Google Maps: http://goo.gl/maps/vLsmN
E quindi bisognerebbe comunque farsi dare questi dati. =(
C
[1] http://anagrafe.iccu.sbn.it/opencms/opencms/ricerche/dettaglio.html?monocamp...
Ma questo significa che il dato geografico il linea e' diverso da quello nel database ICCU? Sarebbe uno scherzetto? Susanna
Susanna Giaccai invio da cellulare Il giorno 08/giu/2013 20:36, "Cristian Consonni" kikkocristian@gmail.com ha scritto:
Il 08 giugno 2013 19:09, Cristian Consonni kikkocristian@gmail.com ha scritto:
Per essere pignoli mancherebbero soltato la latitudine e la longitudine che si trovano cliccando sulla mappa di Google nella colonna a destra. Ho già scritto un altro scraper che recupera queste info, ma non gira su scraperwiki (lo posso fare girare dal mio portatile)
C'è un problema (enorme, se vogliamo mettere questi dati dentro OpenStreetMap), purtroppo le coordinate che vengono indicate nella mappa sono troncate ad una sola cifra decimale questo vuol dire che la loro precisione è di qualche chilometro.
Per capirci prendendo una biblioteca a caso: Biblioteca Comunale Franco La Rocca Piazzale Aldo Moro n. 3 - 92100 Agrigento qui la pagina: [1]
La mappa indica: LAT: 37.3 N | LON: 13.5 Peccato che il punto indicato sulla mappa abbia coordinate intorno a: 37.309594,13.586032
Per farvi capire la differenza tra le due guardate questa mappa: http://tinyurl.com/k55msuz
Con questo livello di precisione il dato delle coordinate è del tutto inutile.
Credo che l'ICCU abbia le coordinate precise infatti il punto sulla mappa nella pagina[1] è posizionato diversamente rispetto a quello che si ottiene semplicemente inserendo l'indirizzo in Google Maps: http://goo.gl/maps/vLsmN
E quindi bisognerebbe comunque farsi dare questi dati. =(
C
[1] http://anagrafe.iccu.sbn.it/opencms/opencms/ricerche/dettaglio.html?monocamp... _______________________________________________ Bibliotecari mailing list Invio messaggi in lista: Bibliotecari@wikimedia.it Configurazione utente: http://mailman.wikimedia.it/listinfo/bibliotecari
Il 09 giugno 2013 07:26, giaccai@gmail.com ha scritto:
Ma questo significa che il dato geografico il linea e' diverso da quello nel database ICCU? Sarebbe uno scherzetto?
Nì, è il dato che viene *visualizzato* ad essere troncato. Due righe di codice valgono più di mille parole. Dentro la pagina c'è questo codice.
// creazione fumetto [...] html = replaceAll(html, "%lat%", biblioteca.lat.substring(0,4)); html = replaceAll(html, "%lng%", biblioteca.lng.substring(0,4));
non è necessario capire nel dettaglio come funziona per rendersi conto che quello che fa è prendere la latitudine e la longitudine di una biblioteca e, invece di stampare a schermo il dato completo, ne stampa solo una parte (una "sottostringa"), ovvero i primi 4 caratteri. Se ci fate caso infatti dati come "37.3" e "13.5" - che sono stringhe (liste ordinate di caratteri) - hanno lunghezza quattro (2 cifre + il punto decimale + 1 cifra).
Per questo dicevo che il dato è troncato.
Va da sè che ogni dato che viene effettivamente trasmesso attraverso una pagina è accessibile (in modo più o meno facile). Infatti sono riuscito ad aggirare il problema e ad acchiapare i dati completi, li sto salvando sul mio pc, ho aperto la mail apposta per scrivervi di questo ;-)
Per esempio la (lat,lon) della cita biblioteca Biblioteca Comunale Franco La Rocca, presenti nel database ICCU sono: 37.3096114156152,13.5861396789551
Tutta un'altra musica: http://www.openstreetmap.org/?mlat=37.3096114156152&mlon=13.586139678955...
=D
C
A Firenze si dice: sei un ganzo!! S.
Susanna Giaccai invio da cellulare Il giorno 09/giu/2013 10:09, "Cristian Consonni" kikkocristian@gmail.com ha scritto:
Il 09 giugno 2013 07:26, giaccai@gmail.com ha scritto:
Ma questo significa che il dato geografico il linea e' diverso da quello
nel
database ICCU? Sarebbe uno scherzetto?
Nì, è il dato che viene *visualizzato* ad essere troncato. Due righe di codice valgono più di mille parole. Dentro la pagina c'è questo codice.
// creazione fumetto [...] html = replaceAll(html, "%lat%", biblioteca.lat.substring(0,4)); html = replaceAll(html, "%lng%", biblioteca.lng.substring(0,4));
non è necessario capire nel dettaglio come funziona per rendersi conto che quello che fa è prendere la latitudine e la longitudine di una biblioteca e, invece di stampare a schermo il dato completo, ne stampa solo una parte (una "sottostringa"), ovvero i primi 4 caratteri. Se ci fate caso infatti dati come "37.3" e "13.5" - che sono stringhe (liste ordinate di caratteri) - hanno lunghezza quattro (2 cifre + il punto decimale + 1 cifra).
Per questo dicevo che il dato è troncato.
Va da sè che ogni dato che viene effettivamente trasmesso attraverso una pagina è accessibile (in modo più o meno facile). Infatti sono riuscito ad aggirare il problema e ad acchiapare i dati completi, li sto salvando sul mio pc, ho aperto la mail apposta per scrivervi di questo ;-)
Per esempio la (lat,lon) della cita biblioteca Biblioteca Comunale Franco La Rocca, presenti nel database ICCU sono: 37.3096114156152,13.5861396789551
Tutta un'altra musica: http://www.openstreetmap.org/?mlat=37.3096114156152&mlon=13.586139678955...
=D
C _______________________________________________ Bibliotecari mailing list Invio messaggi in lista: Bibliotecari@wikimedia.it Configurazione utente: http://mailman.wikimedia.it/listinfo/bibliotecari
Dobbiamo organizzare un summer camp che comprenda una scuola di python, che ne dite? Btw Cristian io continuo a non riuscire a scaricare il dataset: o ricevo un errore
"It looks like this scraper is broken!
On its last run it generated the following error: SqliteError: dataproxy.process: database is locked; stacktrace:Traceback (most recent call last): File "/var/www/scraperwiki/uml/dataproxy/dataproxy.py", line 105, in process res = db.process(request) File "/var/www/scraperwiki/uml/dataproxy/datali"
O mi restituisce un errore di connessione....
Il 09 giugno 2013 10:22, giaccai@gmail.com ha scritto:
A Firenze si dice: sei un ganzo!! S.
Susanna Giaccai invio da cellulare
Il giorno 09/giu/2013 10:09, "Cristian Consonni" kikkocristian@gmail.com ha scritto:
Il 09 giugno 2013 07:26, giaccai@gmail.com ha scritto:
Ma questo significa che il dato geografico il linea e' diverso da quello nel database ICCU? Sarebbe uno scherzetto?
Nì, è il dato che viene *visualizzato* ad essere troncato. Due righe di codice valgono più di mille parole. Dentro la pagina c'è questo codice.
// creazione fumetto [...] html = replaceAll(html, "%lat%", biblioteca.lat.substring(0,4)); html = replaceAll(html, "%lng%", biblioteca.lng.substring(0,4));
non è necessario capire nel dettaglio come funziona per rendersi conto che quello che fa è prendere la latitudine e la longitudine di una biblioteca e, invece di stampare a schermo il dato completo, ne stampa solo una parte (una "sottostringa"), ovvero i primi 4 caratteri. Se ci fate caso infatti dati come "37.3" e "13.5" - che sono stringhe (liste ordinate di caratteri) - hanno lunghezza quattro (2 cifre + il punto decimale + 1 cifra).
Per questo dicevo che il dato è troncato.
Va da sè che ogni dato che viene effettivamente trasmesso attraverso una pagina è accessibile (in modo più o meno facile). Infatti sono riuscito ad aggirare il problema e ad acchiapare i dati completi, li sto salvando sul mio pc, ho aperto la mail apposta per scrivervi di questo ;-)
Per esempio la (lat,lon) della cita biblioteca Biblioteca Comunale Franco La Rocca, presenti nel database ICCU sono: 37.3096114156152,13.5861396789551
Tutta un'altra musica: http://www.openstreetmap.org/?mlat=37.3096114156152&mlon=13.586139678955...
=D
C _______________________________________________ Bibliotecari mailing list Invio messaggi in lista: Bibliotecari@wikimedia.it Configurazione utente: http://mailman.wikimedia.it/listinfo/bibliotecari
Bibliotecari mailing list Invio messaggi in lista: Bibliotecari@wikimedia.it Configurazione utente: http://mailman.wikimedia.it/listinfo/bibliotecari
Il 09 giugno 2013 11:42, Enrico Francese efrancese@gmail.com ha scritto:
Dobbiamo organizzare un summer camp che comprenda una scuola di python, che ne dite?
+1, tra l'altro dall'1 al 7 luglio a Firenze c'è EuroPython una convention europea su Python, da qualche anno (mi pare dal 2011), la stanno organizzando in Italia. https://ep2013.europython.eu/
Btw Cristian io continuo a non riuscire a scaricare il dataset: o ricevo un errore "It looks like this scraper is broken!
On its last run it generated the following error: SqliteError: dataproxy.process: database is locked; stacktrace:Traceback (most recent call last): File "/var/www/scraperwiki/uml/dataproxy/dataproxy.py", line 105, in process res = db.process(request) File "/var/www/scraperwiki/uml/dataproxy/datali"
O mi restituisce un errore di connessione....
È un errore di scraperwiki, in pratica dato che lo script gira all'interno di quel sito (scraperwiki.com) non è possibile salvare i risultati su file. Perciò hanno messo a disposizione delle librerie che permettono di salvare i risultati in un database SQLite, ogni scraper ne ha uno associato, che è il "datastore" dello scraper. Quell'errore: "SqliteError: dataproxy.process: database is locked; ..." dice che in pratica il datastore dello scraper è occupato da qualche altra azione... non mi è chiarissimo quale sia il motivo per cui questo errore si presenta, ne quale sia la frequenza con cui succede. Comunque ora ci guardo.
Idem per l'errore di connessione, mi pare che ricaricando la pagina a volte riesca a connettersi, altre volte no.
Detto questo se vuoi scaricarti i dati basta che dalla pagina dello scraper: https://scraperwiki.com/scrapers/anagrafebiblioteche/ e clicchi su "Download" puoi scaricare i dati sia come database SQLite, sia come file CSV. Ho provato a scaricarli ora e riesco a prendere i file e aprirli.
Ci sono 4715 record.
Ciao,
C
Il 09 giugno 2013 14:17, Cristian Consonni kikkocristian@gmail.com ha scritto:
Il 09 giugno 2013 11:42, Enrico Francese efrancese@gmail.com ha scritto: Quell'errore: "SqliteError: dataproxy.process: database is locked; ..." dice che in pratica il datastore dello scraper è occupato da qualche altra azione... non mi è chiarissimo quale sia il motivo per cui questo errore si presenta, ne quale sia la frequenza con cui succede. Comunque ora ci guardo.
Allora, pare sia un problema comune[1] e che insorga per altro quando si guarda la pagina riassuntiva dello scraper mentre sta girando[2]:
«The most likely reason the database is locking is that someone's reading the scraper overview page - perhaps yourself! - and it takes a while for the scraper data to be returned. Meanwhile, the database can't get a write lock and gives up after a few seconds.»
In ogni caso ora ho modificato lo scraper in modo che faccia più tentativi di scrittura a qualche secondo di distanza e quindi dovrebbe essere più solido.
Quanto al discorso dell'errore di connessione dalla pagina di overview dello scraper credo che la soluzione sia semplicemente ricaricare la pagina (magari non essendo troppo compulsivi =P)
Ciao,
C
[1] https://groups.google.com/forum/?fromgroups#!topic/scraperwiki/phP5qYtUkK0 [2] https://groups.google.com/forum/?fromgroups#!topic/scraperwiki/phP5qYtUkK0
L'idea di Firenze non è male (è raggiungibile facilmente per tanti di noi), sarebbe molto bello vedersi insieme una volta. A tal proposito, saluto il neoarrivato della lista, Mauro Guerrini, ex presidente AIB e professore all'Università di Firenze :-)
Andrea
2013/6/9 Cristian Consonni kikkocristian@gmail.com
Il 09 giugno 2013 14:17, Cristian Consonni kikkocristian@gmail.com ha scritto:
Il 09 giugno 2013 11:42, Enrico Francese efrancese@gmail.com ha
scritto:
Quell'errore: "SqliteError: dataproxy.process: database is locked; ..." dice che in pratica il datastore dello scraper è occupato da qualche altra azione... non mi è chiarissimo quale sia il motivo per cui questo errore si presenta, ne quale sia la frequenza con cui succede. Comunque ora ci guardo.
Allora, pare sia un problema comune[1] e che insorga per altro quando si guarda la pagina riassuntiva dello scraper mentre sta girando[2]:
«The most likely reason the database is locking is that someone's reading the scraper overview page - perhaps yourself! - and it takes a while for the scraper data to be returned. Meanwhile, the database can't get a write lock and gives up after a few seconds.»
In ogni caso ora ho modificato lo scraper in modo che faccia più tentativi di scrittura a qualche secondo di distanza e quindi dovrebbe essere più solido.
Quanto al discorso dell'errore di connessione dalla pagina di overview dello scraper credo che la soluzione sia semplicemente ricaricare la pagina (magari non essendo troppo compulsivi =P)
Ciao,
C
[1] https://groups.google.com/forum/?fromgroups#!topic/scraperwiki/phP5qYtUkK0 [2] https://groups.google.com/forum/?fromgroups#!topic/scraperwiki/phP5qYtUkK0 _______________________________________________ Bibliotecari mailing list Invio messaggi in lista: Bibliotecari@wikimedia.it Configurazione utente: http://mailman.wikimedia.it/listinfo/bibliotecari
Grazie Andrea; vi avevo seguito finora indirettamente.
ciao, mauro
Il 09/06/2013 20:00, Andrea Zanni ha scritto:
L'idea di Firenze non è male (è raggiungibile facilmente per tanti di noi), sarebbe molto bello vedersi insieme una volta. A tal proposito, saluto il neoarrivato della lista, Mauro Guerrini, ex presidente AIB e professore all'Università di Firenze :-)
Andrea
2013/6/9 Cristian Consonni <kikkocristian@gmail.com mailto:kikkocristian@gmail.com>
Il 09 giugno 2013 14:17, Cristian Consonni <kikkocristian@gmail.com <mailto:kikkocristian@gmail.com>> ha scritto: > Il 09 giugno 2013 11:42, Enrico Francese <efrancese@gmail.com <mailto:efrancese@gmail.com>> ha scritto: > Quell'errore: > "SqliteError: dataproxy.process: database is locked; ..." > dice che in pratica il datastore dello scraper è occupato da qualche > altra azione... non mi è chiarissimo quale sia il motivo per cui > questo errore si presenta, ne quale sia la frequenza con cui succede. > Comunque ora ci guardo. Allora, pare sia un problema comune[1] e che insorga per altro quando si guarda la pagina riassuntiva dello scraper mentre sta girando[2]: «The most likely reason the database is locking is that someone's reading the scraper overview page - perhaps yourself! - and it takes a while for the scraper data to be returned. Meanwhile, the database can't get a write lock and gives up after a few seconds.» In ogni caso ora ho modificato lo scraper in modo che faccia più tentativi di scrittura a qualche secondo di distanza e quindi dovrebbe essere più solido. Quanto al discorso dell'errore di connessione dalla pagina di overview dello scraper credo che la soluzione sia semplicemente ricaricare la pagina (magari non essendo troppo compulsivi =P) Ciao, C [1] https://groups.google.com/forum/?fromgroups#!topic/scraperwiki/phP5qYtUkK0 <https://groups.google.com/forum/?fromgroups#%21topic/scraperwiki/phP5qYtUkK0> [2] https://groups.google.com/forum/?fromgroups#!topic/scraperwiki/phP5qYtUkK0 <https://groups.google.com/forum/?fromgroups#%21topic/scraperwiki/phP5qYtUkK0> _______________________________________________ Bibliotecari mailing list Invio messaggi in lista: Bibliotecari@wikimedia.it <mailto:Bibliotecari@wikimedia.it> Configurazione utente: http://mailman.wikimedia.it/listinfo/bibliotecari
Bibliotecari mailing list Invio messaggi in lista: Bibliotecari@wikimedia.it Configurazione utente: http://mailman.wikimedia.it/listinfo/bibliotecari
Il 09 giugno 2013 14:41, Cristian Consonni kikkocristian@gmail.com ha scritto:
In ogni caso ora ho modificato lo scraper in modo che faccia più tentativi di scrittura a qualche secondo di distanza e quindi dovrebbe essere più solido.
Qualche nota: 1) Mi pare che la modifica di cui sopra abbia dato frutto, infatti nell'ultimo run non ci sono stati errori e lo scraper è arrivato a raccogliere i dati di più di 13.000 biblioteche (notate che ad ogni run, riparte dal punto in cui era arrivato con il giro precedente). 2) Ho aggiunto allo script la licenza, ovviamente è software libero ;-) 3) in questo repo su Github https://github.com/cristiancantoro/bibliocoord trovate il codice che recupera le coordinate e il db (SQLite) in cui vengono salvate. C'è una sola tabella con (id,lat,lon,nome). Anche qui licenza GPL v3+.
Ciao,
C
bibliotecari@liste.wikimedia.it
-
Andrea Zanni -
Cristian Consonni -
Enrico Francese -
giaccai＠gmail.com -
Luca Martinelli -
Mauro Guerrini