Name: Benjamin

Email:

Posts by benjamin:

    marc2rdf revisited

    august 9th, 2013

    Prosjektet marc2rdf (som nå er et prosjekt støttet av NB) har fått ny ham.

    I flere år har det blitt jobbet med konvertering fra MARC (bibliografisk format primært for fysiske bøker) til RDF (ressurs-beskrivelsesformat for alt som kan representeres på nett). Dette har vært store manuelle prosesser og mye prøving og feiling underveis. Alt av konverteringsbehov deichmanske bibliotek har funnet de siste årene har nå blitt samlet i en webapp:

    https://github.com/digibib/marc2rdf

    schematics

    Arkitekturen over applikasjonen. Et eller flere bibliotek høstes via OAI og mappes/konverteres til egen graf i RDF-storen. Sparql-regler og høstingsregler sørger for forbedret innhold

     

    Denne har nå surret og gått gjennom sommeren og ser ut til å ha nådd et akseptabelt stabilitetsnivå. Webappen har tre moduler:

    • mapping    (selve mappingen fra marc til rdf)
    • rules            (sparql-regler for generering av verk, forfatterinstanser, relasjoner, etc.)
    • harvesting (høsting av eksterne lenker til coverart etc.)
    Webappen høster katalogposter via protokollen OAI-PMH, enten fra et datospenn eller daglig. Den bruker valgt mapping i applikasjonen og konverterer postene til RDF og, etter ønske, lagrer resultatet i RDF og/eller legger det direkte inn i RDF-storen. I tillegg   vil det kjøres valgte Sparql-regler (Rules) på det konverterte datasettet og alternativt høstes ekstra data (e.g. coverart) til de nye dataene.

    Fordelene

    Den store fordelen med denne applikasjonen er at den syr sammen alle de manuelle funksjonene til én (=daglig oppdatering) og gjør det enklere å vedlikeholde et RDF-datasett ved siden av det gamle, så lenge dette er i bruk. I tillegg blir det enklere å jobbe med mappingen når du kan teste den live mot en post fra et OAI-depot og få resultatet direkte. Det samme med ekstern høsting. Det må presiseres at dette ikke er et fancy verktøy for enkle drag-n-drop løsninger, men et samlende verktøy for å administrere kompliserte katalogoppgaver og sette opp rutiner for daglig oppdatering.

    Bli med

    Vi har satt opp en instans på en ekstern server som per idag tjener Deichmanske bibliotek, NorBok (Bibsys) og Lillehammer folkebibliotek.
    Vi oppfordrer herved bibliotek som vil prøve ut ny formidling av sine kataloger til å kaste seg på dette prosjektet. Ta gjerne kontakt med oss for hjelp til installering/oppsett evt. for å bli med i vår felles database.
    Eksempler på nye prosjekter som baseres på dette nye katalogformatet er Aktive hyller og Bokanbefalinger.

    Noen snapshots fra applikasjonen:

    oai_settings

    Oppsett av et bibliotek (bibsys) som skal høstes fra

    mapping

    mapping fra MARC til RDF i egen editor

     

    mapping_result

    Test av resultat fra mapping

    conversion

    live testkonvertering på post hentet via OAI og resultat. Det er også mulig å laste opp binær marc eller sette igang en konvertering av et datospenn

     

    No Comments "

    Publikumspcer – avslutning første del

    oktober 17th, 2012

    Les del 1 her

    … og del 2 her

    … og del 3 her.

    Testperioden er nå godt over og det er på tide med en liten oppsummerende evaluering.

    Første del av installering av publikumspcer basert på halvtykke klienter og åpen kildekode er nå avsluttet. Prosjektet startet høsten 2010 og mai 2012 ble de siste Mac’ene byttet ut med publikumsklienter. Det har gått fort i svingene, men stort sett er resultatet veldig positivt.

    Tall

    Sammendrag av bruk per 10.okt 2012:

    klienter i bruk: 115
    totalt antall innlogginger: 78644
    gjennomsnittlig innlogging: 37 min
    totalt: 47858t 46min

    kan også finnes live som rss på http://libkistats.deichman.no.

    Det mest interessante med disse tallene er : selv om vi ikke har innført tidsbegrensning på bruken av maskinene, har gjennomsnittlig innlogging lagt seg på 36-40 min per bruker. Mao. begrenser bruken seg selv, og hovedutfordringen er å tilby nok maskiner.

    Programvare

    Operativsystemet (Lubuntu Linux) har fungert meget bra, det er raskt og responsivt og enkelt å vedlikeholde. Oppgradering skjer enkelt ved å oppgradere hovedbildet. Vi er alltid på siste versjon, p.t. Lubuntu 12.04 LTS som er veldig stabilt. I tilllegg har vi basert oss på Firefox og LibreOffice for å tilby de mest grunnleggende funksjoner, samt bildebehandling (Eye Of Gnome) og redigerbar PDF (Evince).

    Utfordringer

    1. Lånekort

    Innlogging mot lånekort og pin har vært en midlertidig løsning basert på programvaren libki og kobling mot MappaMi. Dette har vært en veldig usikker løsning og har ført til noen driftsproblemer, spesielt siden den avhenger av en egenkomponert integrasjon mot MappaMi og siden libki som programvare ikke er vedlikeholdt siden våren 2011. Våre tilpasninger blir derfor en øde øy. Men vent: vi jobber nå med vår egen løsning: Mycel. Les litt mer om det nedenfor og vent på oppdatering!

     2. Java

    Java er et evig problem, da det er en programmeringsplattform som brukes av veldig mange webapplikasjoner, og som er kronisk usikker. Derfor publiseres stadig nye oppdateringer for å dekke sikkerhetshull. I tillegg er den proprietær og skifter eier ut av det blå. Siste skifte var Sun Microsystems som solgte til Oracle. Det finnes gode åpne kildevarianter av java som er mye bedre (f.eks. OpenJDK), men dessverre er det ofte Sun/Oracles java som brukes. Beste eksempel er BankID, som er bankenes innloggingssystem, brukes av de fleste store i Norge, og er utviklet av et svensk firma. BankID krever ofte oppdateringer av proprietær kode og selv om vi fraråder bibliotekets brukere å bruke nettbank, så er det oftest denne forespørselen som kommer: kan dere oppgradere Java?

    3. Nettverk

    Systemet er 100% nettbasert, og krever stabilt nett. På de stedene/filialene hvor nettverkpunktene er slitte og gamle har det ofte vært problemer. Ved nettverksbrudd vil også klienten slutte å fungere. Men på den andre siden: 99% av bruken er internett-tjenester, så uten nett er publikumsmaskinen uinteressant uansett.

    Det har også vært problemer med drivere for nettverkskort. Dette er behørig dokumentert på it.deichman.no, men har også ført til oppgraderingsbehov oftere enn strengt tatt nødvendig.

    4. utskrift

    Utskrift har vært litt problematisk men ser nå ut til å ha stabilisert seg. Problemet der var å få automatisert oppsett av skriver per klient. Dette må gjøres i riktig rekkefølge i oppstarten, etter nettverket er ferdig satt opp, men før grafikksystemet.

    Nye oppdagelser/viktige erfaringer

    Testperioden har gått «sømløst» over i drift, i hvert fall uten de store protester. Ingen klager over manglende Mac’er og få ser ut til å oppdage at de faktisk ikke bruker Windows. Litt avslutningsvis om noen oppdagelser her som vi har tenkt å ta tak i når vi går inn i neste fase:

    1. lokal tilpasning

    det har vist seg veldig enkelt å gjøre lokale tilpasninger, dvs. innloggingsbilde, skriver, startside i nettleser, osv. Men det har også vist seg enkelt å lage nye bilder med spesialtilpassede formål, f.eks. søkestasjoner (som bruker Epiphany nettleser). Ideellt sett burde alle klienttyper bruke samme grunnbilde, og dette er også noe vi jobber mot. En disclaimer: selve nettverksbiten (automatisk tildeling av oppstartsbilde via DHCP og PXE er ikke enkelt. Men nå er ikke DHCP en systemadminsak og ikke noe for hvermannsen). Dette er også behørig dokumentert på it.deichman.no men vi vil samle det opp i en ekstern dokumentasjon etter hvert.

    2. innlogging

    selv om det ikke er kritisk, er det sterkt ønske om å bruke lånekort på brukere. Mest for å forhindre misbruk. Vi forkaster nå Libki og ønsker vårt egenproduserte system velkommen: Mycel.

    3. Mycel

    dette er et behovsfundert programvare, mest fordi Libki ikke fungerer slik vi ønsker. Det skal på en enkel måte styre innlogging, klient/server-kommunikasjon, er programmert i Ruby og basert på websockets. Programvaren utvikles inhouse, av Petter Goksøyr Åsen og undertegnede, og kode publiseres på http://github.com/digibib/mycel. Forhåpentlig vil andre bibliotek ta i bruk programvaren også.

    Med andre ord: Følg med !

    2 Comments "

    Publikumspcer – del 3

    juni 22nd, 2011

    Les del 1 her, og del 2 her.

    Vi har nå jobbet med utskiftning av publikumsmaskiner i et drøyt halvt år og ligger godt an i forhold til målet:

    å bytte ut alle publikumsmaskiner på Deichmans filialer til halvtykke klienter.

    Vi er veldig fornøyd med resultatet så langt, og har fått veldig bra tilbakemelding fra publikum også. Systemet er basert i sin helhet på fri og åpen programvare. Ubuntu server, Lubuntu klient & libki klientstyringssystem.

    Statistikk p.t.:

    klienter i bruk: 58
    totalt antall innlogginger: 18420
    gjennomsnittlig innlogging: 39 min
    totalt: 11982t 41min

    Det ser veldig bra ut og statistikken så langt er slående: Vi trenger flere maskiner. Vi har også satt opp en feed som viser daglig statistikk: http://libkistats.deichman.no/

    Nytt av dagen er at vi endelig har satt igang uttesting av Libki, på ti maskiner på hovedbiblioteket. Med Libki får de ansatte muligheten til å administrere maskinene og brukerne, gi de mer tid, sparke ut etter misbruk, osv. Publikum logger seg på med lånenummer og pin-kode som i MappaMi, og eventuelle turistbrukere kan få engangspålogging. Foreløpig ligger det på rundt 70 brukere daglig, selv med makstid på en time per bruker!

     

    Også nytt siden sist er at vi nå har satt opp et depot- og feilmeldingssystem som er fritt tilgjengelig for alle som er interessert i å prøve ut det samme systemet:

    it.deichman.no

    Vi trenger samarbeidspartnere for å utvikle og teste Libki og de halvtykke klientene slik at det blir best mulig, og håper flere er interesserte i å prøve det ut. Feilmeldingssystemet er også åpen kildekode, Redmine, programmert i Ruby og veldig bra til dette formålet. Vi har også wiki, dokumentasjon og forumfunksjonalitet her.

    Ta turen innom og prøv!

     

    7 Comments "

    Nye publikumspcer – del 2

    januar 27th, 2011

    Les del 1 her.

    En liten oppfølging på utviklingen innen publikumsmaskiner følger:

    Nå er utskiftningen i full gang og vi fører statistikk på bruken som sier oss følgende:

    klienter i bruk: 31
    totalt antall innlogginger: 4195
    gjennomsnittlig innlogging: 40 min
    totalt: 2764t 05min

    Dette er basert på fire filialer som nå har fått skiftet ut alle publikumsmacene med halvtykke klienter. Mengden tilgjengelige maskiner for publikum er tredoblet, og det er ingen begrensning på bruk annet et innloggingsbilde som ber publikum respektere 30-minuttersgrensen. Interessant nok stopper gjennomsnittsbruken på 40 minutter. Flere filialer venter, og vi vil håpe å ha byttet ut halvparten av maskinparken innen sommeren.

    Tilbakemeldingen har vært bra. Noen barnesykdommer har vi naturligvis hatt, men ris/ros og konstruktiv tilbakemelding fra publikum er eneste gode måten vi kan gjøre dette til en best mulig tjeneste.

    I tillegg har vi begynt uttesting av et klientstyringssystem, Libki, som er åpen kildekode, og som drives som en server-klientløsning med begrensing av tidsbruk per bruker. Systemet er programmert i php/cake på serversiden, og php/gtk på klientsiden. Endel hacking på koden har nå gitt oss et fungerende grensesnitt som lar lånerne logge inn mot lånernummer og en pin-kode.

    Klienten logger på og får tildelt gitt antall minutter basert på daglig kvote. Et vindu viser antall minutter igjen, og det er også mulig for låneren å låse stasjonen for en liten stund. Da kan bare samme bruker låse den opp igjen, eller en bibliotekar fra administrasjonsgrensesnittet.

    Administrasjonsgrensesnittet er enkelt og intuitivt, og ser ut til å fungere lovende. Innloggede maskiner dukker opp med innlogget bruker, en kan legge til tid, sparke bruker, sende beskjeder, merke trøblete brukere, skrive notater på brukere og logge dem ut med enkle grep.

    Dette bør fungere greit i en publikumssetting med mange maskiner. En kan også velge maksgrense per dag og føre statistikk på antall innlogginger per maskiner per sone.

    Vi ser frem til å teste ut dette nærmere, og ser enda mer frem til den videre utviklingen av Libki, som gir lovnader om reservering, utskriftshåndtering, m.m.

    1 Comment "

    Nye publikumspcer – del 1

    oktober 14th, 2010

    Deichman er nå i full gang med å teste et nytt system for publikumspcer. Vi har tradisjonelt tilbudt Mac-er til publikum i Deichman, men tester nå et system basert på halvtykke klienter og Linux.

    For å rekapitulere litt, så er det et ganske så komplekst system som krever litt serverkunnskaper, med ubuntu 10.04 i bunn, men det er ikke så veldig tidkrevende å sette opp. Vi kommer til å lage en steg-for-steg bruksanvisning som vi legger ut så snart som mulig, og bør vel lage en engelsk versjon også, da dette trolig vil være av interesse for flere bibliotek.

    Det er et system av halvtykke klienter, dvs. maskinene du så var bare tomme skall med litt ekstra ram. Disse kjører et live-bilde fra en server, som også fungerer som gateway til internett. Mao. alt går via nett. Fordelene med dette er mange:

    • et bilde kan brukes på en rekke maskiner
    • absolutt ingen mulighet for virus/endringer fra brukere
    • oppgradering/endring gjøres bare på bildet
    • strømsvakt og ingen bevegelige deler som kan gå i stykker
    • gjenbruk av eldre maskiner

    Bildet vi bruker per idag baseres for øvrig på lubuntu 10.04, som er en ekstra lettvekts ubuntu, så bildet blir lite og maskinene veldig raske. Publikumsbrukeren bruker lxlauncher, som er en lettversjon av netbook remix for ubuntu.

    Mer om dette senere.

    Her er utstyret til klientene:


    Klientene bygger vi selv, av et tomt Gigabyte MiB kabinett, eller et ACE Sonay kabinett, med Asus ITX hovedkort og 2GB ram. Med en skjerm på 22″ kommer prislappen på rundt 3000,- per klient.

    åpning Lambertseter
    I skrivende stund har vi akkurat lansert vårt mest ambisiøse tilbud i den nye filialen på Lambertsetersenteret. Her har vi 14 klienter som drives av én enkelt server. Vi har testet åtte samtidige brukere som spiller av youtube-klipp i fullskjerm, uten problemer. Vi vil etter hvert utforme statistikk av bruk og trafikk, slik at vi kan gjøre oss opp et bilde over behovet.

    3 Comments "