Erfaringer med innkjøp av applikasjoner for interne datakataloger
-
Hei alle
Her i Fiskeridirektoratet skal vi anskaffe en intern datakatalog som en del av vår strategi for informasjonsforvaltning. Vi har vært igjennom en intern behovskartlegging (brukerbehov, etc.) og har nå tatt de innledende markedsdialogene.
Vi stanger dog litt i møte med potensielle leverandører av en applikasjon for interne datakataloger, og føler ikke at vi finner et opplagt match. Vi vil derfor gjerne komme i kontakt med andre offentlige myndigheter, som har anskaffet en intern datakatalog, for å høre om valg av applikasjon, prosess, etc. Noen som har relevante erfaringer angående innkjøp eller in-house utvikling av en datakatalog?
Vh Aslak
-
Lånekassa har kommentert om dette i ein anna tråd.
Sender melding til eit par personar som kanskje har noko å dele om temaet.Kan de i Fiskeridirektoratet fortelje meir om behova, kriterier, vurderingar mm.?
-
Hei Livar og takk for hurtig svar!
Det er jo et noe omfattende dokument, men vi ser bl.a. etter følgende:
Generelle krav/funksjonalitet:
• Ønskelig å kunne støtte felles offentlige standarder (Digdir og “GeoNorge”-standarder)
• Bør kunne legge til rette for kommunikasjon med datakatalog knyttet til vår kartløsning og eksterne kataloger som felles datakatalog på data.norge.no og geodata.no)
• Må kunne kommunisere med direktoratets sentrale databaser (primært Oracle)
• Maskinell avlesing av data (variable) og metadata
• Mulig å søke om og gi tilgang til datasett
• Dokumentasjon på flere språk (bokmål/nynorsk/engelsk)Brukervennlighet:
• Løsning som gjør det enkelt å registrere og oppdatere/vedlikeholde informasjon
• Søkefunksjon som gjør det mulig å søke på sentrale begrep, variabler og andre kjennetegn
• Brukergrensesnittet må kunne tilpasses ulike brukergrupperInnhold:
I katalogen(e) må det være mulig å registrere følgende:
• For hvert enkelt datasett:
o Opphav til dataene, inkl hjemmel
o Dataeier og datatilrettelegger
o Hvordan dataene blir generert/mottatt
o Hvordan dataene bearbeides
o Hvor dataene finnes/lagres
o Hvilke variabler datasettet inneholder, og beskrivelse av disse
o I hvilke applikasjoner blir variabler og/eller datasett brukt
o Kvalitet på datasettet/variablene
o Om dataene er åpne eller om det er begrensninger i tilgang (personvern, forretningshemmeligheter, børssensitivitet mv)
o Hvem som har/skal ha tilgang til dataene
o Om datasettet (eller deler av dette) er gjort tilgjengelig eksternt og i hvilken formVh Aslak
-
En tilnærming til en slik anskaffelse bør være med utgangspunkt i hva en COTS-løsning kan tilby, og hvor skillet mellom standardfunksjonalitet og egne særbehov går. En fullskala katalogløsning for informasjonsforvaltning bør muligens ikke være ambisjonen.
Det vil sannsynligvis være behov for å tilpasse organisasjon til ny arbeidsform, og også vurdere mengde utvikling for å integrere og kostnader tilknyttet teknisk forvaltning.
Standarder er krevende.. Det å få et internasjonalt produkt til å tilpasse seg en norsk applikasjonsprofil er lite realistisk. Men så lenge produktet har et API vil du kunne utvikle alene eller sammen med andre muligheter for å kjøre import/eksport til ønsket format.
Tilkobling til fysiske datakilder er krevende. Derav også aktive metadata. Det stiller krav til sikkerhet, men også at datastrukturer er utviklet på en standard måte. Det kan her være at det første krave om gode import-api er tilstrekkelig, og at en her også må kunne se på mulighet for å utvikle et uttrekk fra et lokalt format til en standardisert form.
Det å få tilgang til fysisk data er krevende. Vi ser at vi i Lånekassen må integrere med minst 2 andre løsninger for å realisere dette, og vi har så langt ikke prioritert dette behovet. Må denne prosessen være automatisert, eller er det tilstrekkelig at den er forutsigbar og at det med utgangspunkt i å oppdage hva som finnes kan settes i gang manuelle prosesser for å få tilgang?. Kan man beskrive den manuelle prosessen godt er det et bra utgangspunkt for å automatisere, men det det er en kostnad med dette som bør vurderes.
Språkstøtte på feltnivå er krevende for denne typen løsninger, og det kan være at kravet kan nyanseres til at en skal kunne legge inn flere beskrivelser.
Ser vi på brukergrensesnitt utover UU-krav så kommer vi igjen tilbake til det med API. Det å trekke ut informasjon fra en katalog og tilby denne andre steder krever spesialutvikling, og da er egentlig bare et godt API det som er nødvendig.
Poenget mitt her er at jeg tror ikke at vi kan kjøpe den perfekte løsningen, men at det er mulig å designe den med å se på kombinasjonen av ferdigprodukter og hvordan disse er designet med tanke på maskinlesbarhet og fleksibilitet i uttrykksrom
-
Hei @Aslak-Ø
Jeg likte godt denne diskusjonen her, og er nysgjerrig på om du fant frem til en type intern katalog som støtter behovene deres? Er interessant å vite hva som tilbys der ute av interne verktøy for datahåndtering. -
Hei @christiane-andrea-frohlich! Jeg kan opplyse om at vi i etterkant av denne korrespondansen hadde et veldig godt møte med Gustav og Lånekassen, som skubbet oss i riktig retning. Vi er pr. nå i testfasen av to datakataloger som ligger integrert i to forskjellige skyløsninger. Om vi skal «koble noe mer» på disse, som Lånekassen har gjort med Collibra, har vi foreløpig ikke tatt stilling til
-
@aslak-ø Spennende. Håper vi får et innlegg om dette i Datalandsbyen hvor det utdypes litt mer om hva dere landet på til slutt.
-
Hei @Aslak-Ø
Så bra at dere kjører seriøs prosess med å skaffe verktøy for intern datakatalog.
Mattilsynet som jeg jobber i, bestemte seg ikke for å legge midler i tilsvarende behov. Vi konkluderte da etter noe tid med å satse på FDK som vår interne og eksterne datakatalog. Vi er i ferd med å ta den i bruk som intern katalog for begreper, og vil også gå igang med å registrere datasett denne veien. Vi har allerede engasjert mange av dataeierne i å føre GDPR protokoller i løsningen, så vi er igang med desentral bruk av FDK.
Jeg har en filosofi om at det er dataeierne i huset som må ha ansvaret for å definere sine begreper og beskrive sine datasett - "holde orden på sitt rom". Så får jeg og noen informasjonsforvaltningsmennesker hos oss være tilretteleggere for våre dataeiere - "leie dem i handa".
FDK har jo relativt greie skjema for dette. Styrken i FDK er at den følger standarder som vi alle er pålagt å følge. Og at det til slutt er et klikk fra ansvarlig eier for å gjøre metadatene offentlig tilgjengelig.
Vi er jo søsteretater, og jeg ser fram til at vi begge kan henvise til FDK for våre metadata :-).
