Her er oppskrift på korleis du filtrerer ut ei delmengde av datasettet ved hjelp av q, så du kan jobbe vidare med det i andre verktøy.

Forutsetningar: q er installert og du har lasta ned kjøretøy-datasettet (kjoretoy.csv)

Først kan du sjekke kor mange rader utvalget gir. Her med merkenamn = "BMW", som i skjermbildet i første posten din.

q -C readwrite -H -O --delimiter=\; "SELECT COUNT(*) FROM kjoretoy.csv WHERE tekn_merkenavn = 'BMW'"

Svaret er 286 833 treff, og det er godt under grensa på ca. 1 million rader i Excel.

Neste steg er å lagre delmengda til ei ny fil (kjoretoy_bmw.csv):

q -C read -H -O --delimiter=\; "SELECT * FROM kjoretoy.csv WHERE tekn_merkenavn = 'BMW'" > kjoretoy_bmw.csv

I første kommandoen opprettar ein også ei cache-fil (parameter: -C readwrite) som gjer at vidare kommandoar på samme datasett går mykje fortare ved bruk av cache (parameter: -C read). Første kommandoen tok ca. 10 minutt hos meg, mens 2. kommando tok eit halvt minutt. Dersom eg køyrer første kommandoen på nytt med cache, så tar det rundt 5 sekund.

Cache-fila tar ein del diskplass - om lag like mykje som sjølve datasettet.

OBS! Dersom ein opnar ei CSV-fil direkte i Excel, så vil Excel gjette kva datatypar det enkelte felt/kolonne har. Det kan føre til at data blir endra til feil datatype (f.eks. tal blir datoar). For å unngå at Excel rotar til dataene, kan ein først opne Excel, og deretter importere CSV-fila. Brønnøysundregistrene har skrive tips om dette på sine nettsider (under "Korrigere formatfeil i CSV-dokumentet").

Eit godt eksempel på bruk av opne data frå offentleg sektor.

Bergens Tidende har rigga fleire Slack-robotar som automatisk postar i Slack så journalistane kan sjå når noko nytt har skjedd og vurdere om dei skal følgje det opp. Til dømes skrive ei sak.

Verdien er at journalistane får beskjed når noko skjer, i staden for å måtte sjekke ein nettstad med jamne mellomrom for å sjå om det er noko nytt. Robotane sørger for å hente ut informasjon som er relevant. Til dømes kun vise restaurantinspeksjonar for relevant geografisk område i staden for alle inspeksjonar i heile Norge, og kun vise restaurantinspeksjonar med negativt resultat.

Frå Statens vegvesen
Varsel om vegstenging og liknande.

Datakjelde: Trafikkinformasjon på DATEX-format

Bergens Tidende nyttar også trafikk-data frå vegvesenet på si side "Trafikken direkte" (for abonnentar).

Smilefjes-data frå Mattilsynet
Varsel om Smilefjes-tilsyn i relevant område der tilsynet har gjeve negativt resultat.

Smilefjes-data finn du i desse to datasetta:
Smilefjestilsyn på serveringssteder
Kravpunkter for smilefjestilsyn på serveringssteder

Opprinneleg presentert av Bergens Tidende på opne-data-meetup i Bergen februar 2018.
Eg nytta dette som eksempel i ein lyntale om opne data på Booster-konferansen mars 2018 - video - slides.

I denne kategorien kan du etterspørre datasett og API-er. Du kan også etterspørre utviding på eksisterande datasett og API. For eksempel å gjere meir data tilgjengeleg, endringar i API og liknande.

Om du ønskjer å begjære innsyn i data, må du ta kontakt direkte med den ansvarlege verksemda. Du er naturlegvis velkomen til å poste om det her i tillegg

Tips til å skrive innlegg

1. Sjekk om datasettet finst frå før
   Ta ein kjapt søk på data.norge.no, eventuelt også geonorge.no om det gjeld geodata.

2. Skriv kven som har data du etterspør
   Enten du veit kven som har data du er ute etter, eller har ein anelse, ta det gjerne med.
   Dersom du ikkje veit kvar dataene er, skriv gjerne det.

3. Utdjup om data
   Kva data er du ute etter? Kva informasjonselement er det i datasettet? Kva format ønskjer du data på? Treng du nedlasting av komplett datasett, eller oppslag via API? Kva API-funksjonalitet ønskjer du?

4. Beskriv bruksområde og verdi
   Kva vil du bruke data til? Kva er verdien? Ta gjerne med andre mogelege bruksområde for dataene.

5. Ta med relevante lenker
   Dersom innlegget angår eksisterande datasett/API, legg ved lenke til oppføringa på data.norge.no.

Spennande tema!

Eg er nysgjerrig på korleis Lånekassen får til god informasjonsforvaltning både for interne behov og for å synleggjere for andre kva data dei har med tanke på datadeling. Ein del etatar lurer på kva verktøy dei skal nytte for å få oversikt over data internt. Håpar Lånekassen seier nokre ord om kva verktøy dei brukar for intern datakatalog, og korleis dette fungerer for dei.

Ser fram til å høyre eksempel på kva Oslo Origo har fått til og eksempel på konkrete casar.
Er det nokre eksempel på kva data/API eksterne har brukt og kva verdi det har gitt?

Har Oslo Origo planar om å eksportere beskrivelsane av API-er og datasett til data.norge.no?
Ser det er ei oppføring på data.norge.no som peikar til Oslo kommune sin katalog. For å lettare kunne finne datasett, bør beskrivelsane eksporterast til data.norge.no. Det er kanskje noko som ein arbeidar med allereie?

Vi treng dine innspel for det vidare arbeidet med Datafabrikken!

Kva behov har du for infrastruktur og verktøy for å få meir verdi ut av data?
Dette kan vere behov du har for å bruke data, eller behov du har for å tilby data.
Post gjerne dine innspel i denne tråden, eller opprett ein ny tråd.

Du kan også kontakte oss i Datafabrikken direkte.

Om du vil følgje med på nye postar i Datalandsbyen, så er det RSS-strømmer du kan abonnere på.

Siste nye emner (Recent)
https://datalandsbyen.norge.no/recent.rss
Nyaste tråd/emne, ikkje enkeltpostar.

Nyaste innlegg (Recentposts)
https://datalandsbyen.norge.no/recentposts.rss
Nyaste innlegg, uavhengig av tråd/emne.

I kalender-modulen vi nyttar her i Datalandsbyen, ser det ikkje ut til å vere mogeleg å få ei lenke som ein kan koble inn i eigen kalender, men kanskje på sikt.

Har testa å koble inn recentposts i både Slack og Teams, og det ser ut til å fungere fint.

Slack

Slack lagar automatisk førehandsvisning av meir enn ei lenke, så det blir litt støy. Her er både lenka til innlegget og lenka til ein brukarprofil nemt i innlegget. Kan vere ein kan endre på noko Slack-innstillingar.

Teams
I Teams får ein eit samandrag av nye postar for kvar gang Teams sjekker strømmen.

Abonnerer du på RSS-strømmen på ein anna måte enn Teams eller Slack? Post gjerne tips i denne tråden.

Kvar finn ein data om pris på nettleige?

For heile Norge
Veit NVE har API med nettleigeprisar for heile landet (sjå også oppføring på data.norge.no). Ser data der ikkje er oppdatert med prisar for 2022 endå. Kan forstå det no som det vart mykje att og fram med ny prismodell, og at nettselskap samtidig må setje opp det praktiske kring straumstøtteordning.

Ser det i DIGIN - «bransjens eget digitaliseringsinitiativ» - er standardisert eit API og datamodell for nye nettleigetariffar.

Kva er status på API med oppdaterte nettleigeprisar for heile landet?

Andre kjelder - til dømes nettselskap
Er det andre kjelder til slike data?
Ser nettselskapet Elvia har eit eige API. Er det kanskje andre nettselskap som også har API?

Kjenner du til datasett som ikke er å finne via data.norge.no? Kanskje de finst på en annen nettside, eller ikke er publisert. Post i denne tråden eller lag en ny tråd i denne kategorien.

Du kan også sende innspill direkte til Datafabrikken.

Lånekassa har kommentert om dette i ein anna tråd.
Sender melding til eit par personar som kanskje har noko å dele om temaet.

Kan de i Fiskeridirektoratet fortelje meir om behova, kriterier, vurderingar mm.?

Er det nokon som har gode eksempel på å få oversikt over kven som brukar data/API ein tilbyr, og derunder korleis data vert brukt, verdi etc.?
Både open og lukka deling.

Å ha oversikt over kven som brukar data/API der deling er etter offentleglova er ei utfordring, sidan ein ikkje kan krevje å vete kven brukaren er. Det er likevel mogeleg å tilby frivilleg registrering.
Er det nokon gode eksempel på dette?

Vi i Digitaliseringsdirektoratet har tatt kontakt med nokon av våre kontakter for råd om kvar ein finn slike data, og du høyrer forhåpentlegvis meir her i denne diskusjonstråden i løpet av eit par dagar.

| Hendelse: Digdir sine tilbud — webinar 16.03.2023 |

@leo-valen Takk for tipsa. Tenker konkret på kun korleis handtere rate-limiting. Å lage klientar som respektere cache-headerar (til dømes ETag) kan vi setje som premiss.

La oss seie at ein skal gjere 10 kall mot hotell.difi.no.
Dersom ein fyrer av alle kalla i eit jafs, går ein over grensa på 5 forespørslar i sekundet, og ein får feilmelding på halvparten og ein sit igjen med berre deler av dataene.
Ein (for) enkel måte å handtere dette er å automatisk prøve på nytt dersom ein får feilkode 429 (HTTP-statuskode «Too many requests») tilbake. Det fører til mange mislykka kall før ein kjem i mål med alle 10 kalla. For serveren er det langt mindre belastande å avvise for mange kall enn om serveren ikkje hadde hatt rate-limiting og måtte handtere mange kall i eit jafs. Det blir likevel ein del unødige kall med denne framgangsmåten.

Fann ein artikkel som går igjennom ulike strategiar for å handtere dette:
https://www.useanvil.com/blog/engineering/throttling-and-consuming-apis-with-429-rate-limits/

Grunnen til det opprinnelege spørsmålet er behovet for ein som utviklar å sleppe å forhalde seg til kompleksiteten med å handtere dette. Ideelt sett vil ein ha eit bibliotek som hjelper med dette slik at ein i koden berre kan oppgje kva kall som skal gjerast, og så handterer biblioteket rate-limiting og svar tilbake.

Alternativ: laste ned heile datasettet
I tilfellet med datahotellet, får ein ut data med 100 rader pr. API-kall (paginering). Dersom ein vil hente ein stor del av datasettet, og datasettet ikkje er så stort, bør ein vurdere å heller hente ned heile datasettet. Er det f.eks. under 20 MB, så kan det fungere fint å hente ned også i klientside-kode som køyrer i nettlesaren til sluttbrukaren. Å laste ned heile datasettet i eitt kall er kun tilgjengeleg i CSV-format.

Gjorde dette sjølv for eit par år sidan i eit hobbyprosjekt (søk på «$.csv»). Riktignok eit eldre programvarebibliotek (jQuery-plugin). Det fungerte svært bra. Nettlesaren handterte då cache-mekansimen (ETag) slik at datasettet (ca. 5 MB) ikkje vart lasta ned på nytt med mindre det var ein ny versjon av datasettet.

@johanna-drageset Jeg jobber i Digitaliseringsdirektoratet (Digdir) med blant annet Datahotellet (hotell.difi.no) og bistår Landbruksdirektoratet med å legge ut datasett på Datahotellet. Har sett nærmere på dette, og det ser ut til at nyeste versjonen av datasettet inneholder dataene du spørr etter. Ny versjon av datasettet ble nettopp lagt ut, etter noe forsinkelse på vår side. Det kan være at hvor mye som er gitt i tilskudd først kommer med i siste versjon av datasettet som blir publisert på nyåret. Dette kan gjerne Landbruksdirektoratet avklare.

Ein innleia med at vi vart kjent med Tadata via Datalandsbyen.
Legg på eit par lenker til relevante trådar:

• Hva er egentlig et API?
• Hvorfor er god API dokumentasjon så vanskelig?
• Tadata.no (eksempel på bruk av data)

@jostein @Tuva Kan de fortelje litt om kva som er nytt på tadata.no sidan de lanserte? Post gjerne i denne tråden i ny og ne når de lagar ny funksjonalitet eller noko slikt — gjerne eit skjermbilde eller to. Interessant å følgje med på!

Slenger på lenke til Kode24-artikkelen om Tadata som de nemde i dagens fagleg-arena-møte.
«Lager helt ny oversikt over norske API-er» 30.08.2021

Takk for deling! Kanskje til nytte for å tekste og legge ut fleire møter, webinarer og liknande. Skal tipse kollegaer internt i Digdir.

Såg artikkel i Digi.no om liknande arbeid ved Universitetet i Oslo (UiO).
17.02.2023: «Bygde tjeneste som sparer dem for 20 millioner i året: − Dette er ny og sjokkerende teknologi» (krev abonnement)

Dei skryt av at dei utvikla dette på rekordtid fordi Whisper er gjort tilgjengeleg som open kjeldekode, og at tekstane som blir generert frå lyd er på eit mykje høgare nivå enn med tidlegare løysingar, og handterer dialekter godt.

Korleis er køyretida på dette når ein køyrer lokalt på eiga maskin?

No kl. 13:00 legg vi om nettstaden https://hotell.difi.no/
For brukarane skal ein ikkje merke nokon forskjell.

Kjeldekoden for nettstaden er no å finne på GitHub, og nettstaden blir servert via Github Pages. Merk at dette kun er nettstaden der ein kan lese dokumentasjon, driftsmeldingar og navigere i datasett. Sjølve datahotellet (nåast på adresser som begynner med hotell.difi.no/api/) er ein eigen komponent som ikkje er berørt av dette.

Nettstaden hotell.difi.no har opp mot 100 besøkande kvar dag. Datahotellet sitt API har mange fleire treff.

Bakgrunnen er at nettstaden har køyrt på Drupal 7 som no skal fasast ut til fordel for nyare versjonar av Drupal, som til dømes digdir.no allereie køyrer på. For hotell.difi.no fann vi ut at det beste var å konvertere til statiske nettsider.

No blir det også mogeleg å gje tilbakemeldingar på nettstaden, enten det er funksjonalitet i å bla i datasett eller dokumentasjonen, ved å legge inn issues i GitHub, eller til og med foreslå endringar direkte i form av Pull Requests.

Deler dette arrangementet her. Deltok sjølv på arrangementet 2016–2018 og det var mange gode og varierte foredrag.

| Hendelse: Oslo Big Data Day |

Datafabrikken skal gjøre det enklere for deg å dele, finne og anvende data. Nå er fabrikken åpnet og i dette webinaret skal vi gi deg en skikkelig rundtur, vise deg alle mulighetene og tjenestene vi tilbyr.

Webinaret ble sendt første gang torsdag 12. januar. Du kan se opptaket i etterkant på arrangementssiden på digdir.no

Spørsmål eller kommentarer etter å ha sett opptaket?
Kontakt oss eller skriv her i Datalandsbyen

| Hendelse: Bli med på rundtur i Datafabrikken (webinar) |