Her er oppskrift på korleis du filtrerer ut ei delmengde av datasettet ved hjelp av q, så du kan jobbe vidare med det i andre verktøy.

Forutsetningar: q er installert og du har lasta ned kjøretøy-datasettet (kjoretoy.csv)

Først kan du sjekke kor mange rader utvalget gir. Her med merkenamn = "BMW", som i skjermbildet i første posten din.

q -C readwrite -H -O --delimiter=\; "SELECT COUNT(*) FROM kjoretoy.csv WHERE tekn_merkenavn = 'BMW'"

Svaret er 286 833 treff, og det er godt under grensa på ca. 1 million rader i Excel.

Neste steg er å lagre delmengda til ei ny fil (kjoretoy_bmw.csv):

q -C read -H -O --delimiter=\; "SELECT * FROM kjoretoy.csv WHERE tekn_merkenavn = 'BMW'" > kjoretoy_bmw.csv

I første kommandoen opprettar ein også ei cache-fil (parameter: -C readwrite) som gjer at vidare kommandoar på samme datasett går mykje fortare ved bruk av cache (parameter: -C read). Første kommandoen tok ca. 10 minutt hos meg, mens 2. kommando tok eit halvt minutt. Dersom eg køyrer første kommandoen på nytt med cache, så tar det rundt 5 sekund.

Cache-fila tar ein del diskplass - om lag like mykje som sjølve datasettet.

OBS! Dersom ein opnar ei CSV-fil direkte i Excel, så vil Excel gjette kva datatypar det enkelte felt/kolonne har. Det kan føre til at data blir endra til feil datatype (f.eks. tal blir datoar). For å unngå at Excel rotar til dataene, kan ein først opne Excel, og deretter importere CSV-fila. Brønnøysundregistrene har skrive tips om dette på sine nettsider (under "Korrigere formatfeil i CSV-dokumentet").

Eit godt eksempel på bruk av opne data frå offentleg sektor.

Bergens Tidende har rigga fleire Slack-robotar som automatisk postar i Slack så journalistane kan sjå når noko nytt har skjedd og vurdere om dei skal følgje det opp. Til dømes skrive ei sak.

Verdien er at journalistane får beskjed når noko skjer, i staden for å måtte sjekke ein nettstad med jamne mellomrom for å sjå om det er noko nytt. Robotane sørger for å hente ut informasjon som er relevant. Til dømes kun vise restaurantinspeksjonar for relevant geografisk område i staden for alle inspeksjonar i heile Norge, og kun vise restaurantinspeksjonar med negativt resultat.

Frå Statens vegvesen
Varsel om vegstenging og liknande.

Datakjelde: Trafikkinformasjon på DATEX-format

Bergens Tidende nyttar også trafikk-data frå vegvesenet på si side "Trafikken direkte" (for abonnentar).

Smilefjes-data frå Mattilsynet
Varsel om Smilefjes-tilsyn i relevant område der tilsynet har gjeve negativt resultat.

Smilefjes-data finn du i desse to datasetta:
Smilefjestilsyn på serveringssteder
Kravpunkter for smilefjestilsyn på serveringssteder

Opprinneleg presentert av Bergens Tidende på opne-data-meetup i Bergen februar 2018.
Eg nytta dette som eksempel i ein lyntale om opne data på Booster-konferansen mars 2018 - video - slides.

Veit du ikkje om data du ser etter finst?
Er det data du treng som ikkje er delt endå?
Etterspørr her!

Korleis etterspørr eg data/API?
Du legg inn ein etterspørsel ved å opprette eit nytt innlegg i denne kategorien i forumet (ikkje som svar på dette innlegget).

I denne kategorien kan du etterspørre datasett og API-er. Du kan også etterspørre utviding på eksisterande datasett og API. For eksempel å gjere meir data tilgjengeleg, endringar i API og liknande.

Om du ønskjer å begjære innsyn i data, må du ta kontakt direkte med den ansvarlege verksemda. Du er naturlegvis velkomen til å poste om det her i tillegg

Kva skjer med min etterspørsel?
Etter at innlegget er kome inn, vil vi i Digitaliseringsdirektoratet ta kontakt med våre kontakter og be dei svare. For eksempel: dersom nokon spørr om kjøretøyopplysninger, kontakter vi Statens vegvesen, dersom nokon spørr om kartdata, kontakter vi Kartverket osv. Erfaringane er at verksemdene i offentleg sektor svarer både raskt og positivt!

Sjå kva andre har etterspurt
Sjå andre innlegg i Etterspørr-kategorien.
Finn du ein etterspørsel du synest er interessant eller vil følge?
Logg på Datalandsbyen og gje ei stemme til innlegget eller marker at du vil ha varsel. Dersom det kjem nye innlegg i ein diskusjonstråd du markerer at du vil ha varsel på, får du varsel på e-post.

Tips til å skrive innlegg

1. Sjekk om datasettet finst frå før
   Ta ein kjapt søk på data.norge.no, eventuelt også geonorge.no om det gjeld geodata.

2. Skriv kven som har data du etterspør
   Enten du veit kven som har data du er ute etter, eller har ein anelse, ta det gjerne med.
   Dersom du ikkje veit kvar dataene er, skriv gjerne det.

3. Utdjup om data
   Kva data er du ute etter? Kva informasjonselement er det i datasettet? Kva format ønskjer du data på? Treng du nedlasting av komplett datasett, eller oppslag via API? Kva API-funksjonalitet ønskjer du?

4. Beskriv bruksområde og verdi
   Kva vil du bruke data til? Kva er verdien? Ta gjerne med andre mogelege bruksområde for dataene.

5. Ta med relevante lenker
   Dersom innlegget angår eksisterande datasett/API, legg ved lenke til oppføringa på data.norge.no.

Spennande tema!

Eg er nysgjerrig på korleis Lånekassen får til god informasjonsforvaltning både for interne behov og for å synleggjere for andre kva data dei har med tanke på datadeling. Ein del etatar lurer på kva verktøy dei skal nytte for å få oversikt over data internt. Håpar Lånekassen seier nokre ord om kva verktøy dei brukar for intern datakatalog, og korleis dette fungerer for dei.

Ser fram til å høyre eksempel på kva Oslo Origo har fått til og eksempel på konkrete casar.
Er det nokre eksempel på kva data/API eksterne har brukt og kva verdi det har gitt?

Har Oslo Origo planar om å eksportere beskrivelsane av API-er og datasett til data.norge.no?
Ser det er ei oppføring på data.norge.no som peikar til Oslo kommune sin katalog. For å lettare kunne finne datasett, bør beskrivelsane eksporterast til data.norge.no. Det er kanskje noko som ein arbeidar med allereie?

Vi treng dine innspel for det vidare arbeidet med Datafabrikken!

Kva behov har du for infrastruktur og verktøy for å få meir verdi ut av data?
Dette kan vere behov du har for å bruke data, eller behov du har for å tilby data.
Post gjerne dine innspel i denne tråden, eller opprett ein ny tråd.

Du kan også kontakte oss i Datafabrikken direkte.

Om du vil følgje med på nye postar i Datalandsbyen, så er det RSS-strømmer du kan abonnere på.

Siste nye emner (Recent)
https://datalandsbyen.norge.no/recent.rss
Nyaste tråd/emne, ikkje enkeltpostar.

Nyaste innlegg (Recentposts)
https://datalandsbyen.norge.no/recentposts.rss
Nyaste innlegg, uavhengig av tråd/emne.

I kalender-modulen vi nyttar her i Datalandsbyen, ser det ikkje ut til å vere mogeleg å få ei lenke som ein kan koble inn i eigen kalender, men kanskje på sikt.

Har testa å koble inn recentposts i både Slack og Teams, og det ser ut til å fungere fint.

Slack

Slack lagar automatisk førehandsvisning av meir enn ei lenke, så det blir litt støy. Her er både lenka til innlegget og lenka til ein brukarprofil nemt i innlegget. Kan vere ein kan endre på noko Slack-innstillingar.

Teams
I Teams får ein eit samandrag av nye postar for kvar gang Teams sjekker strømmen.

Abonnerer du på RSS-strømmen på ein anna måte enn Teams eller Slack? Post gjerne tips i denne tråden.

Kvar finn ein data om pris på nettleige?

For heile Norge
Veit NVE har API med nettleigeprisar for heile landet (sjå også oppføring på data.norge.no). Ser data der ikkje er oppdatert med prisar for 2022 endå. Kan forstå det no som det vart mykje att og fram med ny prismodell, og at nettselskap samtidig må setje opp det praktiske kring straumstøtteordning.

Ser det i DIGIN - «bransjens eget digitaliseringsinitiativ» - er standardisert eit API og datamodell for nye nettleigetariffar.

Kva er status på API med oppdaterte nettleigeprisar for heile landet?

Andre kjelder - til dømes nettselskap
Er det andre kjelder til slike data?
Ser nettselskapet Elvia har eit eige API. Er det kanskje andre nettselskap som også har API?

Nokre arrangement som er verdt å få med seg med tanke på datadeling, i kronologisk rekkefølgje:

f) «HVEM TAR LEDELSEN FOR Å BRUKE HELSEDATA PÅ EN SMART OG ETISK MÅTE?»
Tysdag 15/8 kl. 10–10:45 — Ikkje strømming

g) «MIND THE GAP: HVORDAN SKAL VI SIKRE OG STYRE DATAFORVALTNINGEN NÅR AI OVERTAR ALT?»
Tirsdag 15/8 2023 11:00 - 11:45 — Ikkje strømming

h) «HELSEDATA PÅ TVERS AV GRENSENE: ØKT LIVSKVALITET OG MER EFFEKTIVT HELSEVESEN»
Tirsdag 15/8 2023 13:00 - 13:50 — Ikkje strømming

a) «RIKETS DIGITALE TILSTAND: HAR NORGE LØSNINGENE SOM TRENGS?»
Onsdag 16/8 kl. 09–10:30 — Strømmast

i) «HVORDAN KAN KUNSTIG INTELLIGENS FORBEDRE NORGE?»
Onsdag 16/8 2023 11:00 - 11:45 — Strømmast

b) «PÅ VEI TIL DET DATADREVNE SAMFUNN : HVA ER STATUS I NORGE, HVA SKJER I EU, HVILKEN ROLLE SPILLER KI?»
Onsdag 16/8 kl. 14–15 — Strømmast

c) «DSOP - DIGITALISERINGSEVENTYRET SOM HAR SKAPT MILLIARDGEVINSTER AV MILLIONINVESTERINGER»
Onsdag 16/8 kl. 15:30–16:30 — Strømmast

d) «HUSMENN I EGET HUS? INGA STRÜMKE OG GODE HJELPERE UTFORDRER POLITIKERNE»
Kunstig intelligens
Torsdag 17/8 kl. 09–09:50 — Strømmast

e) «REGLER FOR ÅPEN DELING AV DATA - TIL HJELP ELLER HINDER?»
Forskningsdata
Torsdag 17/8 kl. 10–11:30 — Strømmast

j) «INNSIKT ELLER KAOS - DRIVER DATAREVULOSJONEN BESLUTNINGER ELLER MÅLER VI OSS BLINDE?»
Torsdag 17/8 2023 12:30 - 13:30 — Strømmast ikkje

Oppdatert 14/8: la til e–j

Kjenner du til datasett som ikke er å finne via data.norge.no? Kanskje de finst på en annen nettside, eller ikke er publisert. Post i denne tråden eller lag en ny tråd i denne kategorien.

Du kan også sende innspill direkte til Datafabrikken.

Lånekassa har kommentert om dette i ein anna tråd.
Sender melding til eit par personar som kanskje har noko å dele om temaet.

Kan de i Fiskeridirektoratet fortelje meir om behova, kriterier, vurderingar mm.?

Jeg vil tro at med hele aksjonærregisteret, kan man utlede konsernstrukturer ut fra eierskap. For eksempel at et selskap A er morselskap for et selskap B dersom de eier minst 50% av aksjene. Ser i begrepsdefinisjonen for morselskap at det er snakk om å ha «kontroll over stemmeflertallet», noe som ikke nødvendigvis er det samme som å ha et flertall av aksjene, samt at det kan være gjennom avtale og ikke bare gjennom eierskap.

Skal høre med Brønnøysundregistrene og Skatteetaten om de har noe å legge til.

@gard-jenssen Ja, vi har skrudd av fil-opplasting i Datalandsbyen som standard. Plattformen har forsåvidt støtte.

Fekk svar frå SSB:

Du ser fremtidig kommuneinndelinger her:
https://www.ssb.no/klass/klassifikasjoner/131/versjon/1710/koder
Du finner også eldre og nyere inndelinger i fanen «Alle inndelinger».

No har eg varsla kontakter i Kartverket og SSB om denne tråden, så det kjem forhåpentlegvis gode svar snart.

SSB har oversikt over kommunar i sitt KLASS API. Har ikkje tid til å sjå nærare på det. SSB er kjempegode på versjonering, slik at ein kan hente ut tidlegare versjonar av kodeverk, mappe mellom versjonar og liknande.

Tidlegare har både Kartverket og SSB hatt datasett og API der det er mogeleg å få ut framtidig versjon av kommuner og fylker. Skal ta kontakt med dei og høyre.

Søkte litt sjølv og fann ei side hos Kartverket: «Kommune- og fylkesendringer 2024» med noko info.
Den peikar vidare til «Nye fylkes- og kommunenummer fra 2024» på regjeringen.no der det er lenke til eit Excel-ark.
Det reknearket har berre kommunenummer og -namn:

Dei to første siffera i kommunenummeret er fylkesnummret, så ein kan kombinere med andre data for å få inn kva fylke kvar kommune høyrer til. Det beste er nok eit datasett eller API der begge deler er med.

Sjå også relatert etterspørsel som går på fylkesgrenser frå og med 2024.

Er dette eit datasett som framleis blir ajourført?
Lenka som står i beskrivinga i skrivande stund (http://www3.bergen.kommune.no/toilets/) fungerer ikkje.

NPD publiserer en del av dataene fra faktasidene på Digdir sitt Datahotell.
Datahotellet gir konsumentene av data mulighet til både å hente ut via API på ulike formater eller laste ned hele datasett (CSV).

Du finner oversikt over datasettene i katalogene på data.norge.no;
alle datasett-beskrivelser publisert av Oljedirektoratet.

Du kan også finne hvilke datasett som er publisert av NPD via Datahotellet sitt API.
Dette endepunktet lister ut alle publiserte datasett på datahotellet:
https://hotell.difi.no/api/json/_all (NB. JSON, ikke webside)
NPD sine datasett begynner med "npd/" i location-feltet

PS. Husk å alltid sjekke data.norge-beskrivelsen for et datasett i datahotellet for informasjon om datasettet (oppdateringsfrekvens, driftsstatus, blir det fremdeles publisert? etc). Går man rett på Datahotellet på denne måten, kan man finne datasett som er utdaterte og ikke lenger finnes i data.norge.no.

Digdir arrangerer innspelsmøte på vegne av KDD.
Strømmast og med chat her:
https://www.digdir.no/digitalisering-og-samordning/innspillsmote-om-ny-nasjonal-digitaliseringsstrategi/4947

| Hendelse: Innspillsmøte om ny nasjonal digitaliseringsstrategi for statlige virksomheter |

Eit anna eksempel på frivilleg brukarregistrering på opne data frå offentleg sektor;
NAV sitt API for arbeidsplassen.no
https://arbeidsplassen.nav.no/vilkar-api

Der kan ein registrere seg med API-nøkkel. Det gir arbeidsplassen/NAV anledning til å kontakte brukarane ved endringar, driftsavbrot og liknande. Det står ikkje noko om at ein må (valfritt) fortelje om korleis dataene vert brukt, eller at NAV kan kontakte dei om det, sende ut brukarundersøkelse eller liknande. Eg mistenker at etter GDPR er ein nødt til å samle inn eksplisitt samtykke for dette formålet, slik at NAV kan få problem dersom ein seinare vil gjere dette.

@espen-remman sa i Tilgjengeliggjøring av norges lover og forskrifter:

@livar-bergheim Takk for det.
Burde jeg sende et brev til Justisdepartementet for eksempel?

Beklager seint svar. Justisdepartementet er relevante å kontakte om desse dataene ja.

Brukarrådet er i gang. I dag og i morgon kan du sjå det direkte på digdir.no.

Det er også ei diskusjonsløysing attåt: