Hei

Jeg lurer på når Brønnøysundregistrene planlegger å lansere et permanent API for regnskapsregisteret?
Basert på det midlertidige API'et der man kan hente tall fra siste året virker dette som et veldig nyttig verktøy med bred anvendelse innen forskning, journalistikk og programvareutvikling:

https://data.norge.no/dataservices/4dabc5ea-b57b-3b68-9e48-2ff993be3f6e

I min egen jobb som forsker i samfunnsøkonomi er det veldig mange bruksområder der et slikt API hadde gjort jobben min mye lettere. F.eks. jobber jeg nå på et prosjekt der vi skal hente historiske regnskapsopplysninger fra en rekke selskap i perioden 2006 til 2021. Gjennom Brreg sin "nettbutikk" kan vi manuelt hente ut disse tallene, men prosessen er tidkrevende og tungvint . Det hadde vært mye kjappere å sende spørringer (i f.eks R som jeg bruker oftest) for de organisasjonsnummerene vi er interessert i og få responser med infromasjon fra bedriftenes regnskap for hvert år.

Mads Wold

Beregningsteknisk dokumentasjon (grønt hefte) er et vedlegg til statsbudsjettet som viser fordeling av rammetilskudd til (fylkes)kommuner. Tallgrunnlaget fra grønt hefte er er av stor interesse for kommuner, forskere og folk flest fordi det gir detaljert innsikt i hvordan inntektsutjevningen i kommunesektoren fungerer rent praktisk. Du kan for eksempel bruke oversikten til å se hvorfor akkurat din kommune fikk de pengene den fikk over statsbudsjettet.

KDD publiserer hele tallgrunnlaget for grønt hefte på sine nettsider. Dette er en fin oversikt og man kan enkelt laste ned for eksempel hva staten anslo hva hver kommune ville få inn i frie inntekter for alle kommunene i 2023 (tabell 3-k).

Derimot er det vanskelig å maskinelt få tilgang på disse dataene. Jeg mener det hadde vært vært svært nyttig om tallgrunnlaget for alle årene var samlet i én database som var tilgjengelig gjennom et API. I jobben min som forsker bruker jeg ofte tallmaterialet fra grønt hefte, men sånn det er tilgjengeligjort nå er det vanskelig å skrive lett forståelig og reproduserbar kode som henter disse tallene.

For eksempel bruker vi hos oss ofte kriteriedata for kommunene (tabell F-k) for ulike analyseformlål. I dagens arbeidsflyt skraper jeg info om nedlastningslenker fra nettsiden over, og bruker disse til å laste ned excel-filene som jeg deretter rydder for å få dem i et mer analysevennlig format.

Det er noen problemer med denne fremgangsmåten slik jeg ser. For det første er det ikke sikkert at oppskriften jeg per i dag bruker til å identifisere URLene som laster ned datasett er stabile. Videre er lenkene heller ikke standardiserte slik at det er litt ulik fremgangsmåte for å identifisere dem fra år til år. Dette gjør at koden blir knotete og vanskelig å forstå for noen som ikke har sett HTML-koden på KDD sine nettsider – det er forsåvidt også forvirrende for meg selv når jeg kommer tilbake til koden og skal feilsøke, typisk når eg nedlastingslenke endrer seg og et år forsvinner fra tallgrunnlaget jeg henter ned.

Jeg ser for meg et API der jeg kan poste en spørring til en database med alle tabeller fra alle årgangene av grønt hefte. I spørringen kan jeg spesifisere:

• Tabell nummer, for eksempel F-k for kriteriadata for kommunene

• Årstall

• Kommune

Hei og takk for et nyttig API

Er det planer om å legge til funksjonalitet for å hente ned historiske enheter? Det hadde vært nyttig å hente ut kommunestruktur for f.eks. 2019, før kommunereformen i 2020.

Med vennlig hilsen

Mads Fjeld Wold
Senter for Økonomisk Forskning
NTNU Samfunnsforskning

@christiane-andrea-frohlich Supert, takk for rask respons!

En liten oppdatering: i forbindelse med denne posten skulle jeg kjøre kode jeg har laget tidligere som skraper KDD sin overssiktsside for grønt hefte for lenker til å laste ned de ulike tabellene. Nå får jeg imidlertid opp en feilkode 403, som da betyr at jeg ikke har tilgang til nettstedet. Jeg antar at dette betyr at regjeringen har endret tilgangen man har til å skrape nettsidene deres. Muligens i forbindelse med dataangrepene som skjedde i sommer?

Jeg nevner dette fordi det er et annet eksempel på hvorfor skraping er en dårlig måte å maskinelt innhente data på. Dersom det ikke blir gjort riktig (mange forespørsler på kort tid f.eks) så skaper det unødvendig trafikk på nettsidene som skrapes. I tillegg ønsker ofte de som er ansvarlig for nettsidene at folk ikke skal skrape informasjon fra nettsidene, og det kan være vanskelig for den som skal innhente informasjon å vite dette. Jeg vet nå, etter dette tilfellet, at man kan sjekke i nettsiden sin robots.txt fil for å få føringer på hvordan man bør gå frem når man skal innhente informasjon fra nettsiden.

Oppsummert betyr dette at webscraping krever mye mer av deg som bruker enn en tilgang gjennom et API. Jeg har ihvertfall etter denne hendelsen blitt mer obs på hvor viktig det er å utvise aktsomhet når man skal skrape nettsider.

Beklager hvis dette siste ble off-topic!

Hei og tusen takk for svar

Det jeg mener med historiske enheter er kommuner som har eksistert tidligere. For eksempel Finnøy kommune som fra og med 01.01.2020 ble slått sammen med Stavanger kommune.

Oppføring du viser til er absolutt relevant for meg, men det jeg lurer på er om det er planer om å få dette tallgrunnlaget inn i API'et? Det hadde vært nyttig å kunne sende en spørring til API'et der man definerer hvilket år man ønsker å hente ut kommunestruktur på, for eksempel når man skal ha et illustrasjonkart for kommunestrukturen i 2020 hadde det vært fint å kunne sende følgende spørring

curl -X GET "https://ws.geonorge.no/kommuneinfo/v1/kommuner/illustrasjonskart&filter=tidID(2020)" -H  "accept: application/json"

Mads

Jeg synes dette høres ut som en god idé. Som Christiane nevner har jeg kommet med et lignende forslag, men for data i Grønt Hefte (vedlegg til statsbudsjettet). Disse finnes allerede i excel filer, men disse er ikke laget for maskinell behandling da tallgrunnlaget ikke kan leses lett inn i et tabellformat.

Takk for tilbakemelding @christiane-andrea-frohlich!

Da får vi krysse fingrene for at de ordner det en gang i den ikke altfor fjerne fremtid