Kategorier

• Tips og spørsmål

  I denne gruppen kan du dele tips og spørre om alt du måtte lure på.

  57
  Emner
  186
  Innlegg

  L livar.bergheim :

  @leo-valen Takk for tipsa. Tenker konkret på kun korleis handtere rate-limiting. Å lage klientar som respektere cache-headerar (til dømes ETag) kan vi setje som premiss.

  La oss seie at ein skal gjere 10 kall mot hotell.difi.no.
  Dersom ein fyrer av alle kalla i eit jafs, går ein over grensa på 5 forespørslar i sekundet, og ein får feilmelding på halvparten og ein sit igjen med berre deler av dataene.
  Ein (for) enkel måte å handtere dette er å automatisk prøve på nytt dersom ein får feilkode 429 (HTTP-statuskode «Too many requests») tilbake. Det fører til mange mislykka kall før ein kjem i mål med alle 10 kalla. For serveren er det langt mindre belastande å avvise for mange kall enn om serveren ikkje hadde hatt rate-limiting og måtte handtere mange kall i eit jafs. Det blir likevel ein del unødige kall med denne framgangsmåten.

  Fann ein artikkel som går igjennom ulike strategiar for å handtere dette:
  https://www.useanvil.com/blog/engineering/throttling-and-consuming-apis-with-429-rate-limits/

  Grunnen til det opprinnelege spørsmålet er behovet for ein som utviklar å sleppe å forhalde seg til kompleksiteten med å handtere dette. Ideelt sett vil ein ha eit bibliotek som hjelper med dette slik at ein i koden berre kan oppgje kva kall som skal gjerast, og så handterer biblioteket rate-limiting og svar tilbake.

  Alternativ: laste ned heile datasettet
  I tilfellet med datahotellet, får ein ut data med 100 rader pr. API-kall (paginering). Dersom ein vil hente ein stor del av datasettet, og datasettet ikkje er så stort, bør ein vurdere å heller hente ned heile datasettet. Er det f.eks. under 20 MB, så kan det fungere fint å hente ned også i klientside-kode som køyrer i nettlesaren til sluttbrukaren. Å laste ned heile datasettet i eitt kall er kun tilgjengeleg i CSV-format.

  Gjorde dette sjølv for eit par år sidan i eit hobbyprosjekt (søk på «$.csv»). Riktignok eit eldre programvarebibliotek (jQuery-plugin). Det fungerte svært bra. Nettlesaren handterte då cache-mekansimen (ETag) slik at datasettet (ca. 5 MB) ikkje vart lasta ned på nytt med mindre det var ein ny versjon av datasettet.

• Gode eksempler på bruk

  Brukt data eller API-er til noe spennende? Del her!

  16
  Emner
  24
  Innlegg

  J jostein :

  Hei, @livar-bergheim og takk for interessen!

  Vi gjør store og små forandringer nesten hver uke, men kan veldig gjerne prøve å holde dere litt oppdatert her 🙂

  Den mest synlige endringen siden start er en redesign.
  Hovedformålet her var forenkling - mye av det vi hadde var forivrrende for folk flest. Spesielt at vi skilte på tilbydere (av API) og API. Nå snakker vi bare om API, og viser tilbyderen der det er naturlig uten å bruke det ordet så mye.

  Screenshot 2023-03-12 at 11.59.58.png

  Vår mest populære lansering siden starten er nok "prøv api" funksjonaliteten. Der vi tillater å teste et api rett i nettleseren. Det virker som folk liker at det er enkelt, og vi ser at mange bruker mye tid der inne. Ved at vi bygger spørringer for deg og lar deg endre variable, blir det også en fin introduksjon til hva et API er.

  https://tadata.no/try/4e52a45e-e6a5-470d-b8a5-cb1f991b575e

  For enkelte tilbydere gjør vi også nøkkelhåndtering her, så vi kan spørre på lukkede API med en testnøkkel, uten at den eksponeres til brukerene. For tilbyderene blir dette en fin måte vise frem hva APIet deres kan gjøre.

  Screenshot 2023-03-12 at 12.13.56.png

  Utover det, har vi laget og forbedret muligheten for en bedrift å registrere seg selv, og egne APIer uten at vi må hjelpe til med det. Dette gjør at tilbydere (forhåpentligvis) enkelt kan administrere sine APIer på Tadata.no. Vår "Legg til et API" er kontinuerlig under forbedring for å gjøre det lekende lett å dokumentere et API på sidene våre.

  Screenshot 2023-03-12 at 12.05.21.png

  Screenshot 2023-03-12 at 12.06.03.png

  Håper det ga en grei oversikt over de brede linjene på hva som er nytt hos oss 🙂 Er det noe spesielt du / dere lurer på må dere gjerne bare spørre! Ellers skal vi prøve å holde livet i denne tråden fremover.

• Møter og arrangementer

  Diskuter og tips om møter, arrangementer og konkurranser.

  103
  Emner
  152
  Innlegg

  T terje.bertelsen :

  09:00 «Selskapshendelser - hvordan gjøre offentlig sektor usynlig og få bedre kvalitet og evne til sammenhengende tjenester»
  Brønnøysundregistrene betjener bedrifter med stor grad av egne systemer i sitt økosystem. I økende grad er det behov for at ulike hendelser som selskapsetablering, endringer i styret, kapitalendringer osv. kan skje raskt og i de flatene der brukeren er i det daglige, i nettbank, i regnskapssystemer osv. Derfor jobber vi nå med å etablere APIer og standardiserte informasjonsmodeller for slike hendelser og redusere behovet for eget GUI. Som en del av dette kan vi også tenke hendelsesorientert arkitektur ut mot tilgjengeliggjøring som et sterkt bidrag til andre sammenhengende tjenester
  Presentert av David Norheim, Brønnøysundregistrene.

  10:00 «Lovutvalg for helhetlig regulering av viderebruk av offentlig informasjon («viderebruksutvalget» uformelt)
  : kort innføring og forklaring av mandat»
  Høsten 2021 satte KDD (da KMD) ned et utvalg som skal se på dagens regler om viderebruk av offentlig informasjon (data). Dette tar utgangspunkt i dagens offentlighetslov med forskrift, samt det kommende EU direktivet om åpne data (Open Data Directive). Utvalget skal også se på Dataforvaltningsforordningen. En annen ting utvalget skal vurdere er om det bør innføres en plikt til tilgjengeliggjøring av visse typer offentlige data
  Presentert av Silje Johansen, Digdir

  Du kan bli med på Teams-møtet via vår Arrangementsside, se: https://www.digdir.no/datadeling/fagleg-arena-datadeling-og-informasjonsforvaltning/4351

  [event][name]Faglig arena for informasjonsforvaltning og deling av data 22.03.23[/name][allday]false[/allday][startDate]1679472000000[/startDate][endDate]1679479200000[/endDate][reminders][][/reminders][location]Teams videomøte[/location][description]

• Etterspør datasett og API-er

  Post om datasett og API-er du ønsker å få tilgang til eller har spørsmål om.

  26
  Emner
  91
  Innlegg

  L livar.bergheim :

  Vi i Digitaliseringsdirektoratet har tatt kontakt med nokon av våre kontakter for råd om kvar ein finn slike data, og du høyrer forhåpentlegvis meir her i denne diskusjonstråden i løpet av eit par dagar.

• Juss og data

  Diskuter juridiske utfordringer, få råd fra Nasjonalt ressurssenter for deling av data og gi innspill på veiledere, høringssvar m.m.

  6
  Emner
  18
  Innlegg

  V vidar.vestnes :

  Hei,

  Jeg lurer på hva som er lovlig bruk av åpne og offentlige data. Kan jeg for eksempel laste ned åpne data fra Brønnøysundregistrene som inneholder basisinfo om alle virksomheter i Norge, og publisere disse under et nytt domene, f.eks som en tjeneste hvor man kan søke etter bedrifter?

  Det er også mulig å laste ned åpne data om smilefjes status til resturanter i Norge fra datafabrikken.norge.no . Ved å kombinere disse dataene med basis info kan man lage en nyttig side for å slå opp smilefjes status til resturanter i Norge, og alt er basert på åpne og offentlige data.

  Vil dette være lovlig?

• Kommentartråder

  Kommentarer på innhold i data.norge.no

  19
  Emner
  58
  Innlegg

  J johanna.drageset :

  Kjempemessig. Tusen takk!

• Arenaer og prosjekter

  Her kan du finne arenaer hvor du kan diskutere bestemte problemstillinger, eller se hvilke prosjekter andre holder på med.

  Kunstig intelligens

  Sammenhengende tjenester

  Innsynsløsning
  15
  Emner
  28
  Innlegg

  T terje :

  Med ChatGPT og Github Copilot, som begge er kunstig intelligens / AI systemer, laget jeg et program som gjør at alle kan hente ut og analysere norske bedrifter.
  Tree persons, Me, ChatGPT and Github Copilot sitting in front of my computer writing code. We are dressed in different colours and the background is the andromeda. The image is digital art.
  Når du har informasjon om alle bedrifter i Norge, kan du lage analyser, søk og andre ting som normalt ville krevd inngående kunnskap om programmering, databaser og statistikk.
  Ved å stille presise spørsmål til ChatGPT lager den koden som skal til. Dette spørsmålet:

  The table brreg_enheter_alle is a table of organizations. The number of employees are defined by the field antall_ansatte. Create a new function named getLargestOrganizations that returns the records that has the most employees. Sort the results so that the organization with the largest amount of employees is at the top. There are many records in the table so it must be possible to pass a parameter named numberOfOrganizations to the function getLargestOrganizations that defines how many organizations to return. Use the already defined function displayRecords to display the result.

  Ga meg et program som gjør det mulig å hente ut de 10 største bedriftene i Norge. Hvilke andre spørsmål kommer du på?

  Jeg har satt sammen koden til et program som gjør du også kan gjøre det samme. Kan du formulere spørsmålet, så kan ChatGPT lage koden som gjør det mulig å svare på spørsmålet.

  Med hjelp av kunstig inteligens kan du lage analyser, søk og andre ting som normalt ville krevd inngående kunnskap om programmering, databaser og statistikk.

  Du finner koden og prosjektet shadow-brreg på GitHub!

• Tilbakemeldinger og nyheter

  Kom med tilbakemeldinger på Datalandsbyen, Felles datakatalog, Transportportal og Datafabrikken.

  Data.norge.no

  Datalandsbyen

  Datafabrikken
  22
  Emner
  32
  Innlegg

  L livar.bergheim :

  No kl. 13:00 legg vi om nettstaden https://hotell.difi.no/
  For brukarane skal ein ikkje merke nokon forskjell.

  5a98360f-9d01-4436-a252-2f2e13845639-image.png

  Kjeldekoden for nettstaden er no å finne på GitHub, og nettstaden blir servert via Github Pages. Merk at dette kun er nettstaden der ein kan lese dokumentasjon, driftsmeldingar og navigere i datasett. Sjølve datahotellet (nåast på adresser som begynner med hotell.difi.no/api/) er ein eigen komponent som ikkje er berørt av dette.

  Nettstaden hotell.difi.no har opp mot 100 besøkande kvar dag. Datahotellet sitt API har mange fleire treff.

  Bakgrunnen er at nettstaden har køyrt på Drupal 7 som no skal fasast ut til fordel for nyare versjonar av Drupal, som til dømes digdir.no allereie køyrer på. For hotell.difi.no fann vi ut at det beste var å konvertere til statiske nettsider.

  No blir det også mogeleg å gje tilbakemeldingar på nettstaden, enten det er funksjonalitet i å bla i datasett eller dokumentasjonen, ved å legge inn issues i GitHub, eller til og med foreslå endringar direkte i form av Pull Requests.