@jon-tonnessen Takk for svar. Utfordringen med json er at filen er enormt stor (den er heller ikke komprimert) . Koden min laster ned excel filen, konverterer med Xlsx2csv og importerer csv direkte in i postgres database. Derfra gjør programmet sync og oppdateringer mot andre systemer (javascript/node) .

Så excel er bare plunder og heft for meg

Ser det er flere som ønsker enhetsregisteret i CSV format.
Jeg har konvertert med Xlsx2csv slik som flere andre her. Jeg ser da at det blir en feil i konverteringen for adresse.
Feltet forretningsadresse.adresse er i APIet en array med flere strenger. Eks:
"adresse": [
"c/o Axera Business Management AS",
"Tordenskiolds gate 10"
]
Når jeg konverterer med Xlsx2csv er feltet en streng og ikke en array. Og kun den første linjen er med. Dvs i csv filen er feltet "forretningsadresse_adresse": "c/o Axera Business Management AS"

Noen som vet om det er et parameter i Xlsx2csv som fikser dette?

Ville også satt stor pris på å kunne laste ned en komprimert fil.
Gjorde en test og lastet ned filen enheter_alle.xlsx - den er 205M på min disk. Komprimerte den til 199M.
Lastet ned csv utgaven fra datahotellet. Den var 242M på disk. Men når jeg komprimerte den ble den 61M på disk.

Så det er mye tid, båndbredde og konvertering på å bytte til csv. Er jo også litt rart å distribuere åpne data i det properitære formatet til Microsoft

Med ChatGPT og Github Copilot, som begge er kunstig intelligens / AI systemer, laget jeg et program som gjør at alle kan hente ut og analysere norske bedrifter.

Når du har informasjon om alle bedrifter i Norge, kan du lage analyser, søk og andre ting som normalt ville krevd inngående kunnskap om programmering, databaser og statistikk.
Ved å stille presise spørsmål til ChatGPT lager den koden som skal til. Dette spørsmålet:

The table brreg_enheter_alle is a table of organizations. The number of employees are defined by the field antall_ansatte. Create a new function named getLargestOrganizations that returns the records that has the most employees. Sort the results so that the organization with the largest amount of employees is at the top. There are many records in the table so it must be possible to pass a parameter named numberOfOrganizations to the function getLargestOrganizations that defines how many organizations to return. Use the already defined function displayRecords to display the result.

Ga meg et program som gjør det mulig å hente ut de 10 største bedriftene i Norge. Hvilke andre spørsmål kommer du på?

Jeg har satt sammen koden til et program som gjør du også kan gjøre det samme. Kan du formulere spørsmålet, så kan ChatGPT lage koden som gjør det mulig å svare på spørsmålet.

Med hjelp av kunstig inteligens kan du lage analyser, søk og andre ting som normalt ville krevd inngående kunnskap om programmering, databaser og statistikk.

Du finner koden og prosjektet shadow-brreg på GitHub!

Ved å taste inn 3 linjer har du en database over alle bedrifter og organisasjoner i Norge  ( 1.048.575 totalt) kjørende på din maskin.

Har laget det som en docker container slik at det kan kjøres på mac/linux/windows. Databasen tar ikke mye plass, bare 733MB, og man kan stoppe og starte containeren når man har bruk for den.

https://github.com/terchris/shadow-brreg

Jeg jobber med et prosjekt der jeg skal synkronisere data fra brreg inn i et annet system. Ved å ha alle data lokalt gjør det jobben mye enklere og jeg kan gjøre sql spørringer direkte uten å gå via brreg sitt API. Samtidig som det går mye raskere.

Utfordringen med datasettet fra brreg er at det ikke inneholder dato for når en organisasjon sist ble oppdatert. Datasettet inneholder alle organisasjoner slik det var kl 5 om natten den dagen datasettet ble lagt ut. (sletter du docker containeren henter den automatisk siste data, men man vet fortsatt ikke hvilke organisasjoner som er oppdatert)

Dette gjør at jeg ikke vet hvilke endringer jeg skal synkronisere over i systemet jeg lager. For å vite hva som er endret må jeg spørre på endringer som feks https://data.brreg.no/enhetsregisteret/api/oppdateringer/enheter?dato=2023-01-18T09:00:00.000Z

Det er sikkert mange som har laget synkronisering av data fra brreg. Er det noen som vil dele koden for å holde den lokale databasen oppdatert. Jeg kan da legge den inn i docker containeren slik at den automatisk holder den lokale databasen oppdatert. Da vil alle som ønsker det ha en oppdatert database lokalt.

Det enkleste hadde selvfølgelig vært om brreg utvidet tabellen med et nytt felt "sist_oppdatert" . Da kan man bare spørre på endringer etter en dato når man skal synkronisere data med andre systemer.