Datasett Enhetsregisteret, REGISTERENHETEN I BRØNNØYSUND

[Kommentarbot]

Dette er en automatisk opprettet kommentartråd for datasettet Enhetsregisteret.

[oivind.langeland]

På oppfordring fra Livar Bergheim lenker jeg her til en utveksling vi hadde om bruk av ER ved å laste ned xlsx-fil fra BRs eget API. Kortversjonen er at xlsx-filen har to faner, og dersom man kun behandler filen maskinelt, uten å åpne den i f. eks. Excel, er det fort gjort å overse den andre fanen. Da mister man data, så husk begge fanene, f. eks. ved konvertering til CSV. Alt om saken her: https://datalandsbyen.norge.no/topic/34/analyse-av-enhetsregisteret-med-python-og-pandas PS Ønskeliste til BR: kan man få enten en CSV eller Parquet gjort tilgjengelig for nedlastning via API, så slipper man å gjøre konverteringen fra Xlsx? Tusen takk, og takk for hjelpen Steinar S med å finne ut av problemet her.

[bjo]

Hei Øivind.
Takk for nyttig innspill.
Tidligere hadde vil datasettet tilgjengelig i CSV-format med endret det til XLSX da vi fikk inntrykk fra enkelte brukere at dette formatet var mer etterspurt. I ettertid har vi derimot forstått at mange av våre brukere ønsker CSV-format. Derfor er dette allerede på ønskelisten til vi får ressurser til å videreutvikle tjenesten enda mer.

[oivind.langeland]

Dette var gode nyheter! Tusen takk for svaret og oppdateringen bjo! Det er for øvrig utrolig verdifullt med slike arenaer som dette, hvor man så enkelt kan komme i kontakt med de rette folkene hos de som eier APIer og datasett. God sommer!

[jon.tonnessen]

@bjo Veldig fint om man kan velge mellom nedlasting i xlsx og csv

[bjo]

Hei Jon,

Vi fikk dessverre ikke prioritert å utvikle csv-format i 2022. Det vil forhåpentligvis bli på plass i løpet av 2023.

Mvh
Kari Westerberg

[terje]

Ser det er flere som ønsker enhetsregisteret i CSV format.
Jeg har konvertert med Xlsx2csv slik som flere andre her. Jeg ser da at det blir en feil i konverteringen for adresse.
Feltet forretningsadresse.adresse er i APIet en array med flere strenger. Eks:
"adresse": [
"c/o Axera Business Management AS",
"Tordenskiolds gate 10"
]
Når jeg konverterer med Xlsx2csv er feltet en streng og ikke en array. Og kun den første linjen er med. Dvs i csv filen er feltet "forretningsadresse_adresse": "c/o Axera Business Management AS"

Noen som vet om det er et parameter i Xlsx2csv som fikser dette?

Ville også satt stor pris på å kunne laste ned en komprimert fil.
Gjorde en test og lastet ned filen enheter_alle.xlsx - den er 205M på min disk. Komprimerte den til 199M.
Lastet ned csv utgaven fra datahotellet. Den var 242M på disk. Men når jeg komprimerte den ble den 61M på disk.

Så det er mye tid, båndbredde og konvertering på å bytte til csv. Er jo også litt rart å distribuere åpne data i det properitære formatet til Microsoft

[jon.tonnessen]

@terje Jeg har ikke noe behov for CSV, det var nok et forslag basert på hva mange tilbyr. Hensikten her er programmatisk behandling, så jeg tar mye heller JSON eller JSONL.

Når jeg konverterer noe fra excel til json er det ofte behov for å vaske og behandle dataene før eksport. så jeg leser excel med pandas dataframes, før eksport til JSONL med df.to_json. Men er muligens lit omstendelig og tidkrevende hvis hensikten bare er konvertering/eksport til json.

For komprimering antar jeg at python-modulen tarfile kan være til hjelp?

[terje]

@jon-tonnessen Takk for svar. Utfordringen med json er at filen er enormt stor (den er heller ikke komprimert) . Koden min laster ned excel filen, konverterer med Xlsx2csv og importerer csv direkte in i postgres database. Derfra gjør programmet sync og oppdateringer mot andre systemer (javascript/node) .

Så excel er bare plunder og heft for meg