Nedlasting av data om kjøretøy
-
Når man prøver å laste ned csv-data om kjøretøy så får man så store filer at mine verktøy ikke greier å behandle dem (flere GB).
Løsningen ser ikke ut til å støtte at man kun laster ned de dataene man spesifiserer i filteret på visningssiden? Noen tips til hvordan dette kan løses?https://data.norge.no/datasets/a8533876-cca7-4417-90be-b368f7d9542c
-
Jeg har ikke svaren. https://bileier.app jobber med kjøretøy data og kanskje vi kan hjelpe deg. robert@bileier.app
-
@sven_bruun
Kva verktøy er det du brukar? Det er gjerne ulike begrensingar frå verktøy til verktøy.
Begrensinga mange møter på er i Excel, som ikkje kan jobbe med meir enn litt over 1 million rader.Støtte i dagens datahotell
Det stemmer at datahotellet ikkje har støtte for å laste ned utsnitt av datasett. Dersom ein gjer utsnitt (filtrerer), så kan ein via API-et hente ut 100 oppføringar om gangen, men for så store datasett egnar ikkje dette seg.Grunnen til at dagens datahotell ikkje støtter dette er på den eine sida at det ville vere ressurskrevjande for datahotellet å ha ein slik funksjon, og at dagens datahotell ikkje har hatt noko vesentleg utvikling på mange år. I Datafabrikken jobbar vi med ny infrastruktur som skal erstatte dagens datahotell på sikt.
Moglege verktøy å bruke
Klogg er eit verktøy for å opne svært store filer. Nyttig for å opne og sjå på store reine tekstfiler (som CSV) som ein ikkje elles får opna i vanlege tekst-editorar. Ein kan gjere fritekst-søk i filene, men det har ikkje noko spesiell støtte for CSV-filer.
Modern CSV er eit skrivebordsprogram for å jobbe med CSV-filer, og ser ut til å ha støtte for store filer. For å jobbe med store filer ser det ut til at ein treng betal-versjonen.
q er eit verktøy for kommandolinja som lar ein skrive SQL-spørringar på filer. Muleg q kan oppfylle behovet, eller at ein ved hjelp av q kan filtrere datasettet ned til ein størrelse som gjer at ein kan jobbe vidare med det i ditt foretrukne verktøy.
Har ikkje prøvd dei to sistnemde med dette datasettet. Skal prøve det ut og oppdatere posten.
-
@sven_bruun sa i Nedlasting av data om kjøretøy:
Når man prøver å laste ned csv-data om kjøretøy så får man så store filer at mine verktøy ikke greier å behandle dem (flere GB).
Løsningen ser ikke ut til å støtte at man kun laster ned de dataene man spesifiserer i filteret på visningssiden? Noen tips til hvordan dette kan løses?Kan du seie meir om kva du vil gjere med dataene?
Tenker det er to måtar å angripe dette på:
-
Gjere det du ønskjer med dataene i andre verktøy enn dei du vanlegvis brukar
-
Bruke andre verktøy til å hente ut ein del av datasettet som er så liten at den går an å jobbe med i dei vanlege verktøya.
-
-
Jeg kan ambefalle q (http://harelba.github.io/q/) som en enkelt SQL databasen direkte mot CSV filen. Som sagt vi jobber mye med kjøretøy databasen og har flere interne API. Kanskje vi kan hjelpe med.
Svar
