Når jeg deler en lenke til forumet i Slack vises NodeBB-logoen.

Jeg har brukt Go med kun standard-biblioteket en del de siste årene for første behandling av store CSV-filer (og sammenstillng av Excel gjennom excelize biblioteket). Go er minne-effektivt med utf-8 internt, og med litt parallell kjøring kan man iterere relativt hurtig på noen GB. I senere tid er Copilot tjenesten til github nyttig og gjør at man kan skrive kommentarer som "UFT-16 with BOM transformer encoding" fremfor å lete i dokumentasjonen (Men, det blir jo litt kodelinjer, så det er ikke noe man alltid ønsker å dra frem)

Dette er egentlig ikke noen erstatning for Pandas i python eller tidyverse i R.

Google BigQuery er ganske rimelig når datasettet blir stort.

@livar-bergheim Her er ett eksempel fra et møte på 56 minutter. Dette tok 96 minutter (Jeg har en 2018-modell av macbook pro med Core i5, så det går nok kjappere på noe nyere)

whisper_print_timings:     fallbacks =   1 p /   1 h
whisper_print_timings:     load time =  5637.30 ms
whisper_print_timings:      mel time = 15318.44 ms
whisper_print_timings:   sample time = 13265.51 ms / 15886 runs (    0.84 ms per run)
whisper_print_timings:   encode time = 3197293.50 ms /   131 runs (24406.82 ms per run)
whisper_print_timings:   decode time = 2556895.50 ms / 15882 runs (  160.99 ms per run)
whisper_print_timings:    total time = 5788981.00 ms