Post

LLM cloud inference dominates usage, but should it? Local models and accelerators have improved massively over recent years. Perfect routing to best local model "reduce energy consumption by 80.4%, compute by 77.3%, and cost by 73.8% versus cloud-only deployment" arxiv.org/pdf/2511.07885

Men det kræver stadig en temmelig kraftig enhed derhjemme. Jeg leger med at lave et transkriberingsprogram lokalt på en bærbar med en rtx studio 4070 8GB og den pust og stønner, når den skal processere først Whisper og Pyannotate og efterfølgende fx llama3.1 til renskrivning af transkriptionen.