Mjukvaruutvecklaren Mike Judge publicerade den 3 september 2025 en analys av AI-kodningsverktygens faktiska produktivitetseffekt, baserad på egna sex veckors kontrollerade tester och data från en oberoende METR-studie. Slutsatsen är att verktyg som Cursor, GitHub Copilot och Claude Code ännu inte visar mätbar effekt på hur mycket ny mjukvara som faktiskt levereras. För projektledare som fattar beslut om AI-investeringar eller personalfrågor baserade på produktivitetspåståenden är analysen ett konkret underlag för källkritik.
Vibe coding och AI-kodningsverktyg – huvudpunkter
- En oberoende studie från METR (publicerad juli 2025) visade att erfarna utvecklare trodde att AI-kodningsverktyg gjorde dem 20 procent snabbare — men faktiska mätningar visade att de var 19 procent långsammare (källa: METR, 2025-07-10, citerat i Mike Judge/Substack, 2025-09-03).
- Mike Judge genomförde egna kontrollerade tester under sex veckor. Han mätte uppgiftstid med och utan AI-verktyg, med slumpmässig tilldelning per uppgift. Resultaten var inte statistiskt signifikanta — data visade ett mediangap på 21 procent långsammare med AI, i linje med METR-studien (källa: Mike Judge/Substack, 2025-09-03).
- 78 procent av utvecklare som använder AI rapporterar produktivitetsvinster i enkätstudier. 14 procent av alla tillfrågade utvecklare hävdar att de ser en 10-faldig ökning i output. Inga objektiva leveransdata bekräftar dessa siffror (källa: qodo.ai/reports/state-of-ai-code-quality, citerat i Mike Judge, 2025-09-03).
- Data över nya appar i Apple App Store, Google Play, Steam-spelreleaser, nya GitHub-projekt och domänregistreringar visar inga statistiskt synliga ökningar sedan AI-kodningsverktygens breda adoption 2022–2023. Kurvorna är i det närmaste platta (källa: Statista, SteamDB, GH Archive, Verisign, citerat i Mike Judge, 2025-09-03).
- GitHub Copilot uppger i sin egen forskning att användare accepterar 29 procent av AI-genererade kodförslag initialt. Efter sex månaders erfarenhet stiger andelen till 34 procent — en förbättring på 5 procentenheter (källa: GitHub Blog, citerat i Mike Judge, 2025-09-03).
- 60 procent av utvecklare uppger att de använder AI-kodningsverktyg dagligen. 82 procent använder dem minst veckovis (källa: qodo.ai/reports/state-of-ai-code-quality, citerat i Mike Judge, 2025-09-03).
- Coinbase-VD:n ska ha sagt upp utvecklare som vägrade använda Cursor eller Copilot, enligt Judge. Det illustrerar att produktivitetspåståenden driver konkreta personalkonsekvenser — utan att de underliggande produktivitetsdata verifierats (källa: FinalRoundAI, citerat i Mike Judge, 2025-09-03).
Vad detta betyder för projektledare
- Produktivitetspåståenden om AI-kodning bör källkritiskt granskas. Påståenden om 10-faldig produktivitetsökning eller 25 procent snabbare leverans är inte bekräftade av oberoende leveransdata. Projektledare som budgeterar eller rekryterar baserat på sådana estimat bör kräva mätbara resultat — inte enkätsvar om upplevd produktivitet.
- Upplevd och faktisk produktivitet är inte detsamma. METR-studien och Judges egna tester visar att utvecklare systematiskt överskattar sin produktivitetsvinst med AI-verktyg. Det är ett välkänt kognitivt mönster — flytet av kod som genereras upplevs som framsteg, men granskning och korrigering tar tid. Projektledare bör mäta faktisk leveranshastighet, inte självrapporterade estimat.
- Beslut om personalminskningar baserade på AI-produktivitet är en riskfaktor. Att säga upp personal med argumentet att AI kompenserar för bortfallet är ett högt riskbeslut om de underliggande produktivitetsdata inte är verifierade. Projektledare bör ifrågasätta sådana beslut och kräva kontrollerade mätningar.
- Leveransdata är det enda objektiva måttet. Judgments slutsats är att enda tillförlitliga måttet är faktisk output — hur mycket ny mjukvara levereras. Det är ett tillämpbart princip för projektledare: mät leverans, inte aktivitet eller verktygsanvändning.
Begrepp i artikeln
- Vibe coding: Informellt begrepp för AI-assisterad kodning där utvecklaren primärt beskriver vad de vill ha och låter AI generera koden — i kontrast till traditionell handkodning.
- Shovelware: Mjukvaruindustribegreppet för en stor mängd snabbt producerade, lågkvalitativa produkter — används här som mått på om AI-verktyg faktiskt ökar mjukvaruleveranser i volym.
- METR: Oberoende AI-säkerhets- och kapacitetsutvärderingsorganisation. Publicerade i juli 2025 en studie om AI-kodningsverktygens faktiska effekt på erfarna utvecklares produktivitet.
- Statistisk signifikans: Statistiskt mått på om ett uppmätt resultat sannolikt beror på den studerade faktorn snarare än slump. Judgments data var inte statistiskt signifikant — resultaten kan inte skilja AI från icke-AI-användning med säkerhet.
Vanliga frågor
Gör AI-kodningsverktyg som Cursor och GitHub Copilot utvecklare snabbare? Oberoende data ger inget stöd för stora produktivitetsvinster. En METR-studie från juli 2025 visade att erfarna utvecklare var 19 procent långsammare med AI-verktyg, trots att de trodde de var 20 procent snabbare. Mikrobenchmarks och enkätdata visar systematiskt mer optimistiska resultat än kontrollerade studier (källa: METR, 2025-07-10).
Varför levereras inte mer mjukvara om AI-kodning är så effektivt? Data från Apple App Store, Google Play, Steam, GitHub och domänregistreringar visar inga statistiskt synliga ökningar i mjukvaruleveranser sedan AI-kodningsverktygens breda adoption 2022–2023. Mike Judge argumenterar att detta är det starkaste beviset mot de höga produktivitetspåståendena (källa: Mike Judge/Substack, 2025-09-03).
Är det problematiskt att fatta personalbeslut baserat på AI-produktivitetspåståenden? Ja, enligt Judge. Att säga upp personal med argumentet att AI kompenserar för bortfallet — utan verifierade leveransdata — är ett högriskbeslut. Coinbase-VD:n ska ha sagt upp utvecklare som vägrade använda AI-verktyg, trots att objektiva data om produktivitetsvinster saknas (källa: FinalRoundAI, citerat i Mike Judge, 2025-09-03).
Hur stor andel av AI-kodningsförslag accepteras av utvecklare? GitHub Copilot uppger att nya användare accepterar 29 procent av AI-genererade kodförslag. Efter sex månaders erfarenhet stiger andelen till 34 procent. Det innebär att 66–71 procent av förslagen avvisas (källa: GitHub Blog, citerat i Mike Judge, 2025-09-03).
Källa: Where’s the Shovelware? Why AI Coding Claims Don’t Add Up / Substack / Mike Judge, publicerad 2025-09-03.
Läs även
- AI kommer inte att ersätta dig, men de som behärskar det kommer att göra det
- Anthropic varnar för AI-driven jobförlust – Dario Amodei
- Gartner Hype Cycle AI 2025 – GenAI i dal, agenter på toppen
- Gallup: AI-användning på arbetsplatsen har nästan fördubblats