Du kör en mätning av hur ofta din sajt citeras i ChatGPT eller Perplexity, får en siffra och drar en slutsats. Problemet är att samma fråga sällan ger samma svar. En ny forskningsrapport pekar på att de flesta enskilda mätningar av AI-synlighet till stor del är statistiskt brus, och att antalet körningar som krävs för ett tillförlitligt resultat är större än många verktyg antyder.
Varför siffran rör på sig
Generativa modeller är byggda för att variera sina svar. SearchGPT, Gemini och Perplexity lägger in slumpmässighet i varje svar, så varje citerad källa är bara en av många URL:er tjänsten hade kunnat plocka fram. Ställer du samma fråga tio gånger kan du få tio delvis olika listor. Andelen citeringar och placeringarna på din dashboard är alltså ögonblicksbilder av ett mål som hela tiden rör på sig, inte fasta fakta.
Enligt Search Engine Journal, som refererar en kommande rapport från analysföretaget IQRush och dess medgrundare Ron Sielinski, illustreras problemet av ett tidigare test på löparutrustning i SearchGPT. Där stod Tom’s Guide för omkring 9,5 procent av citeringarna och Runner’s World för runt 6,0 procent. På ytan såg Tom’s Guide starkare ut, men felmarginalen var så stor att siffrorna överlappade. Skillnaden på 3,5 procentenheter låg inom mätosäkerheten, och med bara ett stickprov gick det inte att säga att den ena sajten faktiskt slog den andra.
Två villkor för att en placering ska betyda något
Rapporten sätter upp två krav som båda måste vara uppfyllda innan en rangordning går att lita på. Det första är att ordningen har slutat ändra sig. I början hoppar placeringarna runt, eftersom ingen sajt ännu har ett tydligt övertag. Först när tillräckligt många svar samlats in börjar toppsajterna stå ut. Det andra kravet är att avståndet mellan de främsta är större än felmarginalen. Ligger de tätt är rangordningen meningslös, hur stabil den än ser ut.
I 30 tester över olika plattformar och ämnen varierade antalet svar som krävdes för att båda villkoren skulle uppfyllas mellan 33 och 94, då bara svar med citeringar räknades. Tre av de 30 nådde aldrig dit ens efter 125 frågor, samtliga i SearchGPT, där toppsajterna låg för nära varandra för att gå att skilja åt. Någon universell tumregel finns alltså inte.
Plattformen avgör hur mycket data du behöver
Hur många mätningar som krävs beror inte på hur många citeringar en tjänst delar ut, utan på hur mycket oberoende information varje svar bär. Gemini staplar ofta citeringar på samma handfull sajter inom ett och samma svar, vilket gör att många av dem säger samma sak. SearchGPT ger färre citeringar per svar men sprider ut dem, så varje svar tillför mer. Samma antal svar ger därför olika hög säkerhet på olika motorer, och en budget som räcker för Gemini kan lämna dig gissande på SearchGPT.
Att bygga en sajt som faktiskt syns i de här svaren är ett eget hantverk, som vi går igenom i guiden om att göra din sajt läsbar för AI-sökmotorer. Mätningen är nästa steg, och den kräver lika mycket eftertanke som själva optimeringen.
Så granskar du din AI-synlighet i praktiken
Rapporten är en preprint, alltså inte granskad av oberoende forskare, och bygger på 30 tester med frågor som genererats av ChatGPT snarare än riktiga användarsökningar. Men slutsatsen står inte ensam. Ett fristående forskarlag vid Handelshögskolan i St. Gallen, Julius Schulte, Malte Bleeker och Philipp Kaufmann, kom i april fram till samma sak med ett eget dataset: en enda avläsning går inte att lita på. Tidigare visade även analysföretaget SparkToro att AI-verktyg ger olika listor med rekommenderade varumärken i mer än 99 procent av fallen när samma fråga upprepas.
Med det i bakhuvudet blir några principer praktiska att luta sig mot:
- Kräv att leverantören visar sin matematik. SparkToros grundare Rand Fishkin råder dig att kontrollera att verktyget redovisar hur många körningar en siffra bygger på, innan du betalar för den.
- Mät flera gånger, både före och efter. En uppgång på tre procentenheter efter en innehållsändring kan lika gärna vara vanlig variation mellan körningar. En enda avläsning före och efter kan inte skilja din förbättring från bruset.
- Lita på toppen, behandla resten som ungefärlig. Ledarna drar ifrån när det finns tillräckligt med data, men felmarginalen växer snabbt längre ner. För en topp-10-sajt låg den typiska osäkerheten på omkring fem placeringar. Rapportera inte exakta positioner bortom de främsta.
- Acceptera att svaret ibland är att det inte går att säga än. Ett verktyg som kan säga för lite data är mer värt än ett som varje gång skriver ut en tvärsäker ordning.
Vart det här är på väg
AI-synlighet rör sig åt samma håll som annons- och analysrapportering redan gjort, mot siffror som redovisas med en felmarginal i stället för en falsk decimal. Samtidigt saknas fortfarande grundläggande verktyg: Google Search Console berättar ännu inte vilka klick som kommer från AI-svar. Tills det ändras faller ansvaret på dig att köra mätningen mer än en gång och redovisa ett intervall, inte den enda siffra som verktyget råkar visa. Vill du sätta din egen webbplats i ett större sammanhang är vår genomgång av AI-readiness en rimlig utgångspunkt.