Módszertan

Egy mérési termék annyit ér, amennyire ellenőrizhető a módszere. Itt leírjuk pontosan, mit számolunk, hogyan, és mit nem mérünk.

A mérés lépései

  1. 1
    Kérdésgenerálás

    Az Ön 5–20 kiinduló kérdéséből valódi kérdésformákat állítunk elő, úgy, ahogy egy ügyfél ténylegesen kérdezne, nem kulcsszavakként.

  2. 2
    Kérdés-validálás

    Minden kiinduló kérdést előre leellenőrzünk: ha az AI erre a kérdésre általában senkit nem ajánl, nincs értelme heteken át mérni. Ez a lépés a saját hibánkból született.

  3. 3
    Ismételt futtatás több motoron

    Minden kérdés lefut a Claude, a ChatGPT, a Gemini és a Perplexity élő keresésén.

  4. 4
    Említés-felismerés

    Minden válaszban megnézzük, megnevezik-e a céget.

  5. 5
    Forrás-hozzárendelés

    Külön mérjük, hogy a válasz forrásként hivatkozott-e Önre akkor is, ha a nevét nem mondta ki.

  6. 6
    Technikai audit

    Négy HTTP kérés az oldalra: robots.txt, strukturált adatok, sitemap, llms.txt, nyelvi egyezés.

  7. 7
    Versenytárs-elemzés

    Összeszámoljuk, kiket neveztek meg Ön helyett, és hányszor.

  8. 8
    Javaslatok

    A mérésből következő konkrét teendők, nem általános GEO-tanácsok.

  9. 9
    Újramérés rögzített kérdésekkel

    A következő audit ugyanazokat a kérdéseket teszi fel. Ha közben változtatnánk rajtuk, a különbség nem a láthatóságot mutatná.

Mit jelent a pontszám?

A láthatósági pontszám egyetlen hányados, semmi több:

pontszám = (említések száma ÷ összes futás) × 100

A 100 azt jelentené, hogy minden feltett kérdésre, minden motoron megnevezték Önt. Ez a gyakorlatban nem érhető el, és nem is cél: a kérdések egy részére a motorok jogosan mást ajánlanak.

A motorokat nem súlyozzuk. Minden futás egyet ér, függetlenül attól, melyik motoron futott. Ennek van egy következménye, amit érdemes tudni: ha az egyik motor futásai közül néhány elveszik, például átmeneti terhelés miatt, akkor annak a motornak a súlya csendben csökken az összesített számban. Ezért minden riportban külön kiírjuk a motoronkénti futásszámot, és jelezzük, ha egy audit hiányos.

Mi számít említésnek?

Az, ha a válasz szövegében megnevezik a céget vagy a termékét. Ezt minden válasznál külön nyelvi modell dönti el, nem szövegkeresés, a „doximus” karaktersorozat előfordulása nem ugyanaz, mint egy ajánlás.

Ez egyben a módszer ismert gyengéje is: egy modell dönt róla, tehát tévedhet. Ezért közöljük minden riportban a nyers válaszokat is, az állításunk ellenőrizhető, nem elhihető.

Amit nem mérünk

Ezeket szándékosan írjuk le, mert egy mérési módszer határai legalább annyira fontosak, mint az eredményei:

,
Pozíció a válaszban
Azt mérjük, megnevezik-e, azt nem, hogy hányadikként.
,
Hangnem
Nem különböztetjük meg a pozitív és a semleges említést.
,
Válasz-stabilitás
Ehhez futásonként sok ismétlés kell; a jelenlegi csomagokban kérdésenként 1–4 futás van.
,
Szándék-lefedettség
Nem bontjuk a kérdéseket vásárlói útszakaszokra.
,
Hogy jó-e az oldal emberi szemmel
Azt mérjük, hogy a motorok el tudják-e olvasni és be tudják-e azonosítani Önt. Nem azt, hogy a látogató boldogul-e az oldalon. Egy oldal átmehet mind a kilenc ellenőrzésünkön úgy is, hogy közben egy gombja kattinthatatlan. Láttunk rá példát.

Amit tudni érdemes a számok korlátairól

  • A motorok mögött cserélődnek a modellek. Egy szolgáltató bejelentés nélkül más modellre irányíthatja a kéréseket, és akkor két hét különbséggel nem ugyanazt a rendszert mérjük. Ezért rögzítjük minden futásnál, melyik modell válaszolt.
  • Egy audit lehet hiányos. Ha egy szolgáltató átmenetileg nem elérhető, az ő futásai elveszhetnek. Ilyenkor a riport ezt kiírja, és a szám kisebb mintán áll. Nem hasonlítható össze egy teljes auditéval.
  • A kérdések rögzítettek. A sorozat első auditja után nem változtatunk rajtuk. Ha módosítanánk, a következő mérés különbsége nem a láthatóság változását mutatná, hanem a kérdésekét.
  • Az élő keresés nem a betanítási adat. Azt mérjük, mit válaszol a motor ma, élő kereséssel. Nem azt, mit „tud” Önről. Ez a jó hír: az élő réteg hetek alatt mozdítható, nem hónapok alatt.

Ki áll mögötte

Bogár Zoltán vagyok, Staff szoftvermérnök, több mint egy évtized tapasztalattal a hátam mögött. Gazdaságinformatikusként végeztem a Szegedi Tudományegyetemen. A Doximus mögött a BZR Szoftverfejlesztő Kft. áll. A mérőrendszert, a négy motorhoz tartozó integrációkat és magát az auditot is én építem.

Nyíltan leírjuk és kommunikáljuk a módszer korlátait is, és a saját oldalunkon futtattuk le a legelső mérést: ha valamit nem tudok megmérni vagy tévedek benne, azt jobb kimondani, mint eladni.

A mérést maga a rendszer futtatja, ütemezetten. Nem kell megvárni, amíg valaki ráér. Ami nem automata, az a módszertan és a felelősség érte: a számok mögött egy név áll, nem egy ügynökségi riportgyár.

A mérés után

Az audit megmondja, mi hiányzik, strukturált adatok, sitemap, llms.txt, nyelvi egyezés, robots.txt. Ezeket meg is tudjuk csinálni, külön megállapodás alapján: a Doximust fejlesztő csapat ugyanezt a munkát elvégzi az Ön oldalán is.

Nem kötelező. A riport önmagában is használható, pontosan azért írjuk le konkrétan, mit kell tenni, hogy a saját fejlesztője is meg tudja oldani.

A módszert magunkon is lefuttattuk, és megbuktunk rajta. A teljes mérés nyilvános.

A saját auditunkÉlő mintariport