Az egyik mérésünk egy nemzetközi rendezvényszervező oldalán futott. Az eredmény igazán jó lett: 80 válaszból 72-ben megnevezték a céget. Kilencven százalék. Ilyenkor nem számít technikai hibára az ember.
Az ellenőrzőlistán mégis volt egy piros sor. A robots.txt kitiltotta a Claude robotját az oldalról:
User-agent: claudebot
Disallow: /
A furcsa rész
Ugyanezen a mérésen a Claude húsz kérdésből húszban megnevezte a céget. Száz százalékban.
Tehát a robotot kitiltották, a motor mégis tudott róluk. Ez elsőre ellentmondásnak hangzik, pedig nem az. A Claude nem az oldalukról szerezte az adatait, hanem máshonnan. Mégpedig a tanulóanyagából, és abból, amit mások írtak róluk.
Ettől viszont a tiltás nem lesz ártalmatlan. Azt jelenti, hogy amit a cég ezután tesz ki a saját oldalára, az soha nem jut el a Claude-hoz. A mai szám rendben van. A holnapi nem ettől függ.
Ahol érdekes lett
Egy sort törölni a robots.txt-ből öt perc. Három nekifutás lett belőle.
Első lépésként átállítottuk a Cloudflare AI crawler beállítását, hogy engedje be a ClaudeBotot. Ez hálózati szintű engedély, a robots.txt-hez nem nyúl. A ClaudeBot viszont betartja a robots.txt-t, tehát hiába engedtük be az ajtón, magától nem lépett be.
Másodszorra kiderült, hogy a robots.txt-t az All in One SEO plugin generálja, és a tiltás ott volt. Kiszedtük. A plugin előnézetében már nem szerepelt.
A fájl viszont továbbra is a régi értékeket adta vissza. Viszont nem a plugin hibázott, hanem
a Cloudflare cache-elte a robots.txt-t max-age=86400 értékkel, vagyis egy napon át a régi
verziót szolgálta ki mindenkinek, aki lekérte. Töröltük a cache-t.
Harmadszorra sikerrel jártunk.
Amit ebből tanultunk
Mindhárom lépés után jogosan hihettük volna, hogy megvan. Három különböző rendszer mondott mást ugyanarról a fájlról, és egyik sem hazudott, mert mindegyik csak a saját rétegéről beszélt.
Az ellenőrzés közben mi is félreolvastuk a saját eredményünket, mert egy 403-as hibaoldalt fogadtunk el bizonyítéknak. Lekértük a fájlt, rákerestünk a tiltásra, ami nem volt ott, így azt gondoltuk, hogy megvan. Valójában nem is a fájlt kaptuk vissza, hanem egy hibaoldalt, amiben nyilván nem szerepelt a keresett szó.
Amit még nem tudunk
A robots.txt most rendben van. Hogy ez mit ér, arra még nem tudunk válaszolni.
A ClaudeBotnak vissza kell jönnie és be kell járnia az oldalt, aztán a modell oldalán is frissülnie kell valaminek. Erre nincs ráhatásunk, és az ütemezését sem ismerjük. Az utómérés október közepén lesz, és akkor is beszámolunk róla, ha nem mozdult semmi.