Nemokamas įrankis
Ar ChatGPT įleidžiamas į tavo svetainę?
robots.txt gali būti tvarkingas, o serveris agentui vis tiek atsakyti klaida. Tada joks turinio taisymas nepadės — agentas puslapio tiesiog negauna. Patikrinam per tris sekundes.
Paimam tavo puslapį du kartus iš to paties adreso: kartą kaip naršyklė, kartą kaip ChatGPT agentas. Jei atsakymai skiriasi, skirtumą sukėlė tik prisistatymas.
Kuo tai skiriasi nuo robots.txt patikros?
robots.txt yra prašymas, o ne užraktas. Tarp agento ir puslapio dar stovi Cloudflare, hostingo ugniasienė, „Bot Fight Mode" ir greičio ribojimai — jie sprendžia patys, robots.txt neskaitę. Todėl dažnas atvejis atrodo taip: robots.txt tvarkingas, o ChatGPT agentas gauna 403 kiekvieną kartą.
Kaip tai matuojama?
Paimam tavo puslapį du kartus iš to paties adreso beveik tuo pačiu metu: kartą prisistatę naršykle, kartą — AI agentu. Jei naršyklė gauna puslapį, o agentas ne, skirtumą sukėlė tik prisistatymas. Tai atimtis, ne spėjimas.
Ar tai įrodo, kad ChatGPT manęs nepasiekė?
Ne, ir mes to nesakom. Cloudflare turi „verified bots" sąrašą, kur tikri agentai atpažįstami pagal IP adresą, ne pagal vardą — tokiu atveju tikras OpenAI agentas praeitų ten, kur mūsų pasibeldimas gavo 403. Rodom tai, ką matėm: serveris atsako kitaip, kai prisistatai agentu.
Kodėl netikrinat mokymo robotų?
GPTBot, ClaudeBot ir CCBot renka duomenis modelių mokymui. Jų blokavimas yra turinio savininko teisė, ne klaida, todėl iš to negalim padaryti jokio patarimo. Tikrinam tik tuos agentus, kurių blokas realiai kainuoja matomumą atsakymuose.
Kiek kartų galima tikrinti?
Tris kartus per parą vienai svetainei. Užtenka pasitikrinti prieš taisymą ir po jo, o daugiau tą pačią parą jau reikštų svetimo serverio apkrovimą mūsų vardu.
Kitas žingsnis
Pradėk nuo 20 minučių atrankos
Nemokamai peržiūrim tavo situaciją ir pasakom, ką verta automatizuoti pirma, pagal grąžą, ne pagal madą. Be įsipareigojimų.