Miért pont itt kezdjük?

Mert ez a leggyakoribb és legolcsóbban javítható hiba. Hiába tökéletes a termékadatod és a tartalmad, ha az AI robotja be sem léphet az oldalra. És a tiltás ritkán tudatos döntés: sok oldalon egy régi sablon, egy biztonsági plugin alapbeállítása vagy egy “minden ismeretlen botot tiltsunk” szabály végzi el a kárt, a tulajdonos tudta nélkül.

Melyik bot kicsoda?

A fontosabb AI-crawlerek, amiket egy webshopnak érdemes ismernie:

  • GPTBot (OpenAI): ezzel gyűjt az OpenAI tartalmat a modelljeihez.
  • OAI-SearchBot (OpenAI): a ChatGPT keresési funkcióját szolgálja ki; ha a vásárló a ChatGPT-ben keres, ez a bot dönt arról, mi elérhető.
  • ChatGPT-User (OpenAI): amikor egy felhasználó kérésére a ChatGPT élőben megnyit egy oldalt.
  • PerplexityBot és Perplexity-User (Perplexity): a Perplexity indexelő és élő lekérő botja.
  • ClaudeBot (Anthropic): az Anthropic crawlere.
  • Google-Extended (Google): a Google AI-tréninghez kapcsolódó vezérlője. Fontos tudni: a Google AI Overviews megjelenítését nem ez, hanem a normál Googlebot-hozzáférés befolyásolja.

Hogyan ellenőrizd egy perc alatt?

Írd be a böngészőbe: https://asajatboltod.hu/robots.txt

Keresd meg a fenti botneveket. Két dolgot kell látnod, vagy pontosabban: két dolgot NEM kell látnod. Baj van, ha valamelyik bot neve alatt Disallow: / szerepel, és az is baj, ha egy általános User-agent: * blokk tilt le mindent, és nincs külön engedélyező szabály az AI-botokra.

Hogyan engedd be őket?

Ha azt szeretnéd, hogy az AI-felületeken megjelenhess, a robots.txt-ben explicit engedélyt adhatsz:

plaintext
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

Két kiegészítés. Egy: az admin, kosár és fiók-útvonalak tiltása ettől még maradhat, sőt maradjon; a cél a katalógus és a tartalom megnyitása, nem minden ajtó kitárása. Kettő: a robots.txt szerkesztésének módja platformonként eltér (van ahol fájl, van ahol admin-beállítás, van ahol plugin kezeli), és egy rossz mozdulattal a Google elől is el lehet zárni az oldalt. Ha nem vagy biztos benne, ezt ne találgasd.

Kérdések, amik ilyenkor jönnek

Nem veszélyes beengedni ezeket a botokat? A botok azt olvassák, ami amúgy is publikus. A kérdés nem biztonsági, hanem üzleti: akarod-e, hogy a tartalmad megjelenhessen az AI-válaszokban. Webshopnál ez ritkán valódi dilemma.

És ha tudatosan tiltottam, mert nem akarom, hogy az AI a tartalmamon tanuljon? Ez legitim döntés, de webshopnál ára van: a tréning-tiltás és a kereshetőség sok rendszernél összefügg, és aki mindent tilt, az a vásárlást terelő AI-válaszokból is kimarad. A kettő közti finomhangolás (mit engedsz, mit nem) már stratégiai kérdés.

Ha ma beengedem, holnap megjelenek a ChatGPT-ben? Nem. A beengedés szükséges feltétel, nem elégséges. Ezután jön a termékadat és a tartalom kérdése; a botok hozzáférése csak az ajtónyitás.

Mit tanultunk

Az AI-láthatóság legelső, legolcsóbb lépése egy egyperces ellenőrzés a robots.txt-ben. A tiltás jellemzően nem szándékos, hanem örökölt, és pont ezért marad észrevétlen. A beengedés önmagában nem hoz megjelenést, de nélküle semmi más nem működhet.