Yapay Zeka Botları Nasıl Engellenir (robots.txt ve .htaccess)

Son doğrulama: Ekim 2026 · panel adımları cPanel 136 test hesabında denendi, kurallar OpenAI, Anthropic ve Apache belgelerine göre

Hangi bot ne işe yarar

Sağlayıcılar botlarını üç role ayırır ve her rol ayrı adla gelir. Eğitim botları (GPTBot, ClaudeBot, CCBot) model eğitimi için içerik toplar. Arama botları (OAI-SearchBot, Claude-SearchBot) yapay zeka aramalarında kaynak gösterilecek sayfaları dizine alır. Kullanıcı botları (ChatGPT-User, Claude-User) biri soru sorduğunda sayfayı o an açar. Google-Extended ise ayrı bir bot değildir; yalnız robots.txt içinde kullanılan bir denetim adıdır ve .htaccess ile engellenemez. Adların güncel listesi OpenAI’nin bot belgesinde ve diğer sağlayıcıların kendi sayfalarında yer alır; .htaccess kuralının sözdizimi Apache mod_rewrite belgesine dayanır.

Yapay zeka botları engelleme adımları

1. cPanel → Ölçümler → Ham Erişim sayfasını açın, alan adınızın günlüğünü indirin. Dosyayı bir metin düzenleyicide açıp bot adlarını aratın; her satırın sonundaki tırnak içindeki bölüm kullanıcı aracısıdır.
   

   

   Beklenen sonuç: hangi botun günde kaç istek yaptığını ve hangi adresleri gezdiğini görürsünüz. Yük arama ve filtre adreslerinden geliyorsa önce onları kapatmak yeterli olabilir.

2. cPanel → Dosyalar → Dosya Yöneticisi → public_html klasöründe robots.txt dosyasını açın (yoksa + Dosya ile oluşturun) ve eğitim botları için kuralı ekleyin.
   

   

   User-agent: GPTBot
   Disallow: /
   
   User-agent: ClaudeBot
   Disallow: /
   
   User-agent: CCBot
   Disallow: /
   
   User-agent: Google-Extended
   Disallow: /

   Beklenen sonuç: tarayıcıda ornek.com/robots.txt adresini açtığınızda kurallar görünür. Botlar dosyayı kendi aralıklarıyla yeniden okur; etki bir gün ile birkaç gün arasında başlar.

3. Yalnız belirli adresleri kapatmak çoğu sitede daha doğru çözümdür. Arama ve filtre gibi sonsuz adres üreten yolları bütün botlara kapatın, içerik sayfalarını açık bırakın.

   User-agent: *
   Disallow: /?s=
   Disallow: /*?filter_
   Disallow: /sepet/
   Disallow: /hesabim/

   Beklenen sonuç: botlar içerik sayfalarını gezmeye devam eder, önbelleğe alınamayan adreslere istek yapmaz.

4. Kurala uymayan bot içinpublic_html/.htaccess dosyasının en üstüne aşağıdaki bloğu ekleyin. İkinci satır robots.txt dosyasını kural dışında tutar; bot dosyayı okuyamazsa kurallarınızı da öğrenemez.

   <IfModule mod_rewrite.c>
   RewriteEngine On
   RewriteCond %{REQUEST_URI} !^/robots\.txt$
   RewriteCond %{HTTP_USER_AGENT} (GPTBot|ClaudeBot|CCBot) [NC]
   RewriteRule .* - [F,L]
   </IfModule>

   Beklenen sonuç: listedeki kullanıcı aracılarıyla gelen istekler 403 yanıtı alır; ziyaretçiler ve arama motorları etkilenmez.

Doğrulama

Hâlâ çözülmediyse

• Site 500 hatası veriyor..htaccess dosyasında yazım hatası vardır; eklediğiniz bloğu silip kaydedin. Hatanın satırı cPanel hata günlüklerinde görünür.
• İstekler sürüyor ama kullanıcı aracısı farklı. Bot kimliğini gizliyordur. Adres ya da adres bloğu belliyse cPanel’de IP engelleme aracını kullanın.
• Kaynak sınırı uyarısı devam ediyor. Yükün başka bir kaynağı vardır; 508 kaynak sınırı hatası kartındaki teşhis sırasını izleyin.
• WordPress robots.txt değişikliği görünmüyor. Dosya sanal üretiliyordur; düzenleme yolu WordPress robots.txt düzenleme kartında.