Kısaca özet
- Bot trafiği, sitenize insan yerine yazılımların yaptığı isteklerin toplamıdır; arama motoru tarayıcıları gibi faydalı botlar da, içerik kazıyıcı ve şifre deneyen zararlı botlar da bu trafiğin içindedir.
- Kötü botlar ziyaretçi getirmez ama CPU, bellek ve eşzamanlı işlem hakkı tüketir; paylaşımlı hostingte bu yük kaynak sınırına dayanır ve site 508 hatasıyla yavaşlar ya da durur.
- robots.txt yalnız kurallara uyan botlar için bir rica metnidir; zararlı botlar bu dosyayı okumaz ya da tam tersine gizlenen dizinleri bulmak için okur.
- Kendini Googlebot olarak tanıtan her istek Google’dan gelmez; Google, tarayıcılarının ters DNS sorgusu ve yayımladığı IP listeleriyle doğrulanmasını öneriyor.
- Sahte trafik analitiği de bozar: tek günde yüzlerce tıklama, sıfır saniyelik oturum ve tek sorgudan gelen patlama başarı değil, bot izidir.
- Etkili önlem katmanlıdır: WAF ya da CDN katmanında bot filtresi, oturum açma ve form sayfalarında hız sınırı ve doğrulama, sunucuda IP engelleme ve güncel yazılım.
Analitik ekranında ziyaretçi sayısı yerinde sayarken hosting panelinde CPU grafiği tavana vuruyorsa, siteyi yoran büyük ihtimalle insan değildir. Bot trafiği bugün birçok sitede isteklerin önemli bir kısmını oluşturur ve bunların bir kısmı işinize yarar, bir kısmı ise yalnız kaynak tüketir. Hangi botun kapıda kalması gerektiğini bilmeden yapılan engelleme ya arama motorunu da dışarıda bırakır ya da asıl sorunlu trafiğe dokunmaz.
Bot Trafiği Nedir, Kim Bu Botlar
Bot, bir web sayfasını insan müdahalesi olmadan isteyen yazılımdır. Arama motorlarının tarayıcıları, sosyal medya bağlantı önizleyicileri, çalışma süresi izleme servisleri ve SEO araçları bu gruptadır. Aynı teknik yapıyı fiyat ve içerik kazıyan yazılımlar, çalıntı şifre listelerini oturum açma sayfalarında deneyen araçlar, yorum ve form spam’i gönderen betikler ve bilinen açıkları arayan tarayıcılar da kullanır.
Ayrım teknik değil, niyete dayalıdır. İyi bot kimliğini açıkça söyler, robots.txt kurallarına uyar ve siteyi yormayacak hızda gezer. Kötü bot kendini tarayıcı ya da tanınmış bir tarayıcı botu gibi gösterir, kurallara uymaz ve saniyede onlarca istek gönderebilir.
| Bot türü | Ne yapar | Siteye etkisi | Yaklaşım |
|---|---|---|---|
| Arama motoru tarayıcısı | Sayfaları dizine eklemek için gezer | Görünürlük sağlar, yük genelde düşüktür | İzin verin, kimliğini doğrulayın |
| İzleme ve önizleme botları | Çalışma süresi kontrolü, bağlantı önizlemesi | Düşük ve öngörülebilir yük | İzin verin |
| İçerik ve fiyat kazıyıcı | Sayfaları topluca kopyalar | CPU ve bant genişliği tüketir | Hız sınırı, CDN katmanında filtre |
| Kaba kuvvet botu | Oturum açma sayfasında şifre dener | PHP işlemlerini doldurur, hesap riski | Deneme sınırı, doğrulama, iki adımlı giriş |
| Spam ve açık tarayıcı | Form doldurur, bilinen açıkları arar | Veritabanı şişer, saldırı yüzeyi büyür | WAF kuralı, doğrulama, güncel yazılım |
Kötü Botlar Siteyi Nasıl Yavaşlatır
Dinamik bir sitede her sayfa isteği bir PHP işlemi başlatır, çoğu zaman veritabanına da gider. İnsan ziyaretçi birkaç saniyede bir sayfa açar; bir kazıyıcı aynı sürede yüzlerce sayfa isteyebilir. Önbellekte olmayan arama sonuçları, filtre kombinasyonları ve sepet sayfaları gibi adresler özellikle pahalıdır, çünkü her istek yeniden hesaplanır.
Paylaşımlı hosting hesaplarında CloudLinux her hesaba CPU, bellek, disk giriş-çıkışı ve eşzamanlı işlem (entry process) sınırı koyar. Bot trafiği bu sınırlardan birini doldurduğunda sunucu yeni istekleri bekletir ya da “Resource Limit Is Reached” hatası döner. Ziyaretçi bunu açılmayan bir site olarak görür. Hatanın nasıl okunacağı ve hangi sınırın dolduğunun nasıl bulunacağı 508 kaynak sınırı hatası kartında anlatılıyor.
Bilgi
Kaynak sınırına sürekli dayanan bir sitede ilk bakılacak yer paket büyüklüğü değil, erişim günlüğüdür. Aynı IP bloğundan ya da aynı kullanıcı aracısından gelen yoğun istek, daha büyük pakete geçmekle değil, o trafiği kesmekle çözülür.
Sahte Trafik Analitiği Nasıl Bozar
Bot trafiği yalnız sunucuyu değil kararlarınızı da etkiler. Analitik araçları bilinen botları büyük ölçüde ayıklar, ama tarayıcı gibi davranan botlar oturum olarak sayılabilir. Tek bir günde tek sorgudan yüzlerce tıklama, sıfıra yakın oturum süresi, beklenmedik bir ülkeden gelen ani yükseliş ve dönüşümü olmayan kampanya trafiği bot izlerinin tipik görünümüdür.
Böyle bir günü rapordan çıkarmadan yapılan analiz, olmayan bir başarıyı ya da olmayan bir düşüşü gösterir. Pratik kural şudur: bir sıçramayı kutlamadan önce oturum süresine, etkileşim oranına ve trafiğin geldiği ağa bakın. Şüpheli günü ve sorguyu not edip sonraki karşılaştırmalarda dışarıda bırakın.
Örnek senaryo
Ev tekstili satan bir mağazanın sitesi her gece aynı saatlerde yavaşlıyordu. Erişim günlüğünde tek bir kullanıcı aracısının ürün filtrelerini sırayla dolaştığı, gece boyunca on binlerce filtre kombinasyonu istediği görüldü. Arama motoru kimliği taşımayan bu kazıyıcı, CDN katmanında hız sınırıyla yavaşlatıldı, filtre adresleri robots.txt ile arama motorlarına da kapatıldı. Gece yavaşlaması kesildi, paket büyütmeye gerek kalmadı.
robots.txt Neden Tek Başına Yetmez
robots.txt, tarayıcılara hangi yolları gezmemeleri gerektiğini söyleyen bir metin dosyasıdır. Google’ın robots.txt dokümanı sınırı açıkça yazar: dosyadaki kurallar tarayıcıyı zorlayamaz, uymak tarayıcının tercihine kalmıştır. Googlebot ve saygın tarayıcılar uyar, diğerleri uymayabilir.
Bu yüzden robots.txt, iyi botların tarama bütçesini düzenlemek için doğru araçtır; kötü bot trafiği için bir güvenlik önlemi değildir. Hatta yönetim paneli gibi hassas yolları robots.txt içinde listelemek, kötü niyetli tarayıcıya nereye bakacağını söylemek anlamına gelir. Hassas yollar parola, IP kısıtı ya da WAF kuralıyla korunur.
Sahte Googlebot Nasıl Ayırt Edilir
Kullanıcı aracısı metni istek sahibinin yazdığı bir etikettir ve kolayca taklit edilir. Kazıyıcıların bir kısmı engellenmemek için kendini Googlebot olarak tanıtır. Google, tarayıcı isteklerini doğrulama rehberinde iki yol öneriyor: isteği yapan IP adresinin ters DNS kaydının googlebot.com ya da google.com ile bitip bitmediğini kontrol etmek ve Google’ın yayımladığı IP aralığı listeleriyle karşılaştırmak.
Bu doğrulama önemlidir, çünkü sahte Googlebot’u engellemek güvenlidir ama gerçek Googlebot’u engellemek sitenin dizinden düşmesine yol açar. Kullanıcı aracısına bakarak toplu engelleme yapmadan önce birkaç örnek IP’yi bu yöntemle kontrol edin.
Dikkat
Ağ katmanındaki DDoS koruması hacimli saldırıları durdurur, ama tek tek geçerli görünen HTTP isteklerinden oluşan bot trafiği genelde uygulama katmanındadır. Bu tür trafik için ağ korumasına güvenmek yerine WAF, hız sınırı ve uygulama tarafı önlemler gerekir.
Bot Trafiği İçin Katmanlı Önlemler
Tek bir önlem her botu durdurmaz; katmanlar birbirini tamamlar. En dışta, CDN ya da bulut WAF katmanı bilinen kötü botları siteye ulaşmadan filtreler ve IP başına hız sınırı uygular. Bu katmanın ne zaman gerektiği WAF gerekir mi yazısında tartışılıyor. Hacimli saldırıların ayrımı ise DDoS saldırısı nedir yazısında.
Uygulama katmanında oturum açma, kayıt ve iletişim formları doğrulama adımı ve deneme sınırıyla korunur; yönetici hesaplarında iki adımlı doğrulama açılır. Sunucu katmanında ise ısrarcı IP adresleri ya da blokları engellenir; cPanel’deki IP engelleme aracının kullanımı cPanel’de IP engelleme kartında anlatılıyor. Sayfa önbelleği de dolaylı bir savunmadır: önbellekten sunulan sayfa PHP ve veritabanını yormaz, bot trafiği aynı kaldığında bile kaynak tüketimi düşer.
Site bir kez istismar edildiyse ya da botların arkasında bir sızma şüphesi varsa, önlemlerden önce temizlik gelir; bu durumda izlenecek sıra site hacklenirse ne yapmalı rehberinde.
Sonuç
Bot trafiğini tamamen kesmek ne mümkün ne de istenen bir şeydir; arama motorları da bottur. Amaç, iyi botları doğrulayıp içeri almak, kötü botları sunucuya ulaşmadan yavaşlatmak ve analitik raporlarını bot izlerinden temizlemektir.
Kontrol Listesi
- Kaynak sınırı uyarısı geldiğinde önce erişim günlüğünde en çok istek yapan IP ve kullanıcı aracısını bulun.
- Googlebot kimliğiyle gelen yoğun trafiği ters DNS ile doğrulayın.
- Oturum açma ve form sayfalarına deneme sınırı ve doğrulama adımı ekleyin.
- Yönetici hesaplarında iki adımlı doğrulamayı açın.
- Sayfa önbelleğini etkinleştirin, filtre ve arama sayfalarının taranmasını sınırlayın.
- Bot trafiği yoğunsa CDN ya da WAF katmanında hız sınırı tanımlayın.
- Analitikte şüpheli günleri ve sorguları işaretleyip karşılaştırmalardan çıkarın.
Sıkça sorulan sorular
Bot trafiği SEO’ya zarar verir mi?
Doğrudan sıralama cezası getirmez, ama dolaylı zararı vardır. Kaynak tüketen botlar siteyi yavaşlatır ya da 508 hatası verdirir; arama motoru tarayıcısı bu hatalarla karşılaşırsa tarama hızını düşürebilir. Ayrıca bot tıklamaları arama konsolu ve analitik verilerini bozar, yanlış içerik kararlarına yol açar.
Tüm botları engellersem ne olur?
Arama motoru tarayıcıları da bot olduğu için site zamanla dizinden düşer, bağlantı önizlemeleri çalışmaz, izleme servisleri siteye ulaşamaz. Engelleme, kimliği doğrulanmış iyi botları dışarıda bırakacak şekilde seçici yapılmalıdır. Toplu engellemeden önce hangi botun ne kadar kaynak tükettiğine bakın.
Hangi ziyaretçinin bot olduğunu nasıl anlarım?
Erişim günlüğünde kısa sürede çok sayıda istek yapan IP adreslerine, sayfa varlıklarını (görsel, CSS) hiç istemeyen oturumlara ve sıra dışı kullanıcı aracılarına bakın. Analitik tarafında sıfıra yakın oturum süresi ve tek sorgudan gelen ani tıklama artışı da güçlü bir işarettir.
Captcha her formda gerekli mi?
Her formda gerekmez. Spam ya da şifre denemesi alan oturum açma, kayıt ve iletişim formlarında faydalıdır. Görünmez doğrulama türleri kullanıcıyı yormadan çoğu otomatik gönderimi ayıklar. Hiç saldırı almayan bir formda ek adım, yalnız gerçek ziyaretçinin işini zorlaştırır.
Daha büyük paket almak sorunu çözer mi?
Geçici olarak rahatlatır, kalıcı çözüm değildir. Kötü bot trafiği kaynak arttıkça daha fazla istek gönderebilir. Önce trafiğin kaynağını bulup filtrelemek gerekir; bu yapıldıktan sonra hâlâ sınırlara dayanıyorsanız paket yükseltmek gerçek büyümenin karşılığı olur.
Narhost’ta
Web hosting paketlerimiz CloudLinux kaynak izolasyonuyla çalışır; cPanel’den kaynak kullanımınızı izleyebilir, ısrarcı IP adreslerini kendiniz engelleyebilirsiniz.