> 1 <
Kırık Link Bildir! #324443 27-09-2008 09:54 GMT-1 saat
Google birkaç user-agent kullanır. Bir girişin User-agent satırına bot adını ekleyerek erişimlerini engelleyebilirsiniz. Googlebot'u engellerseniz "Googlebot" ile başlayan botların tamamı engellenir.
Googlebot: web dizinimizden ve haber dizinimizden sayfaları tarar
Googlebot-Mobile: mobil dizinimiz için sayfaları tarar
Googlebot-Image: resim dizinimiz için sayfaları tarar
Mediapartners-Google: AdSense içeriğini belirlemek için siteleri tarar. Yalnızca sitenizde AdSense reklamları gösteriliyorsa, bu botu sitenizi taramak için kullanırız.
Adsbot-Google: AdWords açılış sayfası kalitesini ölçmek için sayfaları tarar. Yalnızca sitenizin reklamını yapmak için Google AdWords kullanıyorsanız bu botu kullanırız.
Örneğin, Googlebot'u tamamen engellemek için aşağıdaki söz dizimini kullanabilirsiniz:
User-agent: Googlebot
Disallow: / Googlebot'a İzin Verme
Tek bir robot dışındaki tüm robotlara erişimi engellemek istiyorsanız aşağıdaki söz dizimini kullanabilirsiniz (not: sitenizin MSN ve Yahoo! gibi diğer arama motorlarının arama sonuçlarında görünmesini istiyorsanız bunu yapmanızı önermeyiz):
User-agent: *
Disallow: /
User-agent: Googlebot
Disallow: Googlebot, genele yönelik olan bağlantıyı değil, kendisine yönelik olan bağlantıyı izler.
İzin Ver uzantısı
Googlebot, robots.txt standardının İzin Ver adlı uzantısını tanır. Diğer arama motoru botlarının hepsi bu uzantıyı tanımayabilir, bu nedenle ilgilendiğiniz diğer arama motorlarının bu uzantıyı tanıyıp tanımadığını kontrol edin. İzin Ver satırı, tıpkı İzin Verme satırı gibi çalışır. Tek yapmanız gereken izin vermek istediğiniz bir dizini veya sayfayı listelemektir.
İzin Verme ve İzin Ver satırlarını birlikte kullanmak isteyebilirsiniz. Örneğin, bir alt dizinde bir tanesi hariç tüm sayfalara erişimi engellemek için aşağıdaki girişleri kullanabilirsiniz:
User-agent: Googlebot
Disallow: /klasor1/
Allow: /klasor1/dosyam.html Bu girişler, dosyam.html dışında klasor1 dizinindeki tüm sayfaları engeller.
Googlebot'u engelleyip başka bir Google botuna (Googlebot-Mobile gibi) izin vermek isterseniz İzin Ver kuralını kullanarak söz konusu bota erişim izni verebilirsiniz. Örneğin:
User-agent: Googlebot
Disallow: /
User-agent: Googlebot-Mobile
Allow: /
=)
Bunu ilk beğenen siz olun
Hata Oluştu
Ulaşmak isteyen arkadaşlar mesaj atabilirler...