User Agent (Kullanıcı Aracısı) interneti kullanan kişiler ile web içerikleri arasında köprü vazifesi gören tarayıcı anahtarı olarak tanımlanabilir. User Agent, internet ortamındaki kullanıcının mevcut olan bilgilerini taşımaktadır. Bu bilgiler internet kullanıcısının sahip olduğu cihaz, lokasyon ve IP adresi olarak tanımlanabilir. Web siteleri sağlanan bilgileri kullanıcıların internet ortamındaki deneyimlerini ve performanslarını olumlu yönde artırmak için kullanır.
User Agent konusundan bahsetmişken Google’ın User-Agent’larına değinmesek olmaz. Bildiğiniz üzere Google, dünyanın en büyük tarayıcısıdır ve internet ortamının bizce patronudur. Google diyor ki, bir web sayfasından diğerine giden bağlantıları izleyerek web sitelerini otomatik keşfedip taramak için yararlanılan tüm programlar(robot veya örümcek gibi) ‘Tarayıcı’dır. Peki Google’ın ana tarayıcısı kimdir? Tabii ki de Google-bot. Ben de sizlere günlük hayatımızda kullandığımız Google’ın tarayıcılarındaki (Crawl) bilgileri ve bunların (robots.txt, robots meta etiketleri ve x-robots-tag) HTTP yönergelerinde nasıl belirlenmesi gerektiğini anlatmak istedim.
Google’ın User-Agent’larını listelemeden şu iki kavramının öğrenilmesinin gerekli olduğunu düşünmekteyim:
1 – User-Agent Token (Jetonu): Robots.txt dosyanızdaki User-agent satırında, tarayıcı türüyle eşleşmesi için tarama kuralları yazılırken kullanılır ve birden fazla jeton vardır. Her bir kuralı uygulamak için o kuralın jetonu uygulanması yeterlidir.
2 – Full User-Agent String (Dizesi): Tarayıcının net açıklamasıdır; istekte ve web günlüklerinde görünür.
Yukarıdaki listede göründüğü gibi her bir farklı işlem için farklı user-agent’lar mevcuttur. Bu farklılıklar hem internet kullanıcılarının hem de Google işlerini daha da kolaylaştırmaktadır. Google’ın amacı da zaten budur yani her türlü kullanıcı deneyimini kolaylaştırmak. Mobil ve masaüstü seçenekleri inceledikten sonra görseller ve görsellik içeren içerikler için de var olan farklı Google kullanıcı aracılarına göz atalım.
Tekrar bahsetmek gerekirse Google, bu ayırımları yaparken kendi işini fazlasıyla kolaylaştırmıştır. Bizi devamlı daha iyi deneyimler yaşatmak için çalışan Google, farklı jetonlar kullanarak her görevi başka bir aracının devralmasını istemiştir. Bunu yapılırken oluşan iş bölümü sistemin daha net ve rahat çalışmasına olanak sağlamıştır.
SEO ile ilgilenen arkadaşlar Google Search Console üzerinde son dönemde sıkça Google-MobileBot etkinliği görebilirler. Bu konu ayrıca Google’un mobil öncelikli indexleme mantığı ile paralel olarak bizlere bir ispat niteliği taşımaktadır. Bu arada mobil seo ile ilgilenen ziyaretçilerimiz bu yazımızı okuyabilirler.
BONUS BİLGİ : Google’ın kullanıcılarına sağladığı bazı user-agent token’ları ise robots.txt kurallarına uymamaktadır.
Bu user-agent token’larının robots.txt kuralına uymamasının nedeni bir robot olarak değil, direkt kişilerin aracısı olarak çalışmasından kaynaklanmaktadır. Kişilerin aracısı olarak çalıştığı için robots.txt dosyasının girişlerini dikkate almamaktadır.
Robots.txt User Agent
Google, robots.txt dosyasında çeşitli user agent’lar olsa da en belirgin olanını izler. Google tarafından tüm sayfalarınızın taranmasını istiyorsanız robots.txt dosyasına ihtiyaç duymayabilirsiniz. Fakat web sitenizin bazı sayfalarına erişim engeli koymak istiyorsanız veya bu erişime izin vermek istemiyorsanız Googlebot’u user agent olarak kullanabilirsiniz.
Peki ben daha hassas bir önleme yapmak istiyorsam ne yapabilirim? Mesela ben tüm sayfalarımı taratmak istiyorum ama dizindeki bazı görselleri bu taramanın içerisine almak istemiyorum. Bu durumda Googlebot-Image’ın user agent’ını yasaklamanız ama aynı zamanda diğer dosyalarınızı taratmak için robots.txt dosyasını kullanmanız gerekmektedir.
Robots Meta Etiketlerindeki User Agent
Bu konuyu da kısa bir örnekle açıklamak gerekirse; bazı sayfalar, farklı tarayıcılara ilişkin önergeleri belirtmek için birden çok robots meta etiketi kullanır.
User Agent Nasıl Değiştirilir?
User agent değişimi tarayıcıdan tarayıcıya farklılık göstermektedir. Bazı durumlarda bir web sitesinin tasarımını test etmek için veya user agent ile ilgili bir sistem hazırlanırken tümünde test edilmesi ise büyük olanaklar sağlayabilir. Ben şu an kullanılan en popüler iki tarayıcı üzerinden görsel örnekler vermek istedim.
Google Chrome için User-Agent Değiştirme
Opera için User-Agent Değiştirme
Özetlemek gerekirse user agent için bizim internetteki ayak izimiz desek yanlış olmaz. Kullanıcı adına hareket eder. Web içeriğiyle son kullanıcının etkileşimini alan, işleyen ve kolaylaştıran bir yazılımdır. Bu neden user agent’lar için özel bir yazılımdır diyebiliriz. Çoğu zamanda user agent’lar sunucu sisteminde istemci olarak hareket etmektedirler. Daha profesyonel çözümler için SEO ajansı ile iletişime geçebilirsiniz.
