Semalt: Meta Etiketler ve Robots.txt Dosyaları ile Site İçeriğinize Erişimi Engelleyin

Semalt Müşteri Başarı Yöneticisi Jason Adler, verileri güvende tutup internette paylaşmadığınızda Bing, Yahoo ve Google ile nelerin paylaşılacağını kontrol etmenin mümkün olduğunu söylüyor. Gizli tutmanız gereken veriler iletişim bilgilerini, PayPal kimliğini, kredi kartı bilgilerini, kullanıcı adlarını ve şifreleri içerir. Bu tür bilgilerin Google'da ve diğer arama motorlarında dizine eklenmesini engellemelisiniz. Sitenizin URL'lerini engelleme söz konusu olduğunda, Google'ın ve diğer arama motorlarının belirli sayfaları veya makaleleri taramasını engellemeniz mümkündür. Bu, kullanıcılar arama sonuçlarından geçtiğinde, engellenen URL'leri görmeyecek ve bunlara gitmeyecekleri anlamına gelir. Ayrıca, içeriğine erişemezler ve Google'ın arama sonuçlarında çok sayıda makalenin görünmesini durdurabilirsiniz. Web sitesi içeriğinize erişimi nasıl engelleyeceğiniz aşağıda açıklanmıştır:

Meta etiketlerle arama dizine eklemeyi engelleme : Sitenizin HTML kodunda dizin dışı meta etiketleri kullandığınızda sayfaların arama motorlarında görünmesini kolayca engelleyebilirsiniz. Googlebot, bu meta etikete sahip olmayan sayfaları tarar ve belirli sayfalarınızı bu nedenle arama sonuçlarından çıkarır. Burada size bu meta etiketin yalnızca robots.txt dosyanız değiştirilmediğinde çalışacağını söyleyelim.

URL'leri robots.txt dosyalarıyla engelleyin: Robots.txt dosyası web sitenizin kökünde bulunur ve web sitenizin arama motoru tarayıcılarının ve örümceklerinin dizine eklemesini istemediğiniz bölümünü belirtir. Web tarayıcılarının sitenize nerede ve nasıl erişeceğini belirten bir dizi komut içeren bir protokol olan Robots Dışlama Standardı'nı kullanır. Robots.txt ayrıca görüntülerin arama sonuçlarında görünmesini önlemeye yardımcı olur, ancak kullanıcıların sitenizi kendi sayfalarına bağlamalarına izin vermez. Robots.txt dosyalarının düzenlemeden önce sınırlamalarını ve kısıtlamalarını göz önünde bulundurmalısınız. Bazı mekanizmalar URL'lerin düzgün bir şekilde engellenmesini sağlar. Robots.txt dosyasının talimatları direktiflerdir, yani web tarayıcılarının davranışlarını zorlayamazlar. Tüm tarayıcılar sözdizimini kendi yöntemleriyle yorumlar ve robots.txt dosyaları diğer web sitelerinden bağlantınıza yapılan referansları engelleyemez. Google, robots.txt dosyalarının yönergelerine uymak konusunda iyidir, ancak arama motorunun politikaları nedeniyle engellenen bir web sitesini dizine eklemesi mümkün olmayabilir.

Google Yerel ve Google Mülklerini devre dışı bırakma: İçeriğinizin dizine eklendikten sonra farklı Google mülklerinde gösterilmesini engelleyebilirsiniz. Buna Google Yerel, Google Uçuşları, Google Alışveriş ve Google Otelleri dahildir. Tüm bu satış noktalarında görüntülenmemeyi seçtiğinizde, taranan içeriğiniz listelenmez veya güncellenmez. Bu platformlardan herhangi birinde görüntülenen tüm makaleler, devre dışı bırakıldıktan sonraki 30 gün içinde kaldırılır.

Sonuç:

Ziyaretçilerinizden daha az değerli ve yararlı içeriği gizlemek önemlidir. Web siteniz birden çok yerde benzer konulara sahipse, arama motorları ve ziyaretçileriniz üzerinde olumsuz bir etki bırakabilir. Bu yüzden tüm bu sayfaları gizlemeli ve arama motorlarının onları dizine eklemesine izin vermemelisiniz. Üçüncü taraf içerikten kurtulun. Ne pahasına olursa olsun siteniz için değerli olmayan üçüncü taraf içeriğinden kurtulmalısınız. Arama motoru sitenizde bu durumda daha az değer göreceğinden Google'ın üçüncü taraf içeriklerini paylaştığınızı görmesine izin vermeyin. Çok sayıda siteden içerik kopyaladığınızda, Google sizi cezalandırabilir ve Google sıralamalarınızı iyileştirmek için yinelenen makaleleri engelleyebilirsiniz.