☰ Menü
URL robots.txt tarafından engellendi

URL robots.txt Tarafından Engellendi Hatası ve Çözümü

Yeni açılan blog sitelerinde çok sık karşılaştığımız sorunlardan biri olan “URL robots.txt Tarafından Engellendi” hatasının çözümünü anlatacağım. Bu hatayı neden alırız ? Robots.txt dosyası ile neler yapabiliriz ? bu soruların cevaplarını bu yazımda bulabilirsiniz.

Öncelikle bu hatayı bende yaşamış olduğumdan sizlere en baştan sorunu anlatıp çözümü ile konuyu bitirmeyi düşünüyorum. Olay şöyle başladı, yeni bloğumu açtım ve wordpress’i ana dizine atıp normal bilinen şekilde kurulumu tamamladım. Sonra kafamdaki plan şu şekildeydi. Sitenin teması kabataslak hali hazır olana kadar wordpress’in ayarlar> okuma bölümündeki “Arama motorlarının bu siteyi indekslemelerine engel olmaya çalış” özelliğini aktif ettim.

Bu özelliği aktif etmemin sebebi ise tema görünüm sayfalar vs. hazır olana kadar deneme amaçlı yüklediğim dosya ve yazıları google tarafından indexlemesine engel olmaktı. Her neyse siteyi tasarladım her şey kabataslak hazırdı ve geriye kalan  tek aşama siteyi google tarafından indexlemesine izin vermek kalmıştı. Tekrar ayarlar> okuma kısmına gelerek “Arama motorlarının bu siteyi indekslemelerine engel olmaya çalış” özelliği pasif ederek ortadaki engeli kaldırmak istedim. Gel gelelim olayın patlak verdiği noktaya ben bu özelliği kapattığım halde yazılarım ve sayfalarım halen indexlenmiyordu.

Sorunu çözmek için forumlarda konular açarak sebebini araştırmaya başladım artık çünkü google hiç bi şekilde bloğumu indexlemiyordu. Bir kaç gün sonra ben bu sorunun sebebini ve çözümü artık bulmuştum ve bu hatayı alanlar için çözümü sizlere anlatmak istedim.

 

URL robots.txt Tarafından Engellendi Hatası Çözümü

Öncelikle Paneldeki “Ayarlar” sekmesinde ki “Okuma” sayfasındaki “Arama motorlarının bu siteyi indekslemelerine engel olmaya çalış” özelliğinin pasif olduğuna emin olalım. Bu özellik aktif iken pasife çevirdiğinizde hemen siteniz indexlenmez. Google botları tarafından sitemize tarama yapıldığında indexlendiğini görebiliriz. Bu işlem bir kaç gün sürebilir sabırlı olalım eğer olay hale devam ederse aşağıdaki çözümü deneyiniz.

Çözüm Aşamaları

Öncelikle Google Webmasters Tools’a giriş yapıyoruz, giriş yaptıkdan sonra “Tarama” kısmında ki alt menüden robots.txt aracına tıklıyoruz. Burada sitemizin robots.txt dosyası mevcut bu dosyayı güncelleyip tekrar dizine atarak sorunu çözmeye başlayacağız. Öncelikle bu sekmede robots.txt dosyasını tekrardan kendi isteğimize göre düzenliyoruz. En bilindik olan robots.txt dosyasını örnek olarak gösterirsek;

robotstxt dosyası

 

==>> Robots.txt dosyamızı bu şekilde güncelleme yapıp sağ altta bulunan”gönder” sekmesine tıklıyoruz.

robotstxt sorunu

==>>  Bu Aşamada ilk sekmeden indir butonuna tıklayarak robots.txt dosyamızı bilgisayarımıza indiriyoruz. 

==>>  İndirdiğimiz bu dosyayı ftp sunucumuza bağlanarak “public_html” ana dizinin içine atıyoruz ve webmasters tools’a tekrar dönüp “yüklenen sürümü gör” diyerek robots.txt dosyamızı kontrol ediyoruz eğer güncellediğimiz halde gözüküyorsa buraya kadar hatasız gelmişizdir. 

==>> Kontrollerimizi sağladıktan sonra 3. aşamadaki “gönder” butonuna basıyoruz ve 1 dakika bekleyip sayfayı yeniledikten sonra güncel robots.txt dosyamızı görebiliyorsak çözüme bir adım kalıyor.

==>>Tekrar sol menüdeki “Tarama” seçeneğindeki alt menüden “Site Haritaları” sekmesine tıklıyoruz ve yeni bir sitemap.xml dosyasını google’ye gönderiyoruz. Buraya dikkat, yeniden gönderdiğiniz sitemap dosyası yine aynı hatayı verecek ama endişe etmeyiniz çünkü bir kaç gün beklemeniz halinde sitenize googlenin botları gelecek ve tarandığında bu hataları artık görmeyeceksiniz tek sorun bur da beklemek sitemap haritanızı gönderin gün içlerinde webmasters tools’a girerek kontrol edebilirsiniz.

Eğer bu işlevi daha hızlanmış bir süreç içerisinde yapmak istiyorsanız tüm aşamalardan sonra webmasters tools’daki sol menüde yer alan “Tarama” seçeneğinin alt menüsünde ki “Google gibi getir” özelliğini kullanarak sitenize botların hızlı gelmesini sağlayabilirsiniz. Unutmayınız ki bu olay anlık gerçekleşmez bu işlemi yapmanız halinde yine bir süre beklemeniz gerek olabilir. Bu aşamalardan sonra “URL robots.txt Tarafından Engellendi Hatası” almayacaksınız.

Yaşadığınız buna benzer sorunları aşağıdaki yorum kısmından bana ulaştırabilirsiniz veya iletişim sayfasından bana mail atarak sorabilirsiniz.

 

Yazar Hakkında
Toplam 25 yazı
Hakan Yılmaz
Hakan Yılmaz
Manisa Celal Bayar Üniversitesi'nde Bankacılık ve Finans bölümünde lisans öğrencisiyim. Amacım her türlü bilgiyi sizlere özgün bir makale şeklinde sunmaktır. Daha fazla bilgi için hakkımda sayfamı ziyaret edebilirsiniz.
Yorumlar (Yorum yapılmamış)

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

×

Bir Şeyler Ara