Ana Sayfa Seo Crawl Nedir

Crawl Nedir

Crawl, yani genel adıyla Web Crawling işlemi web sitelerini gezinerek link elde etme işlemine verilen addır. Crawl, kelime anlamıyla "emeklemek" demektir. Hedeflenilen işlemi gerçekleştirebilmek adına birçok işlemin yapılmasını ifade etmektedir.

Crawl Nedir

Crawl, yani genel adıyla Web Crawling işlemi web sitelerini gezinerek link elde etme işlemine verilen addır. Crawl, kelime anlamıyla “emeklemek” demektir. Hedeflenilen işlemi gerçekleştirebilmek adına birçok işlemin yapılmasını ifade etmektedir.

Crawling işlemi gerçekleştirildiği zaman farklı sitelerden kaynaklar oluşturduğumuzu unutmamamız gerekir.

Crawling işlemi sırasında farklı kaynaklar kullanıldığı için oldukça dikkatli davranmak gerekmektedir. Crawling işlemi bir plan doğrultusunda işletilmelidir, bu işlemi yaparken kullanılan sistemin çökmemesi gerekir.

Bu nedenle parametreler özenli bir şekilde düzenlenmeli, kullanılan kaynakların çökmemesi sağlanmalıdır.

Web crawler kavramı arama motorlarının yaygınlık kazanması ile ortaya çıkmış bir kavramdır. Oluşturulan arama motorları internet üzerinde yer alan internet sitelerindeki linkleri hızlı bir şekilde tarayarak indexler.

İndexlenen bu sitelerde yer alan bilgiler insanlara kısa süre içerisinde aktarılmaya çalışılır. Yani kısacası web crawler, kısa süre içerisinde doğru bilgiye ulaşma çabası olarak ifade edilebilir.

Bu işlemin crawl olarak adlandırılmasının temel sebebi tıpkı bir bebeğin hedefine ulaşması gibi emekleyerek hedefe ulaşmayı ifade etmesi nedeniyledir.

Linklerin kaydedilmesi ve izlenmesi amacı ile oluşturulan ağ da tıpkı bir örümceğin oluşturduğu ağa benzemektedir.

Web Crawler Nasıl Çalışır?

Crawl Nedir
web-crawl-nedir

Web crawler, tıpkı bir örümceğin ördüğü ağ gibi basit bir mantık çerçevesinde çalışmaktadır. Öncelikli olarak bir internet sitesini indirir, indirdiği bu internet sitesinde yer alan bağlantıları ustalıkla çıkarır.

Bu bağlantıları çıkardıktan sonra sayfada yer alan anahtar kelimeleri de çıkarmaktadır. Hazırlamış olduğu bu sayfa ve anahtar kelime bilgilerini indexlere aktarır. Daha sonra bu işlemi diğer sitelerde tekrarlayarak bir kaynak oluşturur.

Web crawler, bu işlemleri gerçekleştirirken çeşitli kategorilere ayırmayı da sağlamaktadır. Bu kategoriler scrapy yardımı ile kullanılabilir hale getirilmektedir. Derinlemesine gerçekleştirilen crawl işlemi farklı bir kategoriye kaydolurken çerçeve desteği farklı bir kategoriye kaydolmaktadır.

Web crawler sayesinde HTTP bağlantısı ile bir internet sitesinde dolaşarak bu hedef sitede yer alan bağlantıları elde edersiniz.

Bu linklerin geniş çaplı mı olacağı yoksa tek site üzerinden mi toplanacağı sizin inisiyatifinize bağlıdır.

Link toplama işlemini gerçekleştirmenizi sağlayan sistemin adı web crawler, bu sistemle link toplama işleminize ise web crawling denmektedir.

Örn: Google’ın sahip olduğu web crawler sistemi dünyadaki bütün internet sitelerini tarayarak gerekli olan bilgileri ve anahtar kelimeleri toplamaktadır.

Üstelik bunu yalnızca saniyeler içerisinde gerçekleştirebilecek bir sistemdir. Tüm bu sistemin işlenmesi de günümüzde oldukça önem kazanan bir alanın doğmasını sağlamıştır: SEO.

Web Crawler Kavramları

Web crawler denilince genellikle iki kavram üzerine yoğunlaşıldığını görmekteyiz. Bu kavramlar; Distributed Crawler ve Focused Crawler kavramlarıdır.

Distributed Crawler, dağıtılmış bir şekilde gerçekleştirilen emekleme faaliyetini anlatmaktadır.

Burada arama faaliyeti genellikle birden fazla bilgisayar üzerine bölünerek gerçekleştirilmektedir.

Bu emeklemenin gerçekleştirilmesinin belirli nedenlerle olduğunu bilmekteyiz. Veri kaynağına yakın olunması durumunda dağıtık emekleme daha hızlı sonuç elde etmeyi sağlar.

Aynı zamanda bu yöntemin kullanılması işlem yükünü yüksek oranda azaltır. Çünkü toplam işlem birden fazla bilgisayara bölünmektedir.

Tek bilgisayarın edindiği yük Focused Crawler’a göre oldukça azdır. Aynı zamanda bu yöntem kullanıldığı zaman daha az depolama ihtiyacı gözlemlenmektedir.

Çünkü her emekleyicinin tutması gereken veriler diğerlerinden farklı olacaktır.

Focused Crawler söz konusu olduğunda ise aranan hedefe yönelik bir odaklanma durumunun söz konusu olduğu bilinmektedir.

Burada önemli olan aranılan şeyin kendisidir. Dosya türünün farklı olması veya farklı bir konumda bulunması önem arz etmez.

Aramanın gerçekleştirildiği kelime ile alakalı olan her şey bu yöntemle elde edilir.

Özetleme fonksiyonu, dağıtık crawler kullanıldığı zaman kullanılması gereken bir fonksiyon olarak karşımıza çıkar.

Birbirinden farklı emekleyiciler kullanıldığı için bu emekleyiciler arasında uyumlu bir çalışmanın sağlanması zorlayıcı olabilmektedir.

Bu durumu engelleyebilmek adına yapılması gereken şey özetleme fonksiyonu ile emekleyiciler arasında özet bilgi alışverişini sağlamaktır.

Aynı zamanda daha kısıtlı bir kaynağı taramayı sağlayan crawler da tasarlanabilmektedir. Desktop Crawler tam olarak bu amaçla tasarlanmaktadır.

Bu crawler türü çoğunlukta kişisel bilgisayarlarda bulunur. Şirket bilgisayarları veya üniversite, hastane, adliye bilgisayarları için de bu crawler türü tasarlanabilir.

Bu crawler türünün veriyi elde etmesi diğer türlere göre oldukça kolaydır. Dosyaların ve verilerin hangi tarihlerde değiştiği bu crawler türü ile tespit edilebilmektedir.

İşlemci yükü oluşturmadığı için bu tarz nedenlerle fazlaca tercih edilmektedir. Dosya tipleri konusunda çok çeşitli bir yapıda çalışır.

Bu crawler yalnızca kişisel verilere erişim sağlarken kullanıldığı için bu verilerin korunması oldukça önemlidir.

Web Crawling Yasal Bir İşlem Midir?

Web crawling, illegal bir durumun oluşmasına sebebiyet vermez. Yalnızca bu işlemin kullanılması kişiler açısından bir risk doğurmayacaktır. Data toplama durumu kişilerin cezalandırılması için bir neden teşkil etmemektedir.

Fakat toplanılan bu dataların analiz edilerek farklı kurumlara satılması kişilerin cezalandırılması yolunu açacak bir girişim olacaktır.

Web crawler düzgün bir sisteme sahip değilse kaynak elde edilmeye çalışılan sitelerden data toplamak söz konusu dahi olmaz.

Bilgi elde etmeye çalıştığınız siteler tarafından engellenme riskiniz gündeme gelir. Bu işlemi bilgisiz bir şekilde gerçekleştirirseniz data toplama çalıştığınız sitenin çökmesine dahi sebep olursunuz.

Bu nedenle web crawling işlemini gerçekleştirirken dikkat etmeniz gereken önemli noktalar söz konusudur.

Web scraping işlemi yaparken elde ettiğiniz verileri bir kuruma satarsanız bu durumda illegal bir duruma düşmüş olursunuz.

Web Crawling Yaparken Dikkat Edilmesi Gereken Noktalar

Web crawler, HTTP üzerinden giriş yapmış olduğunuz sitelerin kaynağının kullanılmasını sağlayan bir sistem olduğu için işlem gerçekleştirirken oldukça dikkatli olmalısınız.

Siteler genellikle bu tarz girişimlere karşı güvenlik önlemleri almaya çalışır. Hatta bu önlemleri alırken crawl işlemi sırasında uymanız gereken noktalara da temas etmektedirler.

Bu kurallar arasında kaynağı ne kadar süre ile kullanabileceğinizden, kullanıcı bilgileri hakkında ufak detaylara varana kadar çeşitli konular yer alabilir.

Bu kurallara riayet etmediğiniz zaman sistemin sizi devre dışı bırakması söz konusu olacaktır.

Web crawler tasarlarken düşman saldırı olarak nitelendirilebilecek çalışmalar gerçekleştirmesini önlemeniz gerekmektedir. Düşman saldırı, siteler tarafından saf dışı bırakılması gereken saldırılardır.

Crawl sırasında bu tarz bir saldırı imajı çizmemeniz oldukça büyük bir önem taşımaktadır.

Web Crawler ve SEO Hizmetinin Bağlantısı

Teknik SEO hizmeti verebilmek adına crawling işlemi hakkında bilgi sahibi olmak gerekmektedir.

Çünkü SEO hizmetinin tartışmasız en mühim kısmı crawling faaliyetinden oluşmaktadır. Crawlings, bir site oluşturulduğu zaman o site üzerinde tarama yapan örümceklere benzetilebilir.

Sitenin temel amacı Google botlarının sitede bir hata veya eksiklik bulmasının önüne geçmektir. Bu noktada crawlings devreye girer ve bu botlardan önce site üzerinde tarama yaparak hata veya eksikliği keşfeder.

Bu işlemi yapabilmek adına kendi crawlerınızı tasarlayabileceğiniz gibi hazır crawlerlardan da yararlanabilirsiniz.

Türkiye’de bu amaçla en çok kullanılan crawler DeepCrawl’dır. Bu programın birçok muadili vardır ve bazıları ücretli iken bazıları da ücretsiz olarak piyasaya sürülmektedir.

DeepCrawl, Botify veya Onpage gibi araçlar yıllık ücret alarak sitenizi sürekli bir şekilde tarar.

SEO esnasında gerçekleştirilen bir diğer işlem ise crawling sayesinde elde edilen veriler arasından bilgi toplamaya yarayan web scraping işlemidir.

Bu özel bir ihtiyaç için kullanılan yöntemdir. Bu işlemi gerçekleştirebilmek adına tasarlanan araçlar yardımı ile ihtiyaç duyduğunuz veriye kısa süre içerisinde ulaşabilmeniz mümkündür.

Web Crawler Analizi Araçları

Crawling işlemi gerçekleştirmek isteyip yazılım konusunda pek bilgi sahibi değilseniz hazırlanmış programlardan istifade ederek sitenizde yer alan hataları ve eksiklikleri keşfedebilirsiniz.

Bu programların çoğu belirli bir ücret karşılığında istediğinizi size sunmaktadır. Fakat deneme sürümlerinden veya ücretsiz sürümlerinden de istifade etme imkanı sağlayan programlar da söz konusudur.

Xenu, Screaming Frog, SEOMOZ Crawl Tool gibi araçlar kişilerin analizlerini gerçekleştirmek için tasarlanan programlar arasında yer almaktadır.

Crawling işlemi gerçekleştirirken daha önce hazırlanmış kütüphanelerden de istifade etmeniz mümkündür.

Scrapy, LXML, Mechanize vb. oluşumlar bu doğrultuda kullanabileceğiniz frameworklerdir.

Scrapy Nedir, Nasıl Kullanılır?

Scrapy, internette yer alan içerikleri hızlı ve güvenilir bir şekilde taramanız konusunda yardımcı olan gelişmiş niteliklere sahip bir kütüphanedir.

Web Crawl Pyhton projeleri üzerinde çalışma gösterebilmek adına sanal ortam oluşturabilmeniz mümkündür.

Scrapy kullanabilmek için öncelikli olarak yapmanız gereken şey bir sanal ortam inşa etmektir. Bu süreç bittikten sonra Scrapy kurulumuna başlayabilirsiniz.

Scrapy kurulumunu tamamladığınız zaman internette yer alan bütün sitelere erişim sağlayıp arama yapabilmeniz mümkündür.

Sınırların olmaması kafa karışıklığına yol açabileceği için öncelikle hedefinizin ne olduğunu belirlemeniz gerekmektedir.

Hedefinizi belirledikten sonra sitede yer alan robot.txt i gözden geçirmeniz gerekmektedir. Sitenin crawl yaparken uyulması gereken kuralları genellikle bu metin içerisinde yazılıdır.

Bu adımdan sonra yapmanız gereken şey ağın içerisinde yayılması için spider oluşturmaktır. Örümcekleriniz hazırsa sistemi çalıştırarak dataları alabilirsiniz.

Bu program kod kullanmayı bilen kişiler açısından yararlı bir programdır; fakat kod kullanmayı bilmiyorsanız daha farklı bir crawl analiz aracına ihtiyaç duyarsınız.

XENU

XENU, teknik SEO’yu sağlayabilmek amacı ile kullanılabilecek bir crawl aracıdır. Bu program yalnızca masaüstünde uygulanabilecek bir programdır, mobil olarak veya bulut teknolojisi ile uyumlu bir şekilde çalışması söz konusu değildir.

Bu aracın kurulumunu sağlayıp sitenizi analiz ettirdiğiniz zaman sitenizde yer alan kırık linkleri gözlemleyebilirsiniz.

Kırık linkleri Google botlarından önce keşfedebilecek niteliğe sahip bir program olduğu için teknik SEO açısından yarar sağlamaktadır.

Bu crawl aracı tamamen ücretsizdir. Yapılan işlem karşılığında ücret talep edilmemektedir. Bu programı kullanarak elde edebileceğiniz veri sayısı sınırlıdır.

Yazılımını kendinizin oluşturduğu bir crawl aracına oranla oldukça düşük veriler sunmaktadır.

Bu program oldukça hızlı bir arama gerçekleştirerek sonuçları sizinle hızlı bir şekilde paylaşmaktadır.

Sağladığı veriler sitelerin başlığı ve kısa açıklaması gibi ibareleri de barındırdığı için analiz sorununuzu kısa süreliğine çözmesi mümkün olacaktır.

Yalnızca Windows platformunda çalışan bir uygulama olduğu için Mac ve Linux işletim sistemine uyum göstermemektedir.

SEOMOZ Crawl Tool

Bu araç da crawling işlemi gerçekleştirerek data toplamayı sağlamaktadır. Hazırladığı raporları PDF formatında sunduğu için kullanıcıların daha dikkatli bir şekilde gözlem yapabilme olanağının olmasını sağlar.

Bir SEO hizmeti veren şirket pozisyonundaysanız bu hizmeti alan müşterilerinize SEOMOZ Crawl Tool‘un hazırladığı bu PDF formatındaki raporu sunabilirsiniz.

Bu araç bulut teknolojisine entegre bir şekilde kullanılabilen bir araçtır. Windows, Mac ve Linux’ta kullanılabilmesi mümkün olduğu için XENU’dan daha fazla kullanılmaktadır.

Başlık ve o site ile ilgili açıklamalara yer veren bir rapor sunacağı için kişilerin işlemlerini kolaylaştırmaktadır.

Screaming Frog

Teknik SEO denetlemesi konusunda en çok işe yarayan araç şüphesiz ki Screaming Frog‘tur. Bir internet sitesine sahip olan insanların muhakkak kullanması gereken araçlar arasında yerini almaktadır.

İnternet sitenizde yer alan eksiklikleri ve hataları keşfedemeyecek durumdaysanız bu program sayesinde kısa süre içerisinde keşfedersiniz ve bunları gidererek performans kaybınızı ortadan kaldırırsınız.

Bu program sayesinde internet sitenizde bulunan bağlantıları, görsel ögeleri, uygulamaları ve CSS’leri tarayabilirsiniz.

Uygulama bir masaüstü programı olduğu için ve arayüzü bilgisayar kullanmayı çok iyi bilmeyen kişiler için de anlaşılır olduğu için rahatlıkla kullanabilirsiniz.

Bu uygulama ile site için SEO denetlemesini tamamlayarak “kullanıcı dostu” siteler arasında yerinizi alabilirsiniz.

Sitenizde mevcut olan kırık linkler, internet sayfalarınızı sayısı, başlıkları ve kısa analizi gibi birçok bilgi sağlayan bu program sayesinde internet sitenizi SEO uyumlu hale getirebilirsiniz.

Program Windows’ta kullanılabilmesinin yanı sıra Linux ve Mac’te de kullanılabilecek yapıya sahiptir. Bu programı Screaming Frog’un internet sitesinden indirerek bilgisayarınıza klasik bir program gibi kurabilirsiniz.

Kurulum tamamlandıktan sonra karşınıza birden fazla sekmenin bulunduğu bir ekran gelecektir. Bu ekranda bulunan sekmeler aracılığıyla gerçekleştirmek istediğiniz crawl analizi işlemini kısa süre içerisinde gerçekleştirerek sitenizi SEO uyumlu hale getirebilirsiniz.

Program ücretli bir programdır; fakat başlangıç aşamasında ücretsiz bir şekilde deneyebilme imkanı da sunar. 500 URL’ye kadar olan taramalarınızı ücretsiz bir şekilde gerçekleştirebilirsiniz.

İnternet siteniz 500 URL’den fazla içeriğe sahipse bu durumda ücretli üyelik almanız gerekmektedir. Ücretli üyelik makul seviyelerde olduğu için internet sitenizin değerini artırabilmek maksadıyla ödenebilir.

Screaming Frog programı açıldığı zaman ekranda Internal, External, Protocol, Responce Codes, Page Titles, Meta Description, H1 ve Images sekmelerini göreceksiniz.

Internal, internet siteniz içerisinde yer alan bağlantıları detaylı bir şekilde inceleyebilmeniz adına var olan bir sekmedir.

External ise dış bağlantılarınızı kontrol edebileceğiniz bir kısımdır. Protocol bölümü sayesinde dahili ve harici bağlantılarınızı gözden geçirerek sertifikalar hakkında bilgi sahibi olursunuz.

Responce Codes, internet sitenizde yer alan sayfaların açılışı sırasında verilen uyarıları göstermektedir.

Bir sayfa linkinin kırık olup olmadığını bu kodlar sayesinde anlayabilirsiniz. Page Titles, internet sitenizde yer alan sayfaların başlığını ifade eder.

Bunların H1 etiketi ile uyumlu olup olmadığı da yine bu sekme sayesinde öğrenilebilir. Meta Description sayesinde yinelenen açıklamalara ulaşım sağlarsınız.

H1, sayfalarınızda yer alan etiketleri gözlemleyebileceğiniz sekme iken Images’te sayfanızda yer alan bütün görselleri görüntüleyebilme imkanı tanıyan bir sekmedir.

Screaming Frog Nasıl Çalıştırılır?

Screaming Frog ile bir crawl analizi gerçekleştirmek istiyorsanız internet sitenizin URL’sini sisteme girerek başlayabilirsiniz.

Bu bölüm program açıldığı zaman ekranın en üst kısmında yer alan link boşluğuna URL adresinizi yapıştırmanızı ifade etmektedir.

Bu bölümde tarama yaparken yalnızca linkini eklemiş olduğunuz internet adresi üzerinde tarama gerçekleştirebilirsiniz.

Aynı anda birden fazla internet sitesinin taranması söz konusu değildir. Bu program site içinde yer alan bağlantılar üzerinden bir tarama faaliyeti gerçekleştirdiği için site içinde bağlantıya yer verilmemiş sayfalar bu araç ile taratılamaz.

URL’nizi taramaya çalışırken bir problem ile karşılaşıyorsanız sitenizde yer alan botların taramayı engellediğini bilmelisiniz.

Bu nedenle robot.txt ayarlarını gözden geçirip daha sonra tarama işlemini başlatmanız gerekmektedir. Robot.txt yok sayılarak da bu problemin üstesinden gelebilirsiniz.

Google, sitelerin bir site haritasına sahip olmasını istemektedir. Hazırlanan bir site haritası site sahibi için oldukça pratik olunmasını sağlayacaktır.

Screaming Frog tam bu noktada da yardımcınız olarak bir XML haritaya sahip olmanızı sağlar.

Uygulamada yer alan Create XML Sitemaps opsiyonunu kullandığınız zaman bir haritaya sahip olacaksınız.

Teknik SEO ve site içi SEO hizmeti almak isteyen kişilerin genellikle gerçekleştirmek istedikleri işlem kırık link bulma işlemidir.

Screaming Frog sayesinde kırık link bulma işlemini de kısa süre içerisinde gerçekleştirebilirsiniz.

Programda yer alan “Responce Codes” sekmesi tam bu manada yardımcınız olacaktır. Bu sekmeye geldikten sonra “Bulunamadı” olarak verilen hata kodunu filtre olarak seçerek tarama gerçekleştirebilirsiniz.

Böylelikle sitenizde yer alan kırık linkleri tespit etmiş olursunuz. Bu tespit etme işlemi sonrası linklerinizi kaldırarak veya düzenleyerek bu problemi ortadan kaldırabilirsiniz.

İnternet sitenizi analiz etmesi için programa onay verdikten sonra siteniz tüm sayfaları ve bağlantıları ile birlikte taranır.

Sayfalarda yer alan başlıkların genellikle 30 ile 60 karakter arasında değişim göstermesi Google tarafından arzulanmaktadır.

Bu program sayesinde sitenizde veya dış bağlantılarınızda tekrarlanan bir başlığın olup olmadığını da tespit edebilme şansına sahip olursunuz.

Aynı zamanda internet sitenizde yer alan sayfalardan sayfa başlığına sahip olmayanlar da “Page Titles” sekmesi sayesinde gözlemlenebilir.

Tekrarlanan başlığın olup olmadığını bulabilmek adına “Duplicate” filtresini uygulamanız gerekmektedir.

Meta Description sekmesi, konuların başlangıç kısmında yer alan açıklamaları ifade etmektedir. Bu açıklamaların da 70 ile 130 karakter olarak düzenlenmesi tavsiye edilenler arasındadır.

Bu açıklamalar arasında tekrarlanan açıklamaların varlığı da “Duplicate” filtresi ile tespit edilebilmektedir.

Bu program sayesinde sitenizin Google’ın aradığı kriterlere ne kadar uyumlu olduğunu gözlemleyebilirsiniz.

Arama motoru optimizasyonunu sağlarsanız kısa süre içerisinde Google’da en çok görüntülenen siteler arasında kendinize bir yer bulabilmeniz mümkündür.

Bu nedenle crawl analizi sizin için önemli olmalı, tespit edilen eksiklikleri bir an önce tamamlayarak arama sonuçları arasında layık olduğunuz yükselişi yakalamalısınız.

Önceki içerikWordPress Seo İşlemleri
Sonraki içerikHit Arttırma Nedir
SeoWps
Profesyonel Seo ve Wordpress Rehberi Seo, Wordpress ile ilgili ne arıyorsanız SEOWPS'de.

CEVAP VER

Lütfen yorum yazınız
Lütfen isminizi buraya giriniz

Popüler Konular

Google Analytics Nedir

Google Analytics Nedir Nasıl Kurulur? Google Analytics ücretsiz bir servistir. Google'nin bütün kullanıcılara sunduğu bu servis sayesinde web site ve blog sahipleri kendi sitelerinin performansını değerlendirebilir. Hiç para...

Forum Sitesi Nasıl Kurulur

Forum Sitesi Nasıl Kurulur Forum sitesi, bilgi alıp, paylaşmak amaçlı kurulan bir platformdur. Site yetkilileri harici insanların herhangi bir paylaşım yapılan konuyla ilgili tartışma ortamı...

Vps Nedir

Vps Nedir (Hosting Sunucu) Özet tanımlamasıyla kişisel sanal sunucu olan vps yüksek kalitesi ve performansı sayesinde dünya çapında en çok tercih edilen hosting sunucuları listesinde...

Wps

Wps Wifi Protected Setup Günümüzde interneti olmayan ev yok gibidir. Ayrıca internet kullanımının giderek yaygınlaşması gün geçtikçe internetin hayatımızda daha çok yer kaplamasına neden oluyor....