Minggu, 28 April 2013

Tools dan Web Crawlers

Nama Kelompok :

Adrel Jatnika (50411260)
Febriyanto Prasetyo (52411792)
Ida Matu Qoiriyah (53411458)
Julian Permana Putra (53411878)
Riza Maulana (56411297)



Apa itu Tools?
Tools adalah alat yang digunakan untuk mengukur website sehingga kita bisa mengetahui nilai yang akan di dapat dari suatu website ataupun blog.

Macam-macam Tools yang digunakan untuk pengukuran Web :
1.      YSLOW
YSlow menganalisa kinerja halaman web dengan memeriksa seluruh komponen pada halaman web, termasuk komponen dinamis yang dibuat dengan menggunakan JavaScript.
2.      SeoAnalyser
Makin tinggi score yang dihasilkan dari pengukuran menggunakan alat ini, makin bagus pula kekuatan website tersebut di mesin pencarian. Artinya, SEO-nya makin kuat. Salah satu alat pengukur kekuatan SEO yaitu SEOANALYSER.
3.      GTmetrix
GTmetrix adalah websiteuntuk menganalisa kecepatan web yang tersedia secara gratis, dengan menggunakan google page speed dan Yahoo YSlow sebagai analyze engine dan untuk menampilkan hasil serta rekomendasi yang harus dilakukan.

Kenapa Web perlu dianalisis?
1.      Membantu mengetahui nilai yang akan di dapat dari suatu website ataupun blog.
2.      Membantu memantau berapa lama pengunjung yang membuka situs Web tersebut.
3.      Membantu mengoptimalkan situs Web dalam hal penampilan, menambah informasi.





http://januarianto04.blogspot.com/2012/06/tools-yang-bisa-digunakan-dalam.html






Apa itu Web Crawler?

Web Crawler adalah suatu program atau script otomatis yang relatif simple, yang dengan metode tertentu melakukan scan atau “crawl” ke semua halaman-halaman Internet untuk membuat index dari data yang dicarinya. Nama lain untuk web crawl adalah web spider, web robot, bot, crawl dan automatic indexer.

Digunakan di mana? dan Contohnya?
Penggunaan Web Crawler yang paling umum adalah yang terkait dengan search engine.
Search engine menggunakan web crawl untuk mengumpulkan informasi mengenai apa yang ada di halaman-halaman web publik. Tujuan utamanya adalah mengumpukan data sehingga ketika pengguna Internet mengetikkan kata pencarian di komputernya, search engine dapat dengan segera menampilkan web site yang relevan.
Namun search engine bukanlah satu-satunya pengguna web crawl. Linguist bisa menggunakan web crawl untuk melakukan analisis tekstual; yakni, mereka bisa menyisir Internet untuk menentukan kata apa yang paling umum digunakan hari ini.

Contohnya :
1.      Teleport Pro
Salah satu software web crawler untuk keperluan offline browsing. Software ini sudah cukup lama popular, terutama pada saat koneksi internet tidak semudah dan secepat sekarang. Software ini berbayar dan beralamatkan di http://www.tenmax.com.
2.      HTTrack
Ditulis dengan menggunakan C, seperti juga Teleport Pro, HTTrack merupakan software yang dapat mendownload konten website menjadi sebuah mirror pada harddisk anda, agar dapat dilihat secara offline. Yang menarik software ini free dan dapat di download pada website resminya di http://www.httrack.com
3.      Googlebot
Merupakan web crawler untuk membangun index pencarian yang digunakan oleh search engine Google.
4.      Yahoo!Slurp
Kalau Googlebot adalah web crawler andalan Google, maka search engine Yahoo mengandalkan Yahoo!Slurp. Teknologinya dikembangkan oleh Inktomi Corporation yang diakuisisi oleh Yahoo!.
5.      YaCy
Sedikit berbeda dengan web crawler  lainnya di atas, YaCy dibangun atas prinsip jaringan P2P (peer-to-peer), di develop dengan menggunakan java, dan didistribusikan pada beberapa ratus mesin computer (disebut YaCy peers). Tiap-tiap peer di share dengan prinsip P2P untuk berbagi index, sehingga tidak memerlukan server central. Contoh search engine yang menggunakan YaCy adalah Sciencenet (http://sciencenet.fzk.de), untuk pencarian dokumen di bidang sains. 

Bagaimana Web Crawlers Bekerja?
Satu  contoh yang akan kami bahas dalam cara kerja Web Crawlers yaitu tentang Google Crawling.
Google memiliki software khusus untuk proses perayapan website/blog yang bisa diakses secara umum. Secara sederhana cara kerja web crawler Google menggunakan aplikasi yang disebut Googlebot. 
Proses crawling web oleh googlebot dimulai dari crawling alamat utama web (domain), kemudian ke sitemap (peta situs) yang dibuat oleh pemilik website.
Pada akhirnya program google bot akan menentukan situs mana yang ramai pengunjung dan selalu diupdate, berapa banyak konten yang ada, untuk menentukan posisinya.



Tidak ada komentar:

Posting Komentar