Bagaimana Mesin Pencari Bekerja. Merayapi, Mengindeks, dan Memberi rangking website

Baik, kali ini kita akan melanjutkan pelajaran kita tentang bagaimana mesin pencari bekerja. Menurut saya bagian ini sangat penting sekali karena sebelum kita belajar dan mulai mempraktekkan SEO untuk website yang kita kelola, kita harus terlebih dahulu mengetahui bagaimana sebuah mesin pencari bekerja dan bisa menemukan website Anda dan kemudian menampilkannya kepada orang-orang yang mencari informasi dengan kata kunci yang digunakannya.

Dalam panduan ini saya akan memberikan contoh dengan menggunakan mesin pencari terbesar yang paling banyak digunakan oleh orang di seluruh dunia yaitu mesin pencari Google. Sebenarnya semua mesin pencari yang ada di dunia ini pada dasarnya mempunyai cara kerja yang sama, yaitu sama-sama membantu mencari sesuatu dan memberikan hasil yang di dapat kepada orang itu.

Jadi bisa saya katakan search engine ini adalah sebuah mesin penjawab. Mereka di ciptakan dan ada untuk menemukan, memahami dan juga mengatur konten yang ada di internet untuk memberikan hasil pencarian yang relevan dengan keyword yang diketikkan di dalam kotak pencarian Search Engine.

Sebuah artikel agar bisa muncul di hasil pencarian sebuah mesin pencari, maka artikel yang Anda buat itu harus terlebih dahulu bisa dilihat oleh mesin pencari. Ini bisa saya katakan adalah bagian yang paling penting dari sebuah teka-teki SEO. Jadi jika seandainya website yang Anda buat belum muncul atau belum ditemukan di mesin pencari, maka Anda tidak pernah akan muncul di SERP – Halaman Hasil Mesin Pencari (Search Engine Results Page)

Bagaimana Sebuah Mesin Pencari Bekerja?

Mesin pencari sebenarnya mempunyai tiga fungsi utama:

Crawl (Perayapan): Menjelajahi Internet untuk konten, mencari kode/konten untuk setiap URL yang mereka temukan.
Index: Menyimpan data dan mengatur setiap konten yang ditemukan selama proses perayapan. Setelah sebuah halaman website di index, halaman itu akan di proses untuk segera ditampilkan sebagai hasil dari pencarian yang relevan.
Rank (rangking): Menampilkan potongan-potongan konten yang sudah ditemukan dan akan menjawab pencarian dengan menampilkan permintaan yang paling relevan sampai yang kurang relevan.

Apa yang dimaksud dengan search engine crawling (Perayapan mesin pencari)?

Crawling sebuah proses yang dilakukan mesin pencari untuk mengirimkan tim robot (yang juga dikenal dengan crawler atau spider) untuk mencari dan menemukan konten-konten baru dari setiap website atau konten yang di perbaharui. Konten yang di cari dan di temukan bisa bervariasi – bisa berupa halaman website seperti halaman yang sedang Anda kunjungi dan baca ini, gambar, PDF, Video dan lain sebagainya. Tetapi sekali lagi saya ingin mempertegas, terlepas dari format konten itu sendiri, konten yang ditemukan semuanya di mulai berupa link.

Googlebot akan memulai perayapan dengan mengambil beberapa halaman website yang ada di internet dan kemudian Googlebot akan mengikuti atau menelusuri link pada halaman website itu untuk menemukan apakah ada URL yang baru. Dengan menelusuri sepanjang jalur atau link yang pernah dibuat ini, crawler bisa menemukan konten baru dan kemudian menambahkannya ke indeks mereka yang sering disebut dengan Caffeine – database besar dari setiap URL yang ditemukan untuk kemudian diambil untuk di kumpulkan dan kemudian di munculkan ketika ada seseorang yang mencari informasi tertentu yang berhubungan dengan konten pada URL itu, jika cocok (relevan) maka akan ditampilkan.

Apa Yang Dimaksud dengan Search Engine index?

Search engines akan memproses dan menyimpan semua informasi penting yang sudah mereka temukan dalam indeks mereka, basis data base yang sangat besar dari semua konten yang pernah mereka temukan dan sudah dianggap cukup baik untuk bisa ditampilkan dalam pencarian.

Peringkat di Mesin Pencari (Search engine ranking)

Ketika ada seseorang yang melakukan pencarian di mesin pencari dengan menggunakan kata kunci tertentu, maka mesin pencari akan memeriksa indeks mereka untuk menemukan dan kemudian menampilkan konten yang paling relevan di halaman pencarian berdasarkan urutannya. Nah urutan yang berdasarkan tingkat relevan ini di kenal dengan nama peringkat.

Secara umum, Anda sebenarnya bisa membuat kesimpulan seperti ini, semakin tinggi peringkat sebuah website di halaman depan mesin pencari maka semakin tinggi mesin pencari meyakini relevan website itu dengan kueri.

Memang kita sendiri bisa memblokir atau melarang mesin pencari untuk merayapi seluruh halaman website kita atau sebagian atau halaman tertentu saja yang ada di website kita dalam indeks mereka. Meskipun kita mungkin mempunyai alasan tertentu untuk bisa melakukan hal ini, tetapi jika konten Anda ingin ditemukan oleh mesin pencari, maka menurut saya Anda dululah yang harus memastikan apakah konten Anda itu bisa di akses oleh crawler dan di indeks. Jika tidak bisa, ini artinya sama saja dengan tidak terlihat atau konten Anda tidak pernah ada.

Crawling: Apakah Mesin pencari bisa menemukan halaman website Anda?

Seperti yang sudah saya jeleskan tadi memastikan website Anda bisa di rayapi dan di indek oleh mesin pencari adalah persyaratan utama dan yang paling penting untuk bisa muncul di SERPs. Jika saat ini Anda sudah mempunyai website atau blog mungkin cara yang paling bagus adalah untuk mulai melihat berapa banyak halaman website Anda yang sudah di indeks oleh Google.

Ini bisa menjadi sebuah tantangan dan juga menjadi sebuah informasi tentang apakah Google sudah merayapi dan menemukan semua halaman website yang Anda buat dan inginkan, dan juga adakah sesuatu yang terjadi yang tidak sesuai dengan keinginan Anda.

Mungkin sampai di sini ada yang bertanya, bagaimana caranya untuk memeriksa semua halaman website yang sudah di indeks oleh Google? Caranya sangat mudah Anda hanya perlu mengetikkan seperti ini di kotak pencariaan Google:

‘site:yourdomain,com’

Nanti Google akan menampilkan semua halaman yang sudah pernah dia rayapi dan indeks.

Jika Anda perhatikan dalam gambar, Google menampilkan hasil pencarian dari website Anda, meskipun tidak 100% tepat tetapi cara ini akan membantu Anda untuk mendapatkan jawaban dari apa yang ingin Anda dapatkan khususnya tentang bagaimana dan halaman mana saja yang sudah di indek oleh Google.

Kalau Anda ingin mendapatkan hasil yang maksimal dan lebih akurat, Anda bisa menggunakan Google Search Console, jika Anda belum mempunyai akun di sana Anda bisa mendaftar untuk mendapatkan akun Google Search Console Gratis. Setelah mendafatar Anda bisa mengirimkan (memasukkan) sitemap website Anda dan kemudian setelah beberapa hari Anda bisa melihat berapa banyak halaman website yang sudah terindeks oleh Google.

Jika website atau halaman website Anda tidak muncul di search engine ada beberapa alasan yang bisa menyebabkan hal itu:

Website yang Anda buat masih baru dan Google belum sempat main untuk merayapi semua halaman website Anda.
Website Anda belum mempunyai backlink dari website lain manapun yang menuju ke website Anda.
Navigasi menu website Anda mempersulit robot untuk meng-crawl secara efektif.
Kemungkinan besar website Anda berisi beberapa kode dasar yang memang sengaja memblokir mesin pencari mengunjungi website Anda (melarang mesin pencari mengunjungi website Anda).
Website Anda telah terkena penalti (hukuman) dari Google karena menggunakan taktik spam.

Banyak orang menginginkan Google bisa merayapi semua halaman website yang mereka miliki termasuk halaman yang paling penting tetapi banyak yang melupakan bahwa kemungkinan ada halaman-halaman tertentu yang tidak ingin Googlebot menemukan halaman tertentu milik Anda itu. Misalnya saja konten lama Anda yang mempunyai isi yang kurang bagus, duplikat URL misalnya saja parameter sort-and-filter untuk e-commerce, halaman kode promo khusus, staging atau jika Anda mempunyai halaman test page dan halaman lainnya.

Untuk mengarahkan Googlebot boleh dan tidak merayapi halaman tertentu, Anda bisa menggunakan robot.txt.

Saya yakin sampai di sini banyak yang palanya pusing dan mengatakan waduh kalau saya buat website kok ribet sekali ya, tenang saja ini hanya optional saja, kebanyakan pemilik website kemungkinan besar tidak melakukan hal ini, jadi Anda tidak perlu pusing dulu, saya membagikan pengetahuan ini hanya untuk diketahui saja, jika suatu saat Anda sudah jago dan membutuhkan hal ini Anda sudah pernah mempelajarinya dari saya.

Robots.txt

File robots.txt ada dibagian root directory website Anda (contoh. Domainanda.com/robots.txt) dan di sini ada perintah halaman mana saja yang boleh dan tidak untuk dirayapi (crawl). Serta kecepatan bagaimana mesin pencari merayapi halaman tertentu website Anda.

Bagaimana Googlebot memperlakukan robots.txt

Jika Googlebot tidak bisa menemukan file robots.txt di sebuah website tertentu, maka Googlebot akan melanjutkan untuk merayapi website tersebut (semua halaman yang ada).
Jika Googlebot bisa menemukan file robots.txt di sebuah website tertentu, bisanya Googlebot akan mematuhi perintah yang diberikan dan kemudian melanjutkan untuk merayapi halaman-halaman yang di sarankan.
Jika Googlebot menemukan ada kesalahan saat mencoba untuk mengakses file robots.txt yang ada di website Anda dan tidak bisa menentukan apakah file ini ada atau tidak, maka Googlebot tidak akan merayapi website itu.

Anda juga perlu tahu tidak semua robot web mengikuti robots.txt. Orang-orang yang mempunyai niat buruk (Contohnya: e-mail address scrapers) mereka seringkali membuat software yang memang di rancang untuk tujuan jahat dan tidak mengikuti protokol yang sudah kita buat di robots.txt ini. Biasanya orang-orang yang jahat ini malah memanfaatkan robots.txt ini untuk mencari-cari file penting apa yang Anda sembunyikan termasuk jika itu berisi file pribadi Anda. Memang cukup masuk akal bukan untuk memblokir crawlers (perayap) dari halaman tertentu yang tidak ingin ditelusuri contohnya seperti halaman login dan administration sehingga tidak muncul dalam indeks, dengan menempatkan URL tertentu yang tidak ingin di indeks di robots.txt yang bisa diakses oleh semua orang termasuk orang-orang yang berniat jahat ini malah menjadi masalah baru, mereka bisa dengan mudah menemukan file Anda itu. Cara yang terbaik menurut saya adalah dengan Nonindex halaman tertentu dari dalam login form daripada menempatkannya di robots.txt Anda. Kapan-kapan saya akan menunjukkan caranya di panduan selanjutnya.

Bisakah crawler menemukan semua konten penting di website Anda?

Sekarang setelah Anda sudah mempelajari dan mengetahu bagaimana caranya search engine crawler menjauhi beberapa konten milik Anda yang tidak penting, sekarang mari kita sama – sama belajar tentang caranya mengoptimasi website Anda dan membantu Google untuk menemukan setiap halaman penting yang ada di website Anda.

Seringkali mesin pencari (search engine) bisa menemukan beberapa bagian dari website Anda untuk merayapi, tetapi mungkin beberapa halaman atau bagian lain tidak dirayapi atau (dikaburkan) oleh mesin pencari karena alasan satu dan lain hal. Menurut saya sangat penting sekali untuk memastikan kalau setiap mesin pencari bisa menemukan semua konten yang Anda buat dan ingin di indeks dan bukan hanya bagian beranda website Anda saja.

Apa yang menjadi pemicu Googlebot ini merayapi website Anda?

Relevansi konten. Ini artinya ketika ada orang yang mengetikkan kata kunci tertentu di mesin pencari maka Google mencari data yang sesuai kemudian kalau website Anda mempunyai konten yang sama dengan kata kunci yang diketikkan oleh orang maka website Anda akan tampil di halaman pertama mesin pencari Google atau halaman dalam mesin pencari.
Yang akan di rayapi oleh Google adalah Meta Tag (Title, Description, Keyword dll).
Kualitas konten yang Anda buat. Perlu Anda tahu dari tahun ke tahun Google selalu mengupdate algoritma dan sistem mereka sehingga dari waktu ke waktu Google sudah lebih baik untuk menganalisa mana konten website yang bagus dan mana yang kurang bagus. Selain itu sebuah konten yang sering dikunjungi, mendapatkan komentar dan juga di share bisa menjadi salah satu faktor penentu konten kalau itu bagus.
Page views ini mengartikan sebarapa banyak website atau halaman website itu dilihat oleh orang, makannya Anda juga harus rajin melakukan share artikel yang sudah Anda buat.
Social Media Signal. Ini ada hubungannya dengan no 4, tetapi kita perlu ingat Google sendiri mengatakan media sosial BUKAN merupakan faktor untuk menentukan peringkat SEO secara langsung. Apakah ini memang demikian, dan apakah ini akhir cerita? Menurut saya tidak seperti itu. Karena ini memang agak rumit untuk dijelaskan tetapi juga penting untuk dilakukan. Saya sendiri sulit percaya karena memang ada banyak bukti yang menunjukkan, sinyal sosial media seperti like dan share memang terkait dengan peringkat Anda – saya juga sulit menjelaskannya tapi ini nyata. Di sini saya coba meminjam data dari Cognitive SEO. Anda bisa melihat sendiri di gambar itu semakin tinggi peringkat website dalam sebuah pencarian maka akan semakin banyak kehadiran sosial yang di miliki oleh website tersebut. Jadi menurut saya meskipun sosial media bukan faktor peringkat untuk Google, tetapi ini bisa memperbesar faktor peringkat yang akan menjadi pertimbangan Google.

Mungkin panduan kali ini sampai di sini dulu, sebenarnya ini masih agak panjang pembahasannya, Cuma saya takut artikelnya menjadi sangat panjang dan Anda bosan untuk membacanya. Tapi setidaknya denga sedikit penjelasan dari saya ini Anda sudah bisa memahami bagaimana sebuah mesin bekerja untuk menemukan website Anda.

Jika Anda suka dengan artikel dan juga video tutorial yang kami buat ini, bantu kami untuk share artikel Bagaimana Mesin Pencari Bekerja ini dan jangan lupa subscribe channel YouTube SUBMITClimb untuk mendapatkan video – video tutorial lain yang mungkin berguna dan bermanfaat untuk Anda. Anda juga bisa menemukan tutorial dan beberapa panduan yang hanya kami share di akun sosial media kami seperti di Facebook, Facebook Group, Twitter dan Instagram SUBMITCLimb