Kako funkcioniraju internetski i web pretraživači?

U ovom vodiču pružit ćemo vam uvod u sistem rada internetskih tražilica. To će obuhvatiti procese poput crawlinga i indexinga, kao i koncepte poput crawl budget i PageRank.

Internetski pretraživači funkcioniraju tako da crawlaju stotine milijardi stanica koristeći vlastite web crawlere. Ti web crawleri se obično nazivaju pretraživačkim botovima ili takozvanim spiderima.

Pretraživači se kreću po webu preuzimajući web stranice i prateći linkove na tim stranicama kako bi otkrili nove stranice koje su postale dostupne.

Index internetskog pretraživača

Web stranice koje otkrije internetski pretraživač dodaju se u podatkovnu strukturu koja se naziva index.

Index uključuje sve otkrivene URL-ove, zajedno s brojnim bitnim ključnim podatcima o sadržaju svakog od URL-ova kao što su:

• Keywords koje su otkrivene u sadržaju stranice – kojim se temama stranica bavi?
• Vrsta sadržaja koji se crawla (koristeći mikropodatke koji se zovu Schema) – što je uključeno na stranici?
• Relevantnost stranice – koliko je nedavno ažurirana?
• Prethodni user engagement stranice i/ili domene – na koji način ljudi komuniciraju sa stranicom?

Što se događa kada pretražujemo pute?

Kada korisnik unese upit u internetsku tražilicu, sve stanice koje se smatraju relevantnima se identificiraju iz indexa, a algoritam hijerarhijski rangira te relevantne stranice po određenim kriterijima.

Algoritmi koji se koriste za rangiranje najrelevantnijih rezultata razlikuju se za svaku tražilicu. Na primjer, stanica koja visoko rangira pri pretraživanju upita na Googleu, možda neće biti jednako visoko rangirana na Bingu.

Osim pretraživačkih upita, tražilice koriste i druge bitne podatke kako da bi odredile koje će rezultate pokazati, uključujući:

• Lokaciju – neki pretraživački upiti su zavisni o lokaciji kao npr. kafić u blizini ili vrijeme održavanja predstave.
• Jezik koji se koristi – u slučaju da postoje, tražilica će korisniku prikazati rezultate na jeziku kojim je pretraživao.
• Prethodnu povijest istraživanja – rezultati pretraživačkog upita u tražilici će ovisiti i o tome što je prethodnik prethodno tražio.
• Uređaj – s obzirom na uređaj s kojeg je postavljen upit mogu se dobiti različiti rezultati.

Zašto je moguće da stranica nije indeksirana?

Postoje brojni razlozi zašto tražilica neće indeksirati URL stranice. Ovo je moguće zbog:

• Robots.txt file exclusions – datoteka koja diktira pretraživačima što ne smiju posjetiti na vašoj web lokaciji.
• Direktive na web stranici govore tražilicama da ne indeksiraju vašu stranicu (oznake noindex) ili da indeksiraju drugu sličnu stanicu (kanon oznaka)
• Algoritmi tražilice ocjenjuju da je stranica loše kvalitete, ima premalo sadržaja ili sadrži duplicirani sadržaj.
• URL prikazuje stranicu s greškom (npr. 404 Not Found HTTP response code) što znači da sadržaj nije pronađen na toj URL adresi.