Često Postavljana Pitanja • Slučajno

Šta je datoteka robots.txt?

Fajl robots.txt kontroliše pristup pretraživača na sajtu, omogućavajući ili ograničavajući indeksiranje sadržaja. Saznajte kako da ga kreirate i efikasno konfigurišete.

Pogledi 792Ažurirano 1 anObjavljeno na 15/10/2018od Cătălin Adrian

Uvod

Datoteka robots.txt je jednostavna tekstualna datoteka koja je deo protokola za isključivanje robota (REP - Protokol za isključivanje robota). Ona sadrži uputstva za pretraživače o tome kako da pristupaju i indeksiraju sajt. Da bi imala efekat, datoteka robots.txt mora biti postavljena u root folder sajta (na primer, https://domeniu.ro/robots.txt).

Važnost datoteke robots.txt

Datoteka robots.txt je ključna za upravljanje interakcijom robota sa sajtom. Postoji mnogo robota koji mogu agresivno indeksirati sajt, što može uticati na njegovu performansu. Korišćenjem ove datoteke, možete:

  • Kontroliše pristup pretraživača sadržaju sajta.
  • Omogućava indeksiranje samo od strane željenih robota (npr. Google, Bing).
  • Ograničite pristup osetljivim folderima ili fajlovima.

Primjeri korištenja

1. Blokiranje specifičnog pretraživača

Da biste blokirali pristup pretraživaču Bing (bingbot), uključite sledeće linije u datoteku robots.txt:


User-agent: bingbotDisallow: /

Objašnjenje:
User-agent: Precizira pretraživač za koji se primenjuju podešavanja.
Disallow: Definiše delove sajta kojima robot nema pristup. Simbol / blokira pristup celom sajtu.

2. Blokiranje svih pretraživača

Da biste spriječili sve pretraživače da pristupaju sajtu, koristite:


User-agent: *Disallow: /

Objašnjenje: Simbol * (wildcard) u polju User-agent primenjuje se na sve pretraživače, dok / blokira pristup celom sajtu.

3. Blokiranje pristupa samo određenim folderima ili datotekama

Da biste blokirali pristup određenom folderu i datoteci, konfigurišite:


User-agent: *Disallow: /blog/Disallow: /newsletter.php

Objašnjenje: Svi pretraživači će biti blokirani da indeksiraju folder /blog/ i fajl newsletter.php.

Izrada datoteke robots.txt

Da biste kreirali robots.txt datoteku, možete koristiti online generator koji vam pomaže da brzo i bez grešaka prilagodite pravila. Primeri online generatora mogu se pronaći pretragom: Generator robots.txt.

Depois što ste kreirali datoteku, učitajte je u root direktorij sajta koristeći menadžer datoteka ili FTP klijent.