środa 23 Sierpień 2017

Robots.txt

robots.txt do czego

Robots.txt – mechanizm Robots Exlusion Protocol, który występuje w postaci pliku tekstowego. Plik ten umieszcza się w głównym katalogu, i ma za zadanie informowanie botów wyszukiwarek, jakich działań nie mogą wykonywać na danej stronie. Roboty dzięki temu wiedzą, jest witryny mogą indeksować, a które nie.

Jest to próba kierowania robotami wyszukiwarek.

Zwykle omijane z procesu indeksowania są witryny, które tworzą tak zwane podkatalogi, lub mają one treść czysto techniczną. Specjalny wpis przez użytkownika robots.txt hamuje indeksowanie.

Nie powinno się zapominać o tym, że indeksacja przez roboty jest umieszczona w określonym odstępie czasu. Indeksowanie zbyt dużej ilości informacji często nie dochodzi do skutku, więc roboty indeksują tyko część treści. Zaleca się ukrycie treści, których nie trzeba indeksować.

Ważne!

Funkcja robots.txt może często mylić się z zabezpieczeniem dostępy do informacji strony. Roboty wyszukiwarek, które zajmują się indeksowaniem stron zwykle omijają pliki posiadające na przykład dane kontaktowe. Robots.txt wyznacza zwykle cele działań takich robotów, ale nie jest to zawsze w stu procentach pewne, że boty się tak zachowają, jak tego zechcemy.

Na pozycjonowanie strony niekorzystnie wpływa zablokowanie strony przy pomocy robots.txt. Jeśli nie pozwolimy na przepływ linku juice z witryny, to automatycznie nie będzie linkowania zewnętrznego i wewnętrznego, które jak już wcześniej wspomniano, ma na wyniki pozycjonowania bardzo duży wpływ.

Jeśli nie chcemy używać robots.txt w celu omijania indeksowania pewnych obszarów treści, to możemy spróbować zastosować polecenia w meta-tagu robots w html witryny. Znacznik taki brzmi noindex. Tym samym jednak przepływ PR jest możliwy.

 

0 pytania / komentarze

(p)