robot.txt

Robots.txt dosyası, bir sitenin kök dizininde bulunan ve arama motoru tarayıcılarına yönelik olarak hangi URLlerin taranması ve hangilerinin taranmaması gerektiği hakkında bilgiler içeren bir metin belgesidir.

robot.txt