Вики

robots.txt

/

Robots.txt История и развитие robots.txt Стандарт robots.txt был предложен Мартином Костером в 1994 году.   Первоначально назывался RobotsNotWanted.txt и позволял веб-разработчикам […]