Файл /robots.txt предназначен для указания всем
поисковым роботам индексировать информационные сервера так, как
определено в этом файле, т.е. только те директории и файлы сервера,
которые НЕ описаны в /robots.txt. Это файл должен содержать 0 или более
записей, которые связаны с тем или иным роботом (что определяется
значением поля agent_id), и указывают для каждого робота или для всех
сразу что именно им НЕ НАДО индексировать. Тот, кто пишет файл
/robots.txt, должен указать подстроку Product Token поля User-Agent,
которую каждый робот выдает на HTTP-запрос индексируемого сервера.
Например, нынешний робот Lycos на такой запрос выдает в качестве поля
User-Agent:
Lycos_Spider_(Rex)/1.0 libwww/3.1
Если робот Lycos не нашел своего описания в
/robots.txt - он поступает так, как считает нужным. При создании файла
/robots.txt следует учитывать еще один фактор - размер файла. Поскольку
описывается каждый файл, который не следует индексировать, да еще для
многих типов роботов отдельно, при большом количестве не подлежащих
индексированию файлов размер /robots.txt становится слишком большим. В
этом случае следует применять один или несколько следующих способов
сокращения размера /robots.txt:
указывать директорию, которую не следует индексировать, и,
соответственно, не подлежащие индексированию файлы располагать именно в
ней
создавать структуру сервера с учетом упрощения описания исключений в /robots.txt
указывать один способ индексирования для всех agent_id
Описание параметров, применяемых в записях /robots.txt
[...]+ Квадратные скобки со следующим за ними знаком + означают, что
в качестве параметров должны быть указаны один или несколько терминов.
Например, после "User-Agent:" через пробел могут быть указаны один или
несколько agent_id.
[...]* Квадратные скобки со следующим за ними знаком *
означают, что в качестве параметров могут быть указаны ноль или
несколько терминов. Например, Вы можете писать или не писать
комментарии.
[...]? Квадратные скобки со следующим за ними знаком ?
означают, что в качестве параметров могут быть указаны ноль или один
термин. Например, после "User-Agent: agent_id" может быть написан
комментарий.
..|.. означает или то, что до черты, или то, что после.
WS один из символов - пробел (011) или табуляция (040)
NL один из символов - конец строки (015) , возврат каретки (012) или оба этих символа (Enter)
User-Agent: ключевое слово (заглавные и прописные буквы роли не играют). Параметрами являются agent_id поисковых роботов.
Disallow: ключевое слово (заглавные и прописные буквы роли не
играют). Параметрами являются полные пути к неиндексируемым файлам или
директориям.
# начало строки комментариев, comment string - собственно тело комментария.
agent_id любое количество символов, не включающих WS и NL,
которые определяют agent_id различных поисковых роботов. Знак *
определяет всех роботов сразу.
path_root любое количество символов, не включающих WS и NL, которые определяют файлы и директории, не подлежащие индексации.
Расширенные комментарии формата
Каждая запись начинается со строки User-Agent, в
которой описывается каким или какому поисковому роботу эта запись
предназначается. Следующая строка: Disallow. Здесь описываются не
подлежащие индексации пути и файлы. КАЖДАЯ запись ДОЛЖНА иметь как
минимум эти две строки (lines). Все остальные строки являются опциями.
Запись может содержать любое количество строк комментариев. Каждая
строка комментария должна начинаться с символа # . Строки комментариев
могут быть помещены в конец строк User-Agent и Disallow. Символ # в
конце этих строк иногда добавляется для того, чтобы указать поисковому
роботу, что длинная строка agent_id или path_root закончена. Если в
строке User-Agent указано несколько agent_id, то условие path_root в
строке Disallow будет выполнено для всех одинаково. Ограничений на длину
строк User-Agent и Disallow нет. Если поисковый робот не обнаружил в
файле /robots.txt своего agent_id, то он игнорирует /robots.txt.
Если не учитывать специфику работы каждого поискового робота,
можно указать исключения для всех роботов сразу. Это достигается
заданием строки
User-Agent: *
Если поисковый робот обнаружит в файле /robots.txt несколько записей с
удовлетворяющим его значением agent_id, то робот волен выбирать любую
из них.
Каждый поисковый робот будет определять
абсолютный URL для чтения с сервера с использованием записей
/robots.txt. Заглавные и строчные символы в path_root ИМЕЮТ значение.
В примере 1 файл /robots.txt содержит две записи.
Первая относится ко всем поисковым роботам и запрещает индексировать все
файлы. Вторая относится к поисковому роботу Lycos и при индексировании
им сервера запрещает директории /cgi-bin/ и /tmp/, а остальные -
разрешает. Таким образом сервер будет проиндексирован только системой
Lycos.
Знаете ли Вы, что такое мысленный эксперимент, gedanken experiment? Это несуществующая практика, потусторонний опыт, воображение того, чего нет на самом деле. Мысленные эксперименты подобны снам наяву. Они рождают чудовищ. В отличие от физического эксперимента, который является опытной проверкой гипотез, "мысленный эксперимент" фокуснически подменяет экспериментальную проверку желаемыми, не проверенными на практике выводами, манипулируя логикообразными построениями, реально нарушающими саму логику путем использования недоказанных посылок в качестве доказанных, то есть путем подмены. Таким образом, основной задачей заявителей "мысленных экспериментов" является обман слушателя или читателя путем замены настоящего физического эксперимента его "куклой" - фиктивными рассуждениями под честное слово без самой физической проверки. Заполнение физики воображаемыми, "мысленными экспериментами" привело к возникновению абсурдной сюрреалистической, спутанно-запутанной картины мира. Настоящий исследователь должен отличать такие "фантики" от настоящих ценностей.
Релятивисты и позитивисты утверждают, что "мысленный эксперимент" весьма полезный интрумент для проверки теорий (также возникающих в нашем уме) на непротиворечивость. В этом они обманывают людей, так как любая проверка может осуществляться только независимым от объекта проверки источником. Сам заявитель гипотезы не может быть проверкой своего же заявления, так как причина самого этого заявления есть отсутствие видимых для заявителя противоречий в заявлении.
Это мы видим на примере СТО и ОТО, превратившихся в своеобразный вид религии, управляющей наукой и общественным мнением. Никакое количество фактов, противоречащих им, не может преодолеть формулу Эйнштейна: "Если факт не соответствует теории - измените факт" (В другом варианте " - Факт не соответствует теории? - Тем хуже для факта").
Максимально, на что может претендовать "мысленный эксперимент" - это только на внутреннюю непротиворечивость гипотезы в рамках собственной, часто отнюдь не истинной логики заявителя. Соответсвие практике это не проверяет. Настоящая проверка может состояться только в действительном физическом эксперименте.
Эксперимент на то и эксперимент, что он есть не изощрение мысли, а проверка мысли. Непротиворечивая внутри себя мысль не может сама себя проверить. Это доказано Куртом Гёделем.
Понятие "мысленный эксперимент" придумано специально спекулянтами - релятивистами для шулерской подмены реальной проверки мысли на практике (эксперимента) своим "честным словом". Подробнее читайте в FAQ по эфирной физике.
