«Яндекс» будет читать robots.txt по-другому

Изменения коснутся только последовательности чтения директив Allow (разрешить индексацию) в каждом блоке указаний для отдельных роботов (User-agent). Если раньше «Яндекс» следовал директивам последовательно, то теперь он предварительно сортирует их и выполняет «по смыслу». Раньше было так: если разрешить индексацию отдельного каталога, но потом запретить индексацию всего сайта, то выполнялась последняя команда (то есть запрет индексации). Теперь запрет не затронет разрешение, т.к. у него более специфический URL.