Решил  не откладывать дело «в долгий ящик» и рассказать о прошедшем вчера 5-ом занятии сео курсов Artox Media.

Занятие вел руководитель отдела разработки компании Artox Media, Иванов Дмитрий. И надо сказать, Дмитрий все аспекты «разжевал» так тщательно, что в положенные для курсов два часа мы не уложились. Зато всем все понятно, ну или по крайней мере мне точно.

Начали с рассмотрения файла robots.txt.

robots.txt предназначен для ограничения доступа к некоторым частям сайта(всему сайту) поисковым роботам. Но в тоже время это всего лишь свод указаний, которыми «несознательные» поисковые роботы могут пренебрегать. В этом случае на помощь приходит .htaccess о котором поговорим чуть позже.

С полным списком полей robots.txt можно ознакомиться на официальном сайте www.robotstxt.org, но в основном вам понадобятся 6 основных:

User-agent: * – в этом поле указывается поисковой робот. * – означает, что ниже описанные поля будут для всех роботов.

Allow: <шаблон> – разрешить какую-то часть сайта для обработки роботом.

Disallow: <шаблон> – запретить какую-то часть сайта для обработки роботом.

Sitemap: http://v-reclame.ru/sitemap.xml - указать полный путь к файлу sitemap.xml

Crawl-delay: 10 – установить в секундах задержку между обращениями робота к сайту. Используется в основном для крупных проектов с большим количеством страниц.

Host: v-reclame.ru – указывается основное зеркало. Обратите внимание, что у вас основным зеркалом может быть, например, www.v-reclame.ru.

Для robots.txt важен порядок полей. То есть, то поле, которое идет раньше в списке, выполниться поисковым роботом  даже если затем следует поле запрещающее предыдущие действия. В свою очередь поисковые роботы отдают предпочтение секциям с явным указанием User-agent’ов. Например яндексовский робот сразу будет пытаться отыскать секцию User-agent: Yandex и выполнить следующие за ней поля, а если таковой не найдет, то выполнит поля после User-agent: *.

Другими задачами robots.txt являются: склейка сайтов и их ТИЦ, запрет ненужных роботов, закрытие истории Web Archive и снижение нагрузки на сервер(Crawl-delay).

Далее разговор пошел о .htaccess. Рассказали о ее роли в продвижении сайтов и о том, как с ним работать.

Во-первых, прежде чем вы начнете «ковыряться» в .htaccess, обязательно сделайте резервную копию. Любая неверная команда прописанная в это файл может «положить» весь ваш сайт.

Обязательными пунктами в вашем .htaccess должны быть:

1)Подключение 404 страницы.

2)Склейка зеркал.

3)Установка редиректов.

В конце Дмитрий рассказал о sitemap.xml и о том какими способами можно его получить.

На этом занятие было закончено. И вот, я и Серега, опять идем по домам, обсуждая услышанное на сео курсах и делясь своим опытом….