Доброго времени суток, уважаемые читатели моего блога. Каждому разработчику (начинающему и не очень) важно, чтобы его сайт как можно скорее был проиндексирован в поисковиках. Ведь, если странички нет в Яндексе или Гугле, то найти ее практически невозможно. Недавно я рассказывал о том, .
Без этого можно с таким же успехом писать статьи и оставлять их в папке на рабочем столе. Но как узнать что ваш блог действительно проверили и когда этот вопрос становится менее актуальным для разработчиков?
Сегодня я подробно расскажу вам о том, как узнать проиндексирован ли сайт в Яндекс. Вы научитесь мгновенно понимать видят ли ваши страницы другие пользователи, что может этому препятствовать и как эффективно устранить проблемы.
Я научу вас быстро отслеживать информацию о «неподходящих» публикациях, чтобы не тратить время и деньги понапрасну.
Приступим? Но для начала.
Когда и зачем следить за информацией о индексации
Всех новичков заботит проверка собственного электронного ресурса. Поисковик может долгое время не посещать портал, а запретный плод сладок и желанен. Хочется как можно скорее увидеть свое детище на первом месте хоть по какому-нибудь запросу. Со временем эта мечта воплощается, а интерес к индексации угасает. Очень зря.
После первой проверки поисковик периодически заглядывает по уже знакомому URL, чтобы узнать новости и произвести переоценку. Существуют разные факторы ранжирования, к примеру, . Относительно них страницам присваивается определенное место в поисковой выдаче, но есть и факторы, которые мешают новым публикациям появляться в поисковиках.
Если странички нет в выдаче, то это означает, что вы потратили время и деньги (если вы заказывали статью у копирайтера) зря. В чем может быть проблема? Фильтр АГС, дублирование контента, или уникальность текста, технические сбои на хостинге или иной глюк в исходном коде. Причин может быть миллион.
Если вы знаете сколько всего статей на вашем портале и видите, что не все они находятся в выдаче, то нужно производить полную проверку, чтобы выявить какая именно неприятность приключилась на сайте. А они, как правило, есть практически у всех, вне зависимости от того, насколько вы подкованы в веб-строительстве.
Как узнать сколько всего страниц на портале
Итак, произвести анализ можно несколькими способами.
- WordPress
Если ваш портал на ВордПресс, то узнать точное количество страниц можно элементарно. Для этого достаточно зайти в панель управления. Сразу же, вам покажут число записей.
- Карта сайта.
Очень просто можно узнать сколько страниц у вас в блоге, если на нем есть Sitemap. Я уже писал статью о том, она вообще нужна. Если говорить в двух словах, то это очень удобное содержание. Которое хорошо сказывается и на поведении пользователей, и на ранжировании портала.
- Анализ сайта и проверка на ошибки.
Еще один удобный способ, который поможет не только понять какие проблемы есть на вашем блоге, но и поможет разобраться со всеми этими недочетами, сервис Seoto.me .
Он поможет избавиться от битых ссылок, картинок, осуществлять комплексную проверку уникальности, тайтлов, описания и так далее. Заинтересовались? Можете прочитать статью о том, или посмотрите этот ролик.
Сколько страниц проиндексировано
Отлично, если вы знаете сколько страниц есть на вашем сайте, то без труда можете понять сколько из них находится в поисковой выдаче. В идеале, их должно быть ровно столько, сколько и публикаций (плюс главная и страницы рубрик).
Если количество меньше, значит на сайте есть проблемы, которые нужно будет выявить и решить. Для начала я расскажу о простом способе проверки. Он не очень точный, удобный и красивый, но зато быстрый. Идеально подходит для первого раза.
Ручной метод
Откройте Яндекс и введите в поисковую строчку URL:доменное-имя-сайта*.
Естественно вместо «адрес-вашего-сайта» нужно ввести ваш url. Например, вот так. Мой тестовый портал совсем небольшой, но в выдаче нашлось аж 9 результатов. Это замечательно.
Вебмастер
Еще одна очень удобная штука – Яндекс.Вебмастер. Благодаря этому сервису вы можете узнать много полезного, уточнить кое-какую информацию, чтобы повысить свои шансы на первое место в поисковике, заставить Яндекс скорее индексировать свой сайт и, конечно же, проверить страницы.
Мой тестовый сайт еще не подключен к этому сервису. И статьи на тему подключения в моем блоге еще нет. Однако, я думаю, что совсем скоро эта ситуация изменится. Подписывайтесь на рассылку и узнавайте первыми о всем, что происходит с моим тестовым сайтом и с легкостью выполняйте важные задачи.
Как проверить конкретную страницу вручную
Если вам хочется узнать детальную информацию о конкретной странице со своего или чужого сайта, где вы, к примеру, купили ссылку, можно воспользоваться самим Яндексом. Это быстро и просто.
Копируете url и вводите в поисковую строчку Яндекса без каких-либо изменений.
На первом месте должен оказаться тот же URL, который вы вводили в поисковую строчку. Если этого не происходит, значит она не проиндексирована.
Теперь вы знаете как проверить проиндексирован ли сайт и без лишних телодвижений проверить портал на ошибки, а также устранить их.
В идеале у вас должен быть подключен Яндекс.Вебмастер, чтобы не морочиться с проверкой заново. Заходите и периодически проверяете не увеличилось ли количество исключенных страниц. Как только видите, что появились проблемы, заходите на www.seoto.me и он подсказывает чем вызвана проблема. Решаете ее и наслаждаетесь жизнью в интернете.
Как оперативно узнать, попала ли важная для вас страница в индекс поисковых систем? Да и вообще, сколько страниц сайта «видят» поисковики? Я описал в этом посте способы, которые чаще всего используют SEO-специалисты, и приготовил бонус для читателей.
При индексировании страницы робот поисковой системы добавляет сведения о сайте в базу данных. Дальнейший поиск происходит по проиндексированным страницам. Не стоит путать индексацию и сканирование.
Робот может просканировать весь сайт быстро. А добавлять в индекс медленно, не добавлять часть страниц или удалять страницы из индекса.
Хотите, чтобы все страницы вашего сайта заходили в индекс быстро? Мы проконсультируем по поводу оптимальной стратегии SEO-продвижения:
1. Проверьте индексацию в панели вебмастеров
Это базовый способ проверки для вебмастера или владельца сайта.
Google . Необходимо зайти в Search Console и на вкладке «Индекс Google» выбрать «Статус индексирования».
Yandex . Проходим авторизацию в Яндекс.Паспорт, заходим в Яндекс.Вебмастер и переходим по пути «Индексирование сайта» — «Страницы в поиске». Еще один вариант: «Индексирование сайта» — «История» — «Страницы в поиске». Здесь можно посмотреть динамику изменения количества страниц в поиске.
Чтобы использовать этот метод, у вас должен быть определенный уровень доступа в панель вебмастера. Пример хорошего индексирования сайта. Количество качественных страниц растет, и они добавляются в индекс. 
Проблемы с индексацией выглядят так: 
На скриншоте — сайт, закрытый от индексации в файле robots.txt
Поисковые системы по ряду причин индексируют не все страницы сайта или, наоборот, добавляют в индекс нежелательные. В итоге практически невозможно найти сайт, у которого бы количество страниц в Яндексе и Google совпадало.
Если расхождение не превышает 10%, то на это не все обращают внимание. Но такая позиция справедлива для СМИ и информационных сайтов, когда потеря малой части страниц не сказывается на общей посещаемости. А вот для интернет-магазинов и прочих коммерческих сайтов отсутствие товарных страниц в поиске (даже одной из десяти) - это потеря дохода.
Поэтому важно хотя бы раз в месяц проверять индексацию страниц в Яндексе и Google, сопоставлять результаты, выявлять, какие страницы отсутствуют в поиске, и принимать меры.
Проблема при мониторинге индексации
Посмотреть проиндексированные страницы не составляет труда. Сделать это можно путем выгрузки отчетов в панелях для вебмастеров:
- («Индексирование» / «Страницы в поиске» / «Все страницы» / «Скачать таблицу XLS / CSV»);
Возможности инструмента:
- одновременная проверка проиндексированных страниц в Яндексе и Google (или в одной ПС);
- возможность проверки сразу всех URL сайта по ;
- нет ограничения по количеству URL.
Особенности:
- работа «в облаке» - не нужно скачивать и устанавливать ПО или плагины;
- выгрузка отчетов в формате XLSX;
- уведомление на почту об окончании сбора данных;
- хранение отчетов неограниченное время на сервере PromoPult.
Привет! Сегодня я расскажу очень важные вещи, упустив которые можно терять трафик. Часто по мере работы над сайтами, нужно определить: какие страницы проиндексированы, какие нет. Какие страницы требует дополнительного внимания для того, чтобы они попали в индекс.
Особенно это ярко заметно при работе с интернет-магазинами: при работе с огромным количеством товаров/разделов, постоянно добавляются все новые и новые страницы. Поэтому нужен жесткий контроль индексации свежедобавленных страниц, чтобы не терять трафик с поиска.
В этом небольшом уроке я расскажу, как я проверяю страницы сайта на проиндексированность.
Как проверить страницы на индексацию
Как я проверяю проиндексированность конкретной страницы с помощью RDS bar, я уже рассказывал .
Ну или же можно просто вбить в Яндекс вот этот код:
Url:www..ru/about
Или для Google:
Info:https://сайт/about
Конечно, URL адрес сайт/about меняете на свой.
А что же делать, если нужно проверить проиндексированность десяток/сотен, а то и более статей? Я поступаю следующим образом:
- Ставим замечательную бесплатную программу YCCY (скачать можете отсюда).
- Запускаем ее и переходим в Indexator:
- В левую часть программы загружаем список URL, который нужно проверить на индекс:
- В настройках при работе с Яндекс я поставил работу через Yandex XML. и с чем его едят я уже рассказывал:
- Выбираем интересующую нас поисковую систему, отмечаем что нас интересует (в нашем случае “Индексированность”) и нажимаем на кнопку “Начать проверку”:
- И вуаля, справа вы увидим отдельный список проиндексированных страниц, а также того, чего пока нет в индексе:
Что делать с непроиндексированными страницами?
Сервисы для ускорения индексации
Я обычно не проиндексированные страницы прогоняю с помощью разных сервисов, я предпочитаю этот getbot.guru . Да, безусловно не 100% страниц залезают с помощью него в индекс но все же в среднем около 70-80% из прогнанных URL как правило залезает (сильно зависит от адекватности страниц тоже).
Сервис, конечно же, платный, нужно платить за каждый URL. За те страницы, которые не попали в индекс последует возврат средств, что очень справедливо и заманчиво (зависит от тарифа). А уже эти страницы, которые не попали в индекс, я повторно отправляю в сервис. Снова при следующем апдейте часть из этих страниц входит в индекс.
Думаю, разобраться сможете сами, ничего сложно нет. Регистрируетесь -> Создаете проект -> Запускаете проект. Единственное, могут возникнуть сложности при выборе тарифа. Я предпочитаю работать с тарифом “Абсолют апдейт” (кликните на изображение, чтобы увеличить):
Кстати, обратите внимание, что в сервисе тоже можно проверить страницы на проиндексированность. Цена вопроса в районе 10 копеек за 1 URL. Я же предпочитаю бесплатный YCCY, о котором писал выше.
На страницы из проекта отсылается быстробот яндекса, периодически проверяется индексация страниц проекта в Яндекс, на страницы не вошедшие в индекс, быстробот отсылается ещё раз. После завершения задания, для страниц не вошедших в индекс, осуществляется автоматический возврат средств на баланс. Мы не используем социальные сети и спам методы для привлечения быстробота. Для работы сервиса используется своя сеть новостных сайтов, владельцами которых мы являемся.
Ускорение индексации с помощью Твиттера или новостных сайтов
Ну, если вы не любите прогоны с помощью подобных сервисов, то можно воспользоваться Твиттером. Ссылки в Твиттере поисковики очень хорошо “кушают”, если аккаунты более-менее адекватные.
Про это я уже писал относительно подробно в уроке “ “. Там помимо твиттера я разбирал еще другие способы быстрой индексации.
Переиндексация существующих страниц
Аналогично можно отправить страницу на перееиндексацию. Проверяя кэш страницы в поисковиках, можно узнать проиндексировалась страница или нет. Как проверить кэш страницы я рассказывал в .
Работа с индексом с помощью программы Comparser
YCCY хоть и старая программа, но мне она очень нравится. Я ее использую для проверки индексации известных мне страниц.
Если же нужно выяснить, какие страницы сайта еще не попали в индекс (я уже писал про нее целый урок). Его принцип простой: он выгружает все URL сайта, которые вы разрешили для индексирования (этот пункт можно менять в настройках) и проверяет каждую страницу на индекс. Либо с помощью простого обращения выгружает первые 1000 страниц из индекса.
