Прежде чем веб-сайт начнет появляться в результатах выдачи, его должны проиндексировать поисковики. Под индексацией подразумевается посещение поисковым роботом вашего сайта, в результате чего он анализирует его, внося информацию в базу данных поисковика.
Если страница внесена в индекс поисковика, она может показываться в результатах поиска. Если же страница отсутствует в индексе, то поисковая система попросту ничего о ней не знает, и, следовательно, не может использовать с нее информацию. Кстати, страницы могут не индексироваться, из за того, что на вашем сайте поселился вирус. Подробную статью про вирусы сайтов (и не только) и о том, как с ними бороться, вы можете почитать вот здесь на блоге Евгения.
Раскрутка сайта в ПС - процесс длительный, состоящий из многих этапов (оптимизации текста, увеличении количества внешних ссылок и прочее). Но самый первый шаг, который обязан предпринять веб-мастер нового ресурса - проверить его индексацию поисковиками. Именно с этого шага и начинается процесс оптимизации сайта.
Как правило, попасть в индекс поисковика не сложно. Иногда для этого вообще ничего предпринимать не нужно. Например, Google очень быстро (за нескольких дней) проиндексирует сайт, если на него ссылаются другие, известные Google ресурсы. Но не помешает вручную указать поисковой системе путь к новому ресурсу. Все страницы прописывать не нужно, просто укажите главную (корень сайта), остальные поисковый робот найдет по ссылкам.
Обновление баз данных поисковиков – постоянный процесс, записи в базе могут изменяться, исчезать и снова появляться. Наиболее частой причиной отказа в индексации является невозможность получить доступ к серверу, когда робот не может попасть на сайт. Поэтому следует также регулярно проверять проиндексированые страницы своего ресурса. Где-то один-два раза в месяц следует проводить такую проверку.
Чем больше внешних ссылок есть на ваш ресурс, тем чаще роботы будут посещать его. Прописка в каталоге Яндекс, например, заставляет робот этого поисковика чаще индексировать ваш сайт. При помощи файла robots.txt владелец сайта может управлять поведением поисковых роботов.