Сейчас модно подгружать контент после пролистывания страницы, например, http://vk.com/feed.
Довольно простой способ заставить страницу пролистаться — выполнить одну JavaScript команду.
window.scrollBy(xpos, ypos)
Если нужно пролистать страницу до самого низу, то необходимо знать высоту всей страницы.
Конечно, можно указать заведомо большее значение, например, 100500, но это не совсем рационально.
Тут и родился мой Gist Real Width/Height of webpage · GitHub, который вычисляет реальную высоту всего контента. Именно на эту высоту и нужно присвистывать страницу.
Кстати прочитал твою заметку и понял что было бы классно сделать ряд статей в помощь веб-автоматизаторам. Например, типичные проблемы и решения на javascript, скроллы, нажатия, удаление и добавление элементов и т.д.
Я всегда рад ответить на любые вопросы. Но просто переписывать документацию по JS в виде статей — не думаю, что хорошая идея.
По мере того, как я работаю, у меня возникают нестандартные проблемы, и по мере их решения я стараюсь выкладывать рецепты тут.
Вот сегодня столкнулся с тем, что мне нужно пролистать страницу несколько раз, чтобы подгрузился весь контент, вспомнил, что это можно сделать на JS и поделился со всеми.
Кстати, в дополнение хочу ещё сказать. Один раз проскроллировать страницу хорошо, но надо же скроллировать её столько раз, сколько у нас есть контента, правильно?
Для этого нужно после каждого скроллирования сравнивать высоту всего контента с тем, что было до этого.