[Python] Selenium에서 스크롤 다운하는 방법

facebook이나 instagram 그리고 youtube 등을 시청할 때 스크롤을 아래로 내려야 로딩되는 데이터가 있다.

 

이런 요소에 대해서는 chromedriver를 이용해서 크롤링을 시도하고는 하는데  아래와 같은 코드를 적용해 스크롤 다운이 가능하다.

from selenium import webdriver

from bs4 import BeautifulSoup

driver = webdriver.Chrome(chrome_driver_path, options=options)

driver.get(url)

# 스크롤 범위 확장

driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

# 실제 스크롤 다운

driver.execute_script("window.scrollTo(0, 5000);")