python seleniumでスクレイピング

pandas seleniumでスクレイピング

↓seleniumでスクレイピングして、タイトルとURLをCSVに保存する。

from selenium import webdriver

browser = webdriver.Firefox()
url = "http://b.hatena.ne.jp/search/text?safe=on&q=Python&users=5"
browser.get(url)
df2 = pd.read_csv('trend.csv', index_col=0)
posts = browser.find_elements_by_css_selector(".search-result")

for post in posts:
    title = post.find_element_by_css_selector("h3").text
    bookmarks = post.find_element_by_css_selector('h3 > a').get_attribute('href')
    se = pd.Series([title,bookmarks],['title','bookmarks'])
    df2 = df2.append(se, ignore_index=True)
df2.to_csv("trend2.csv")