python seleniumでスクレイピング
↓seleniumでスクレイピングして、タイトルとURLをCSVに保存する。
from selenium import webdriver browser = webdriver.Firefox() url = "http://b.hatena.ne.jp/search/text?safe=on&q=Python&users=5" browser.get(url) df2 = pd.read_csv('trend.csv', index_col=0) posts = browser.find_elements_by_css_selector(".search-result") for post in posts: title = post.find_element_by_css_selector("h3").text bookmarks = post.find_element_by_css_selector('h3 > a').get_attribute('href') se = pd.Series([title,bookmarks],['title','bookmarks']) df2 = df2.append(se, ignore_index=True) df2.to_csv("trend2.csv")