from selenium import webdriver
from bs4 import BeautifulSoup
import requests
from tqdm import tqdm
from time import sleep

# 操作するブラウザの準備
option = webdriver.ChromeOptions()
option.add_argument('--headless')
driver = webdriver.Chrome(executable_path='./chromedriver', options=option)

url = 'http://swks.sakura.ne.jp/wars/kifusearch/'
u_name = '取得したいユーザ名'

sleep(1)
driver.get(url)

driver.find_element_by_id('id_name1').send_keys(u_name)
driver.find_element_by_id('searchBtn').click()

# ページのソースを取得
soup = BeautifulSoup(driver.page_source, 'lxml')
driver.quit()

lis = soup.find_all(class_='btn1')
kif = []

for i in lis:
    if 'kif' in i.get('href'):
        kif.append(i.get('href'))

kif = ['http://swks.sakura.ne.jp/wars' + x[2:] for x in kif]

for i in tqdm(kif):
    sleep(1)
    r = requests.get(i)
    r.encoding = 'Shift_JIS'

    f_name = i.split('/')[-1]
    # ユーザ名のディレクトリ以下にファイルを保存するようにしている
    # あらかじめディレクトリを作成しておく
    with open(u_name + '/' + f_name, mode='w') as f:
        f.write(r.text)

流れは以下の通り

selenium + Chrome で ID を検索する
検索結果のソースを取得
保存ボタンに棋譜のリンクが貼ってあるので、それを取得してリスト化
GETリクエストを送り、棋譜を保存

Tips

実際のwebページがどのように記述されているかによってコードが変わるので、
（Chrome の場合）右クリック -> 検証からコードを表示しながらプログラムすることになる

今回の場合、検索ボックスに属性id_name1、検索ボタンに属性searchBtn が付与されていたので、それらを検索し、文字列を入力 > 検索という流れで結果を取得した

また、今回は 10分切れ負けに絞ったが、もし他の対局ルールでの棋譜が欲しい場合は
ラジオボタンを選択する処理が必要となる

取得した棋譜ファイルを活用して、例えば 四間飛車 vs 居飛車穴熊 だけ抽出
といったことができるだろう

teriyaki note

将棋ウォーズの棋譜をまとめてローカルに保存する方法

後から調べたら...

成果物

Webスクレイピングの準備

selenium

ブラウザ

具体的なコード

Tips