Python×Seleniumでスクレイピングの基礎を理解する

from selenium import webdriver #seleniumモジュールからwebdriverオブジェクトをインポート

def main():
    driver = webdriver.Chrome('ChromeDriverを解凍した場所…C:\\Users\\user\\chromedriver_win32\\chromedriver') #driver作成

    driver.get('https://google.com') #URLを開く
    driver.save_screenshot('test.png') #スクリーンショット
    driver.quit() #プロセスを閉じる

if __name__ == '__main__':
    main()

LOGIN_URL=https://{行きたいサイトURL}/login/
EMAIL=xxx@yyyyy.com
PASS=abcdefg

import os
load_dotenv()

def main():
    print(os.getenv('LOGIN_URL')) #LOGIN_URLを呼び出し
    print(os.getenv('EMAIL')) #EMAILを呼び出し
    print(os.getenv('PASSWORD')) #PASSWORDを呼び出し

if __name__ == '__main__':
    main()

.env

import os
from selenium import webdriver
from dotenv import load_dotenv

load_dotenv()

def main():
    driver = webdriver.Chrome('C:\\Users\\user\\chromedriver_win32\\chromedriver') # webdriverをインストールした場所
    login_url = os.getenv('LOGIN_URL')
    email = os.getenv('EMAIL')
    password = os.getenv('PASSWORD')

    driver.get(login_url)

    # 入力
    driver.find_element_by_id('email').send_keys(email)
    driver.find_element_by_id('password').send_keys(password)

    # ログイン
    driver.find_element_by_id('login_submit').click()
    driver.save_screenshot('test2_after_submit.png')

if __name__ == '__main__':
    main()

import os
from selenium import webdriver
from dotenv import load_dotenv
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from time import sleep

load_dotenv()


def main():
    driver = webdriver.Chrome('C:\\Users\\user\\chromedriver_win32\\chromedriver')
    login_url = os.getenv('LOGIN_URL')
    email = os.getenv('EMAIL')
    password = os.getenv('PASSWORD')
    teacher_url = os.getenv('TEACHER_URL')

    driver.get(login_url)
    driver.save_screenshot('test.png')

    # 入力
    driver.find_element_by_id('email').send_keys(email)
    driver.find_element_by_id('password').send_keys(password)

    # ログイン
    driver.find_element_by_id('login_submit').click()
    driver.get(teacher_url)
    driver.save_screenshot('test3_teacher.png')

    trainer_details = driver.find_elements_by_css_selector('a.trainer_xxxx')

    # 複数いるトレーナーのうち7番目の人の情報をクリック
    trainer_details[6].click()

    # 最大の読み込み時間を設定 今回は最大30秒待機できるようにする
    wait = WebDriverWait(driver=driver, timeout=30)
    # トレーナー詳細の上のタブが出るまで待機
    wait.until(EC.visibility_of_element_located((By.ID, 'xxxx')))
    driver.save_screenshot('trainer_details.png')
    # 「レッスン予約」をクリック
    driver.find_element_by_css_selector("#xxx > ul > li:nth-child(2)").click()
    # スケジュール表が表示されるまで待機
    wait.until(EC.visibility_of_element_located((By.ID, 'xxxxxxxx')))
    driver.save_screenshot('trainer_details2.png')

    # 朝の時間帯ボタンをクリック
    time_zones = driver.find_elements_by_css_selector('#xxxxxx td')
    number_of_available = []

    for time_zone in time_zones:
        time_zone.click()
        # スケジュール表が表示されるまで待機
        sleep(0.5)
        wait.until(EC.presence_of_element_located((By.ID, 'trainerScheduleSearchResult')))
        # id=trainerScheduleSearchResultの中の〇（i要素）の要素をすべて取得し配列に入れる
        a = driver.find_elements_by_css_selector('#trainerScheduleSearchResult i')

        number_of_available.append(len(a))

    print(number_of_available)
    driver.quit()


if __name__ == '__main__':
    main()

[0, 0, 9]
# とあるトレーナーは、向こう一週間で朝の時間帯は0枠空きあり、昼の時間帯は0枠空きあり、夜の時間帯は9枠空きありという意味

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 最大の読み込み時間を設定 今回は最大30秒待機できるようにする
wait = WebDriverWait(driver=driver, timeout=30)
# トレーナー詳細の上のタブが出るまで待機
wait.until(EC.visibility_of_element_located((By.ID, 'tabs')))

# スケジュール表が表示されるまで待機
sleep(0.5)
wait.until(EC.presence_of_element_located((By.ID, 'trainerScheduleSearchResult')))

for time_zone in time_zones:
    time_zone.click()
    # スケジュール表が表示されるまで待機
    sleep(0.5)
    wait.until(EC.presence_of_element_located((By.ID, 'trainerScheduleSearchResult')))
    # id=trainerScheduleSearchResultの中の〇（i要素）の要素をすべて取得し配列に入れる
    a = driver.find_elements_by_css_selector('#trainerScheduleSearchResult i')

    number_of_available.append(len(a)) #配列の後ろに値を追加