웹크롤링 시 공통적으로 발생하는 이슈사항에 대한 정리를 진행해보았습니다.
# beautifulsoup4 설치
pip install requests beautifulsoup4
# selenium 설치, 가상 브라우저를 활용하여 크롤링을 진행
pip install selenium
# webdriver-manager 설치
pip install webdriver-manager
# openpyxl 설치
pip install openpyxl
# 파일 및 시간 관련 module
import os
import time
# 데이터 분석 pandas module
import pandas as pd
# 엑셀 함수 작업 자동화 module
import openpyxl as op
import requests
# selenium 사용
from selenium.webdriver.common.by import By # 태그 존재 여부 확인 가능
from selenium.webdriver.support.ui import WebDriverWait # 해당 태그를 기다림
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException # 태그가 없는 예외 처리
from selenium.webdriver.support.ui import Select # 드롭 다운 메뉴값을 선택
# beautifulsoup4 사용
from bs4 import BeautifulSoup
# 항상 최신버전의 chromedriver를 자동으로 사용할 수 있도록 하는 라이브러리
from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager