웹크롤링 시 공통적으로 발생하는 이슈사항에 대한 정리를 진행해보았습니다.

라오스(LA)

이스라엘(IS)

인도네시아(ID)

# beautifulsoup4 설치
pip install requests beautifulsoup4
# selenium 설치, 가상 브라우저를 활용하여 크롤링을 진행
pip install selenium
# webdriver-manager 설치
pip install webdriver-manager
# openpyxl 설치
pip install openpyxl
# 파일 및 시간 관련 module
import os
import time

# 데이터 분석 pandas module
import pandas as pd

# 엑셀 함수 작업 자동화 module
import openpyxl as op
import requests
# selenium 사용
from selenium.webdriver.common.by import By # 태그 존재 여부 확인 가능
from selenium.webdriver.support.ui import WebDriverWait   # 해당 태그를 기다림
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException    # 태그가 없는 예외 처리
from selenium.webdriver.support.ui import Select # 드롭 다운 메뉴값을 선택

# beautifulsoup4 사용
from bs4 import BeautifulSoup

# 항상 최신버전의 chromedriver를 자동으로 사용할 수 있도록 하는 라이브러리
from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager