가상 드라이브를 생성해서 excel 내의 hs code 최종 단위에만 접근하여 검색을 진행하고, 관세율 정보를 추출하도록 설계했습니다.
# 버전 업데이트 필요없이 항상 최신 버전의 구글 드라이브를 사용할 수 있도록 함
driver = webdriver.Chrome(ChromeDriverManager().install())
driver.implicitly_wait(3)
# 페이지 주소
page_address='https://insw.go.id/intr'
driver.implicitly_wait(3)
driver.get(page_address)
중간 화면에서만 검색을 진행하도록 설정하였으므로 아래의 코드는 최초 화면을 벗어나기 위해 사용하였습니다.
# 최초 화면을 벗어나는 용도로 활용, 전부 중간 화면에서 검색 진행
element=driver.find_element_by_xpath('/html/body/div[1]/div/div/div[2]/div/div/div/div[1]/div[1]/div/div/div[3]/div/div/div/input')
# 최초 화면에서 검색할 내용 입력
element.send_keys('0101')
# 최초 화면에서 검색 버튼 클릭
driver.find_element_by_xpath('/html/body/div[1]/div/div/div[2]/div/div/div/div[1]/div[1]/div/div/div[3]/div/div/div/div/span').click()
excel 내에 검색에 활용할 hs code가 존재하여 excel 내의 hs code만 읽어오도록 하였습니다.
# 엑셀 내의 hs code를 읽어와서 검색 구현
exc_df = pd.read_excel('C:\\datapre\\ID\\hscode.xlsx')
excel 내의 hs code, 기본 관세율, FTA 협정세율의 내용을 하나의 테이블로 결합해야 했으므로 각각의 칼럼명을 구분하여 지정하였습니다.
# 엑셀 내의 칼럼명
exc_col1='HS Code'
exc_col2='Description of Goods'
# 기본 관세율 테이블
col1='HS Code'
col2='Description of Goods'
col3='Uraian Barang'
col4='Nama'
col5='MFN (Most Favored Nation)'
col_list=[col1, col2, col3, col4, col5]
# FTA 협정세율 테이블
c1='Tarif Nama'
c2='Tarif Preferensi'
c_lists=[c1, c2]
일반 관세율과 FTA 협정세율이 따로 존재했기에 별개의 테이블로 추출한 뒤, 하나의 hs code에 대해 결합하는 과정으로 정제를 진행하였습니다.
일반 관세율의 경우, excel 상의 hs code와 웹페이지 내의 일반 관세율 정보를 결합하여 하나의 테이블로 구성하였습니다.
FTA 협정세율 정보를 추출하는 과정에서 웹페이지 내의 챗봇으로 인해 FTA 협정세율을 가져오지 못하는 경우가 발생하였고, 스크롤을 내려서 해결했습니다.
FTA 협정세율의 경우, 가장 최근에 대한 관세율을 추출해야 하므로 관세율 칼럼별로 존재하는 관세율 정보의 개수(2021년, 2022년 = 2개)를 세고 가장 끝값만 반환하도록 구성하였습니다.