가상 드라이브를 생성해서 excel 내의 hs code 최종 단위에만 접근하여 검색을 진행하고, 관세율 정보를 추출하도록 설계했습니다.

# 버전 업데이트 필요없이 항상 최신 버전의 구글 드라이브를 사용할 수 있도록 함
driver = webdriver.Chrome(ChromeDriverManager().install())
driver.implicitly_wait(3)

# 페이지 주소
page_address='https://insw.go.id/intr'
driver.implicitly_wait(3)
driver.get(page_address)

중간 화면에서만 검색을 진행하도록 설정하였으므로 아래의 코드는 최초 화면을 벗어나기 위해 사용하였습니다.

# 최초 화면을 벗어나는 용도로 활용, 전부 중간 화면에서 검색 진행
element=driver.find_element_by_xpath('/html/body/div[1]/div/div/div[2]/div/div/div/div[1]/div[1]/div/div/div[3]/div/div/div/input')
# 최초 화면에서 검색할 내용 입력
element.send_keys('0101')
# 최초 화면에서 검색 버튼 클릭
driver.find_element_by_xpath('/html/body/div[1]/div/div/div[2]/div/div/div/div[1]/div[1]/div/div/div[3]/div/div/div/div/span').click()

excel 내에 검색에 활용할 hs code가 존재하여 excel 내의 hs code만 읽어오도록 하였습니다.

# 엑셀 내의 hs code를 읽어와서 검색 구현
exc_df = pd.read_excel('C:\\datapre\\ID\\hscode.xlsx')

excel 내의 hs code, 기본 관세율, FTA 협정세율의 내용을 하나의 테이블로 결합해야 했으므로 각각의 칼럼명을 구분하여 지정하였습니다.

# 엑셀 내의 칼럼명
exc_col1='HS Code'
exc_col2='Description of Goods'

# 기본 관세율 테이블
col1='HS Code'
col2='Description of Goods'
col3='Uraian Barang'
col4='Nama'
col5='MFN (Most Favored Nation)'
col_list=[col1, col2, col3, col4, col5]

# FTA 협정세율 테이블
c1='Tarif Nama'
c2='Tarif Preferensi'
c_lists=[c1, c2]

일반 관세율과 FTA 협정세율이 따로 존재했기에 별개의 테이블로 추출한 뒤, 하나의 hs code에 대해 결합하는 과정으로 정제를 진행하였습니다.