가상 드라이브를 생성해서 section → chapter로 이동한 후에 최종 단위에 순차적으로 접근하여 관세율 정보를 추출하도록 진행했습니다.
# 버전 업데이트 필요없이 항상 최신 버전의 구글 드라이브를 사용할 수 있도록 함
driver = webdriver.Chrome(ChromeDriverManager().install())
driver.implicitly_wait(3)
# 페이지 주소
page_address='https://shaarolami-query.customs.mof.gov.il/CustomspilotWeb/en/CustomsBook/Import/CustomsTaarifEntry'
driver.implicitly_wait(3)
driver.get(page_address)
두 테이블을 결합해서 하나의 테이블로 구성해야 했기 때문에 열을 새롭게 지정해주었습니다.
# 열을 지정
col1='Hs code'
col2='Items'
col3='Agreement Name'
col4='Customs rate'
col5='Tax rate'
col_list=[col1, col2, col3, col4, col5]
beautifulsoup4를 이용하여 테이블 추출을 진행하였고, 최종 단위에 접근하더라도 필요 없는 테이블이 존재하는 경우가 발생하여 필요하지 않거나 필요한 두 경우로 나누었고, 두 테이블을 결합해서 하나의 테이블로 구성하는 부분이 필요하여 테이블을 추출하는 함수를 구성하였습니다.
# 하나의 hs에 들어가서 table 추출해오는 과정
def tabu():
# 페이지 불러오기
html = driver.page_source
bsoup = BeautifulSoup(html, 'html.parser')
# 모든 table 찾기
table = bsoup.find_all('table')
# 테이블 두 가지 받아오기
if not table:
return False, None
else:
ta_lst = pd.read_html(str(table))
cu_df = ta_lst[0]
pu_df = ta_lst[1]
# 필요없는 테이블에 대한 예외처리
if cu_df.columns[1] != 'Agreement Name':
# 테이블 추출 진행하지 않고, return 0 반환
return False, None
else:
# 테이블 추출 진행
# custom tax 추출
cu_df = cu_df.drop(
columns=['Unnamed: 0', 'Customs tariff within quota', 'Quota number', 'Statistical measurement unit',
'Valid from', 'Valid until'])
# Tax Free에 대해 0%로 변경
for i in range(0, len(cu_df)):
if cu_df[col4][i] == 'Tax Free':
cu_df[col4][i] = "0%"
# purchase tax 추출
pu_df = pu_df.drop(
columns=['Unnamed: 0', 'Measurement unit', 'Optional tax addition', 'Valid from', 'Valid until'])
# Tax Free에 대해 0%로 변경
if pu_df[col5][0] == 'Tax Free':
pu_df[col5][0] = "0%"
# custom tax와 purchase tax 결합
ta_df = pd.concat([cu_df, pu_df], axis=1)
ta_df = ta_df.fillna('')
return True, ta_df
테이블을 추출하는 과정에서 모든 최종 단위에 접근하도록 구성하기 위해서는 다중 반복문의 사용이 필요한데, 즉 최종 단위가 몇 번째 ul(unordered list)까지 들어가야 하는지를 매번 접근 시에 확인하는 과정이 필요했습니다.
not interactable 오류가 발생할 수 있습니다. 코드의 문제는 아니나 다른 요소가 선택하고자 하는 특정 요소를 덮고 있거나 보이지 않는 상태로 인식하기 때문에 해당 오류가 발생하는 것으로 확인되었습니다. 일부 경우는 특정 요소가 클릭 가능해질 때까지 기다리면 ex) time.sleep(5) 해결 가능했으나 그렇지 않은 경우도 존재했습니다.
예를 들어, 0101에 대한 항목이 얼마나 존재하는지 0101 부분만 남기고 남은 0102~0106까지 다 닫은 뒤에 확인이 가능하기 때문에 전체적으로 모든 최종 단위에 접근하기 위해서는 첫 번째 리스트가 몇 개인지, 그 다음에 그 첫 번째 리스트의 첫 번째 항목에 대한 두 번째 리스트는 몇 개인지, 그 두 번째 리스트의 첫 번째 항목에 대한 첫 번째 리스트는 몇 개인지 최대로 존재 가능한 리스트 범위까지 반복하는 과정이 필요합니다.
현재까지 최대 존재 가능한 리스트의 범위는 5인 것으로 확인되었습니다. (0106 -> 01063 -> 010639 -> 0106391 -> 0106391100/0)
결측값을 처리합니다.
# NaN 값 처리
ta_df = ta_df.fillna('')
chapter(1 ~ 98) 별로 excel 파일에 저장합니다.