개발자 도구(F12)로 들어가 선택할 태그를 Copy full Xpath하여 해당 태그에 접근을 진행했습니다.
# 드라이브 생성
driver = webdriver.Chrome(ChromeDriverManager().install())
# 페이지 주소
page_address='https://www.laotradeportal.gov.la/index.php?r=tradeInfo/listAll'
driver.implicitly_wait(3)
driver.get(page_address)
# dropbox 선택
driver.find_element_by_xpath('//*[@id="bs-example-navbar-collapse-1"]/div[2]/div/a').click()
time.sleep(2)
# dropbox 내 영어 선택
driver.find_element_by_xpath('//*[@id="bs-example-navbar-collapse-1"]/div[2]/div/div/div/ul/li[1]/a').click()
time.sleep(2)
# hscode 선택
driver.find_element_by_xpath('//*[@id="CommoditySearchForm_searchType_0"]').click()
time.sleep(2)
모든 목록을 열어서 1 ~ 97까지의 개수에 대한 배열을 만들고, 검색에 활용하도록 설계했습니다.
(01 Live animals에 대한 항목이 0101~0106까지 존재한다면, 해당 chapter에 대한 개수는 6입니다.)
# 모든 목록을 열기
for i in range(1, 98):
if i==77:
continue
else:
driver.find_element_by_xpath('/html/body/div/div[2]/div[2]/div[1]/div/ul/li['+str(i)+']/div').click()
time.sleep(5)
print(i)
print("success")
# 1 ~ 97까지의 개수에 대한 배열을 만들기, 검색에 사용할 예정
farr=[]
for i in range(1, 98):
if i==77:
farr.append(0)
time.sleep(3)
print(i)
else:
flen=driver.find_elements_by_xpath('/html/body/div/div[2]/div[2]/div[1]/div/ul/li['+str(i)+']/ul/li')
farr.append(len(flen))
time.sleep(3)
print(str(i)+" : "+str(len(flen)))
print("end")
빠른 작업을 위해 위 두 과정을 거친 결과인 배열을 바로 생성해두었습니다.
# 빠른 작업을 위해 위 두 과정을 거치지 않고 검색에 사용할 예정인 배열을 바로 생성
farr=[6, 10, 8, 10, 9, 4, 14, 14, 10, 8, 9, 14, 2, 2, 21, 5, 4, 6, 5, 9, 6, 9, 9, 3, 29, 21, 16, 51, 42, 6, 5, 15, 7, 7, 7, 6, 7, 26, 26, 17,
11, 5, 21, 4, 2, 7, 22, 11, 7, 13, 12, 10, 8, 16, 9, 5, 11, 11, 6, 17, 17, 10, 6, 6, 3, 4, 15, 14, 19, 18, 29, 26, 16, 8, 16, 0, 4, 6, 4,
13, 15, 11, 86, 46, 9, 16, 5, 8, 32, 14, 7, 7, 6, 6, 20, 6]
배열 내의 개수만큼 “0101”과 같은 형태로 만들고, 계속 검색하여 최종 단위에 대한 데이터를 추출하도록 진행하였습니다.
# 검색어의 형태를 지정, 검색할 수 있게 만들어주는 함수
def chk(l, k):
if k < 10:
if l < 10:
fname='0'+str(l)+'0'+str(k)
else:
fname=str(l)+'0'+str(k)
else:
if l < 10:
fname='0'+str(l)+str(k)
else:
fname=str(l)+str(k)
return fname
관세율 테이블 정보를 저장할 파일 경로를 생성해주기 위해 만든 함수입니다.
# 파일 생성 시에 요구되는 경로을 만들어주는 함수
def chap(l):
if l < 10:
mname='0'+str(l)
else:
mname=str(l)
return mname
데이터 추출을 진행한 부분으로, 해당 코드를 실행할 시 Hs code 이름으로 관세율 테이블 정보를 담은 excel 파일이 자동 저장됩니다. 관세율 테이블 추출은 beautifulsoup4을 사용했습니다.