n8n을 활용한 데이터 수집 자동화 (1)
디지털 전환 시대에 기업의 데이터 수집 과정을 효율화할 수 있는 n8n이라는 노코드/로우코드 워크플로우 자동화 도구를 소개하며, 기존의 BeautifulSoup이나 Selenium과 같은 코드 기반 도구와 달리 API 중심의 직관적인 인터페이스로 비개발자도 쉽게 복잡한 데이터 수집 및 처리 자동화를 구현할 수 있는 방법을 설명합니다.
Selenium
자동화툴 ‘selenium’을 이용한 크롤러 구현 및 3사 데이터 획득 방법 안내
데이터들은 원천 데이터의 생산 주체가 누구인가에 따라 자사/1사(1st party) 데이터와 3사(3rd party) 데이터로 나눕니다. 3사 데이터를 획득하는 방법 중 하나인 크롤링에 대해 알아보고, 자동화 툴 인 selenium을 이용한 크롤러를 만드는 예제를 알려드리겠습니다.