안녕하세요 초보개발자입니다.
제 어플에서 활용할 데이터를 가져오기위해 웹 크롤러를 설계하는데 조언을 구하고자 글을 작성하게 되었습니다. 제가 크롤링하려는 사이트의 구조가 아래의 그림과 같이 구성되어 잇습니다. 일단 제가 작성한 크롤러는 사이트 구조의 가장 하단에 위치한 서브 카테고리 페이지를 리스트로 작성하고 각 페이지를 이동해 가면서 크롤링을 수행하였습니다, 하지만 이 서브 카테고리 페이지가 수가 많아서 수작업으로 일일이 찾아가서 들어가기 번거로운 어려운 문제점이 발생했습니다. 또한 카테고리가 추가되면 서브 카테고리 페이지 리스트를 재작성 해야 하는 어려움도 있었습니다.
위의 문제점을 해결하고 자동으로 서브 카테고리 페이지를 찾아 데이터를 크롤링 할 수 있는 아이디어를 생각하고 있는데 막상 떠오르지 않아 게시판의 고수 분들께 조언을 얻으려 합니다. 사소한 팁이라도 좋으니 댓글부탁드립니다.
