크롤링 (1) 썸네일형 리스트형 LangChain으로 크롤링을 해보자. HTML 삽입 미리보기할 수 없는 소스 개요 최근 사이드 프로젝트에서 크롤링을 맡아 작업하게 됐다. 크롤링에 관한 글을 읽던 중 AI를 이용해 크롤링을 할 수 있다는 정보들이 눈에 띄었다. 과거에 크롤링을 할 때는 HTML Tag를 하나하나 분석해서 데이터를 얻는 노가다성 작업이 이제는 AI를 통해 간편하게 이뤄지는 건가라는 생각과 함께 간단히 튜토리얼을 맛보기로 했다. 튜토리얼로써는 네이버의 뉴스 기사를 "제목", "서론", "본론", "결론"에 따라 요약해 주는 크롤러를 만들어보는 것을 목표로 했다. 1. LangChain 설치와 초기화 Python에서 AI를 이용해 크롤링을 하기 위해서 다운받은 라이브러리는 langchain이다. pip install langchain pip install tikt.. 이전 1 다음
