개발 노트/개발 삽질 검색 결과

해당 글 12건

Android에서 Http 트래픽 관찰하기 - 1

목차 " data-ke-type="html">HTML 삽입미리보기할 수 없는 소스개요크롤링이라는 단어를 별로 좋아하진 않습니다만 크롤링이 이제 단순히 웹의 정보를 긁어오는 분야만은 아닌 듯합니다. 조금 더 거시적인 관점에서 크롤링은 “정보 수집 기술” 정도로 바라봐도 괜찮다는 생각이 듭니다.현대적인 웹 사이트는 동적으로 페이지가 변경될 뿐만 아니라 어떤 사이트는 Network 탭을 통해 볼 수 있는 API 정보도 나타나지 않는 경우가 있습니다. 또한 모바일 앱으로만 제공되는 서비스도 존재하기에 크롤링의 난이도가 점점 올라가고 있습니다. 웹의 경우엔 크롤링을 어떻게 하는지 조금만 검색해도 그 방법이 나오지만 모바일 앱은 그렇지 않습니다.이 글은 Android에서 발생하는 HTTP Request을 로컬 P..
개발 노트/개발 삽질 2023. 1. 12. 22:31

열려있는 chrome에서 크롤링하기

개요 크롤링을 하다 보면 복잡한 로그인 기능부터 구현을 해야 자신이 가져오고 싶은 데이터를 가져올 수 있는 경우가 종종 있습니다. 그 '로그인'이라는 것이 단순히 ID와 Password를 통해 이루어진다면 상관이 없겠지만 보안을 위해 이중 인증을 사용하는 경우가 간혹 있습니다. '핸드폰'으로 인증번호 전송받기 또는 이메일에 인증 링크를 전송받아 현재 접속한 곳이 유효한 접속인지 아닌지를 판단하는 경우 등등 이러한 로그인 과정을 크롤링을 통해 구현하려면 단순히 '어떻게 하지?'가 아닌 그냥 이건 'Open API'를 쓰던가 그러지 않으면 과정이 어려워집니다. 이 글에서 제시하는 방법은 내가 작업하는 Chrome에서 크롤링을 하는 방법인데요. 다소 생소하실 수 있습니다. Chrome Driver를 사용할 때..
개발 노트/개발 삽질 2020. 10. 18. 20:44