개발 노트/개발 삽질 검색 결과

해당 글 13건

ProxySQL을 사용하면 DB Connection을 줄일 수 있다고 ?

목차 " data-ke-type="html">HTML 삽입미리보기할 수 없는 소스 개요 FastAPI를 사용해 API를 만든 뒤 locust를 통해 성능 테스트를 진행했다. “대략 이 정도 TPS가 나오는구나”라고 확인한 뒤 MySQL의 Connection도 이상은 없는지 관심이 갔다. SQLAlchemy에 pool_size를 2로 설정하고 uvicorn worker를 4개로 설정한 상황이다. MySQL 커넥션이 최대 8개(2*4)까지 늘어나는 현상을 보고 “무난하네”라고 생각할 때쯤 의문이 생겼다.서버(FastAPI)를 증가시킨다면 MySQL 커넥션 자체는 계속 늘어나는거 아닌가? 즉, Application Server의 수가 증가할 수록 MySQL 서버와 맺게 되는 커넥션 수가 늘어난다는 문제가 존..
개발 노트/개발 삽질 2024. 5. 4. 23:51

Python으로 Android에 파일을 전송하는 방법

HTML 삽입 미리보기할 수 없는 소스 개요 지난번 글에서 Google API 없이 Youtube 데이터를 수집했던 에피소드를 포스팅했다. Google API 없이 Youtube Page를 분석해 자주 듣는 유투버의 커버 영상을 MP3 파일로 변환하여 다운로드하는 것이 주된 내용이었다. 그러나 MP3 파일로 변환하여 다운로드하는 것까지는 자동화가 가능했지만 다운로드를 완료한 파일을 Android에 옮기는 부분을 자동화하지 못했다는 점이 아쉬웠던 부분으로써 언급했다. 이 부분을 해결하려고 생각했던 Idea는 Python Kivy를 활용하는 것이었는데 이 포스팅을 쓰기 전 잠깐 다뤄보니 build를 통해 apk파일을 뽑아내는데 까지 시간이 너무 오래 걸려 다른 아이디어를 고민해 봤고 이 포스팅은 이에 대한 ..
개발 노트/개발 삽질 2024. 4. 1. 20:19

Google API 없이 Youtube 데이터 수집하기

HTML 삽입 미리보기할 수 없는 소스 개요 Youtube 중 "김달림"님이라는 분이 계신다. 이 분의 커버 영상을 MP3로 변환하여 휴대폰에 저장하여 이동 중에 듣기도 하며 커버 영상을 틀어놓고 개발을 하거나 책을 읽기도 한다. 문제는 휴대폰에 저장하여 이동 중에 듣는다는 것인데 최신 커버 영상이 올라오면 따로 수작업을 통해 휴대폰으로 옮기는 과정이 매우 귀찮은 작업이라는 점이다. 그렇기에 커버 영상의 정보를 가져와 MP3 파일로 일괄 다운로드를 수행하는 스크립트를 만들어봤다. 적어놓고보니 목표로 하는 것은 간단해 보이지만 그 과정은 쉽지만은 않았는데 이 포스팅은 이 과정에 대한 기록을 해놓은 것이다. 1. Google API 없는 Youtube 정보 수집이 목표다. 개발에 있어 스스로 세워본 작은 목..
개발 노트/개발 삽질 2024. 3. 26. 03:10

Google OAuth 로그인의 번거로움 해결하기

Google OAuth Token을 얻는 과정이 매번 번거로운데 어떻게 하면 편하게 얻을 수 있을까? HTML 삽입 미리보기할 수 없는 소스 개요 최근 Google OAuth Login 기능을 구현하면서 상당히 번거로운 점을 체감했다. 매번 url을 클릭해서 브라우저를 열고 계정을 선택해서 나온 callback url에서 code를 따로 추출하고 url decoding을 한 뒤 이를 다시 access_token으로 가져오기 위한 코드를 사용한다는 점이 그러했다. 어떻게 하면 이렇게 번거로운 과정을 단축하여 편하게 id_token과 access_token을 얻을 수 있을지 고민했는데 Google 개발 문서를 뒤적거리고 조금의 아이디어를 보태서 해결할 수 있었다. 그러한 배경으로 앞서 이야기한 번거로운 과정..
개발 노트/개발 삽질 2023. 11. 28. 00:44

Brunch와 KaKao 인증에 대한 삽질

HTML 삽입 미리보기할 수 없는 소스 개요 얼마 전 Brunch에 발행된 글을 살펴보다 키워드가 잘못 설정되었음을 깨달았다. 하나의 키워드를 특정 글에 업데이트만 하면 되는 것이기에 일괄적으로 수정하려고 했지만 Brunch는 이러한 기능을 제공하지 않았다. 이를 코드로 풀어내고자 Brunch 계정이 KaKao와 연계되어 있어 KaKao API에 혹시나 Brunch 게시글을 수정하는 기능이 있나 찾아봤지만 제공되는 기능은 아니었다. 오픈된 API가 없다면 통신 과정을 재연시키면 가능하기에 Brunch 내부에서 통신하는 주소를 관찰하게 되었다. Brunch 내부적으로는 API를 요청하는 주소가 몇 건 들어있었고 이를 활용하고자 했다. 문제는 Brunch에서 사용하는 API 요청을 재연시키려면 KaKao의 ..
개발 노트/개발 삽질 2023. 10. 3. 01:10

티스토리에 뉴스레터 적용하기

HTML 삽입 미리보기할 수 없는 소스 개요 안녕하세요 jako입니다. 최근 개인 뉴스레터를 운영해보고 싶은 것에 대해 관심이 생겼습니다. 공수를 들여 작성한 독자분들께 직접 전송하여 정보가 유익했는지 혹은 피드백을 얻기 위하는데 목적이 있었죠. 그리하여 뉴스레터를 운영해 보기 위해 조사를 거쳤습니다. 제일 먼저 티스토리에서 뉴스레터를 사용할 수 있게 해주는 플러그인이 있는지 찾아봤지만 자료가 나오지 않았습니다. 그래서 따로 뉴스레터를 운영할 수 있는 플랫폼을 찾아본 결과 stibee, 글리버리와 같은 플랫폼이 존재했습니다. 그런데 제 기준에서는 각각 다음과 같은 특징이 있었습니다. 스티비 - 입맛에 맞게 커스텀할 수 있는 여러 요소들을 제공해 주는 것으로 확인했으나 티스토리에 연결해서 사용하는 방법을 ..
개발 노트/개발 삽질 2023. 9. 24. 02:22

Authlib를 이용한 간단한 Server 구현

개요 회사에서 시스템끼리 데이터 통신을 어떻게 할까를 논의하던 도중 Oauth가 언급되었다. 생각해 보니 Oauth는 이용만 했었지 막상 Oauth 서버가 어떻게 돌아가는지 코드를 통해 확인해본적은 없었다. Oauth에 대해 검색해보니 Oauth에 대한 개념과 이론에 대한 정보가 많았는데 막상 또 코드로써 구현해보려니 처음부터 무엇을 해야될지 감이 안 잡히는 상황이었다. 그래서 이를 구현하기 위해 만들어진 라이브러리가 없나 검색해봤는데 Authlib이라는 라이브러리를 알게 되었다. 이 라이브러리가 내부적으로 어떻게 구현되었는지를 탐색해보는 과정에서 삽질을 조금 하게되었는데 이 포스팅에 그 내용을 담아보려고 한다. 1. Setting Python으로 Oauth Server를 구현하기 위해 아래 라이브러리가..
개발 노트/개발 삽질 2023. 6. 27. 00:42

tradingview.com로 알아보는 Websocket 데이터를 수집하는 방법

HTML 삽입 미리보기할 수 없는 소스 개요 https://www.tradingview.com/ 라는 사이트에서 외환 거래 데이터를 수집해야 하는 일을 맡게 되었다. 처음엔 단순하게 페이지를 분석해서 데이터를 얻을 수 있는 동적 크롤링이나 polling 방식을 통해 데이터를 얻을 수 있겠지 싶었는데 이 방법들로는 데이터를 수집하기엔 무리가 있었다. WebSocket이다보니 실시간으로 발생하는 데이터이기 때문에 코드 레벨에서 WebSocket에 연결한 뒤 데이터를 수집해야 했고 더 나아가 이렇게 수집한 데이터를 저장해야 되는 작업을 필요로 했다. 해놓고 보니 난이도가 높다고는 할 수 없지만 적어도 새로운 접근 방식으로 풀어내야 했기에 재밌는 일이었다. 그리하여 tradingview.com을 예시로 WebS..
개발 노트/개발 삽질 2023. 5. 15. 16:51

테스트 코드 도입기

개요 최근에 작성한 포스팅과 연계되는 내용입니다. 포스팅에 작성했던 내용은 pytest를 사용하면서 자주 사용했던 내용들을 올렸습니다. 이번에 포스팅할 내용은 pytest를 도입하면서 테스트 코드를 어떤 식으로 적용 해나갔는지에 대한 내용을 다룬 글입니다. 어떻게 도입할까? 테스트 코드를 작성한 경험이 개인적인 Code Kata를 제외하고는 거의 없었습니다. 또한 테스트 코드에 대한 밑그림이 없는 상태였기 때문에, Project에서 테스트 코드를 작성하는 방법에 대해 고민하게 되었습니다. 개인적으로 Project에 어떤 코드를 도입하는 것은 유지보수나 협업 관점에서 고려해야 할 사항입니다. 따라서 테스트 코드도 마찬가지이며, 어떤 밑그림을 가지고 시작할지 고민하다가 cosmic python에서 언급한 ..
개발 노트/개발 삽질 2023. 3. 26. 03:44

Flask Scheduling이 2번 실행되는 현상에 대해

개요 최근에 특정 시간이 되면 지정된 Slack Channel에 메시지를 전송해 주는 간단한 Flask 서버를 만들었습니다. AWS의 App Runner를 이용해 배포된 상태였는데 어째선지 Flask 서버의 Scheduler가 2번 실행되는 현상을 겪었습니다. 이로 인해 같은 Slack Channel에 메시지를 중복 전송되는 문제가 발생했습니다. 어떻게 된 건지 싶어 이런저런 조사를 하게 되었습니다. 적용된 환경은 Flask 2.2.2에 Scheduling 처리는 APScheduler 3.10.1을 입니다. ╰─$ pip list Package Version --------------------- ----------- APScheduler 3.10.1 ... Flask 2.2.2 ... Flask의 De..
개발 노트/개발 삽질 2023. 3. 4. 19:16