반응형 프로젝트3 Kafka, Spark 를 활용한 실시간 데이터 처리 프로젝트 | LIM 예전부터 실시간 데이터 처리를 진행해보고 싶었는데 회사에서는 마땅한 기회가 없어서 이번에 한투 API와 업비트 API 를 이용하여 프로젝트를 진행했다. 이번 프로젝트의 목표는 여러 데이터 플랫폼 툴이 있는데 안 써본 것들이 많아서 이거저거 써보기 위해서 최대한 조합해본 것이다. 베스트라고 생각하지 않는다. 일단 프로젝트 아키텍처는 다음과 같다. Prerequisite 1. GCP 계정 생성 -> 나의 경우 새로 계정을 만들어서 무료 credit 으로 진행 2. 한투API나 업비트 API 신청 https://securities.koreainvestment.com/main/customer/systemdown/install_non_activex_tobe.jsp?P_name=IPinsideLWS https://.. 2023. 7. 30. [Kafka] AWS EC2에 카프카 클러스터 설치하기 | LIM 본격 프로젝트를 시작하기에 앞서 카프카를 설치하는데 도커로 설치하는 것도 좋겠지만 서버에 직접 설치하는 것도 재밌을 것 같아서 AWS EC2를 이용하여 설치해보았다. 회사에서 요즘 FTP 서버를 구축하면서 리눅스 쓰면서 이리저리 많이 부딪혔는데 그때의 경험들이 도움이 많이 되었다. 또한 카프카로 유명하신 데브원영님이 AWS에 카프카 클러스터 설치하는 방법을 자세하게 올려주셔서 참고해서 구축해보았다. https://blog.voidmainvoid.net/325 AWS에 카프카 클러스터 설치하기(ec2, 3 brokers) 보통 테스트할때 맥북 또는 윈도우 컴퓨터의 1대 장비에 설치하곤하는데요. 고 가용성 테스트를 하기 위해서는 반드시 3대 이상의 클러스터를 설치해야 완벽한 카프카클러스터로서 테스트가 가 b.. 2023. 1. 24. [Infra] WebSocket(웹소켓) 이란 | LIM 서버와 클라이언트의 통신은 모두 HTTP 프로토콜만 이용하여 구현되는 것은 아니다. 실시간 채팅, 게임, 주식 차트 등의 실시간 통신이 필요한 서비스를 구현하려면 HTTP 프로토콜이 아닌 WebSocket 프로토콜을 이용하는 것이 좋다. 🧐 HTTP 프로토콜이 무엇이며 HTTP의 한계는? 그 전에 프로토콜이란? 프로토콜은 영어로는 "사전에 정해 놓은 순서" 를 의미한다. 컴퓨터가 서로 소통하기 위해 정한 규악을 가리킨다. 예를들어서 영어나 한국어 같은 언어도 사람끼리의 통신을 위한 프로토콜이라 생각할 수 있다. 서로의 언어(프로토콜) 가 일치하는 경우 소통의 문제가 없겠지만, 일치하지 않는 경우 소통(통신) 이 불가능하다. 또한, 통신 시에 이용하는 매체도 프로토콜이라 볼 수 있다. 대화를 할 때 음성을.. 2023. 1. 8. 이전 1 다음 반응형
