반응형 분류 전체보기136 그냥 하지 말라(2) - 송길영 | LIM 저번에 반 정도 읽었던 책을 어제 다 읽고 나머지 부분에 대한 나의 생각을 정리해보고자 한다. 마지막 두 파트는 "적응"과 "성장"이었다. 모두 이 시대를 살아가면서 늘 습관처럼 해야 하는 거지 아닐까 싶다. 우리는 빠르게 변해가는 세상에 적응도 해야 하면서 또 성장도 같이 해야 한다. 정말 안 바쁘게 살 수가 없는 세상이다..🥲 3장과 4장을 읽으면서 가장 기억에 남는 한 글귀는 이거였다. 온갖 국룰이 생겨난 이유는 타인으로부터 내 평판과 효율을 극대화하고 싶어서입니다. 평범하게 살고 싶으니까. 무엇보다 평균, 중간을 추구한다는 국룰 자체에 문제가 있습니다. 중간은 AI 로도 대체될 수 있기 때문에, 그럼에도 불구하고 인간은 중간을 찾고 있다. 이 구절을 읽으면서 찔리지 않을 수 없었다. 요즘엔 사람들.. 2023. 1. 5. 그냥 하지 말라 - 송길영 | LIM 저번부터 읽고 싶었던 책을 사촌언니네 놀러 가서 우연히 발견해서 빌려왔다. 이번 연도부터 이 책을 기점으로 책을 읽고 나서 나의 생각을 정리해보는 시간을 가지려고 한다. 책을 읽는 것만이 아닌 나의 생각도 정리하고 글로 표현하는 것도 중요하다고 느끼고 있다. 그래야 책의 내용도 더 잘 와닿고 나중에 기억도 많이 날 것 같다. N 회독하는 것도 중요하지만 내 생각을 글로 표현하는 게 더 효과적이지 않을까 싶다. 데이터 분석가로 유명하신 분이 쓴 책이라 어쨌든 데이터 관련 업종에서 근무하고 있는 나로서는 읽어봐야 하는(?) 읽어보고 싶은 책 중 한권이었다. 현재는 기시감과 변화부분까지 읽어보았다. 주요 내용은 이러하다. 데이터들은 미래를 알고 있었다. 어떠한 방향으로 흘러갈지. 특히 이번엔 코로나로 인해서 .. 2023. 1. 1. Apache Druid 정의와 장단점 및 ES 와의 비교 | LIM 아파치 드루이드에 대한 소개는 다음과 같다. Apache Druid is a high performance real-time analytics database 아파치 드루이드는 다차원 데이터를 빠른 쿼리 속도를 제공하기 위해 세그먼트 단위로 데이터를 인덱스하여 저장한다. 따라서 실시간 분석을 할 때 용이하다. 드루이드는 실시간 수집, 빠른 쿼리 성능 및 높은 가동 시간이 중요한 경우를 지원하기 위한 데이터베이스로 가장 자주 사용된다. 빠른 집계가 필요한 동시성 높은 API 백엔드로 사용된다. 요약하자면 이러한 기능을 갖고 있다고 생각하면 된다 High-Performance: Ingestion and Query Column-Oriented Horizontal Scalable Distributed Data .. 2022. 12. 30. [Airflow] Custom UI for Airflow | LIM 에어플로우는 Plugin 을 이용해서 Webserver 에 메뉴를 수정할 수 있다. 기본적으로 에어플로우를 설치 후 Webserver 를 띄우면 이렇게 생겼다. Airflow Version: 2.2.4 Python Version: 3.8 😩 AS-IS 회사 내에서 Airflow 를 개발/ 운영 을 나누어서 2개를 사용하고 있었는데 해당 UI 두개가 동일하여 현재 Airflow 가 Dev인지 Prod 인지 헷갈렸었기 때문에 Plugin 을 이용해 단순 메뉴를 추가함으로써 Dev/ Prod 를 구분하고자 했다. ✨ TO-BE 추가로 원하는 Template 을 생성해 UI로 expose 시킬 수도 있다. 현재는 단순 Text 만 보이게 해두었다. 📝 Plugin 을 통해 Webserver 에 Menu Item.. 2022. 12. 29. [DATABASE] OLAP vs OLTP | LIM 📚 OLTP (Online Transaction Processing) 직역하면 온라인 트랜잭션 처리를 뜻한다. 무수히 많이 발생되는 각각의 작업요청을 오류없이 처리하고, 그 결과값을 실시간으로 확인시켜줘야 함을 의미 OLTP는 현재의 데이터 처리가 얼마나 정확하고, 무결한지가 중요하다. 그렇기 때문에 주로 데이터의 저장, 삭제, 수정 등의 실질적인 데이터를 수정하는 작업(INSER, UPDATE, DELETE) 을 진행하는 것을 의미하는 용어이다. 📚 OLAP (Online Analytical Processing) 온라인 분석 처리 정도로 해석될 수 있다. OLTP 가 데이터 자체의 처리에 중점이 된 용어라면, OLAP 는 이미 저장된 데이터를 기반하여 분석하는데 중점을 둔 용어이다. OLAP의 목적은 .. 2022. 12. 25. [Pycharm] SSH 원격 접속 | LIM 1. New Project 를 눌러 새로운 프로젝트 생성 2. 파이썬 프로젝트를 생성해준다. 저기서 Location 은 로컬 환경 내 개발환경 directory 이다. 원하는 경로로 설정해주면 된다. 3. Python Interpreter 설정 Interpreter 설정을 누르면 다음과 같은 창이 뜬다. 4. 접속하려는 환경의 Host, Username 을 각각 넣어준 후 Password 까지 넣어준다. 5. Interpreter 설정을 해준다. 보통 venv 로 가상환경을 생성했다면 해당 프로젝트 하위에 .venv/bin/python3.9 로 경로를 설정해주면 된다. 6. 해당 원격서버의 프로젝트 위치를 설정해준다. 7. 연결했는데 아무것도 나오지 않는다.. 이럴 땐 원격저장소에서 소스를 다운로드 받아.. 2022. 12. 24. 이전 1 ··· 10 11 12 13 14 15 16 ··· 23 다음 반응형
