amazelimi

• [Python] 바다코끼리 연산자 Walrus Operator 알아보기 | LIM Python3.8 부터 바다코끼리 연산자가 도입되었다고 한다. 이걸 어떻게 알았냐면 LLM Chatbot 만들면서 화면 만들 때 streamlit 쓰다가 알게 되었다. # Accept user inputif prompt := st.chat_input("What is up?"): # Display user message in chat message container with st.chat_message("user"): st.markdown(prompt) # Add user message to chat history st.session_state.messages.append({"role": "user", "content": prompt}) 위 코드였는데 처음에는 이렇게 생긴.. 2024.06.21
• [AWS] File Storage vs Object Storage(S3) | LIM 문득 AWS S3 에 대해 얘기를 듣다가 생각이 났다.S3는 Object Storage 라고 하는데 그럼 File Storage 와 Object Storage 차이는 뭐지?읽는 방식이 다른가? 저장되는 방식이 다른가?두루뭉술하게만 알고 있고, 남에게 설명할 수 없을 것 같아 제대로 공부하고 정리해야겠다고 생각했다. 오브젝트 스토리지란오브젝트 스토리지에 대해 검색하면 이렇게 설명이 나온다 오브젝트 스토리지는 각 데이터를 오브젝트로 지정합니다. 데이터는 폴더 내 파일과 별도의 저장소에 보관되며 연결된 메타데이터 및 고유 식별자와 함께 번들로 제공되어 스토리지 풀을 형성합니다. 이게 무슨 말인데요...ㅠ   최고의 과외 선생님 GPT 에게 물어보자..!  그럼 일반적인 file storage 와의 차이는 뭐지.. 2024.05.18
• [Udemy] DevOps: Kubernetes 완전정복 | LIM 저번 ChatGPT를 이용한 데이터 분석 수강에 이어 Kubernetes 완전정복 강의에 대한 수강평도 남기고자 합니다. https://amazelimi.tistory.com/entry/Udemy-ChatGPT-%EC%99%80-%ED%8C%8C%EC%9D%B4%EC%8D%AC%EC%9D%84-%ED%99%9C%EC%9A%A9%ED%95%9C-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EC%82%AC%EC%9D%B4%EC%96%B8%EC%8A%A4-%EB%B0%8F-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%B6%84%EC%84%9D-%EC%88%98%EA%B0%95-%ED%9B%84%EA%B8%B0-LIM [Udemy] ChatGPT 와 파이썬을 활용한 데이터 사이언스 및 데이터.. 2024.04.14
• [Udemy] ChatGPT 와 파이썬을 활용한 데이터 사이언스 및 데이터 분석 수강 후기 | LIM 현재 나는 글또 9기를 진행중에 있습니다. 이번 9기에서는 운이 좋게도 유데미에서 2개로 강의를 들어볼 수 있는 쿠폰을 주셔서 가장 관심이 있던 ChatGPT 를 이용한 데이터 분석을 수강하게 되었습니다. https://www.udemy.com/course/chatgpt-for-data-science-and-data-analysis-in-python-korean/ 강의에서 배우게 되는 내용은 다음과 같습니다. 최적의 결과를 내주는 효율적인 ChatGPT 프롬프트를 설계하는 법 ChatGPT 로 데이터 사이언스 프로젝트를 시작해 시작 시간을 최대 90%까지 줄이는 법 ChatGPT와 생성형 AI 기술을 데이터 사이언스 프로젝트 수행에 활용해 프로젝트 실행 시간을 절반까지 줄이는 법 파이썬, Tableau,.. 2024.03.31
• LLM(Large Language Model) 기본 정리 및 활용 방안 | LIM LLM은 "Large Language Model"의 약자로, 대규모 데이터 세트에서 훈련된 인공지능 언어 모델을 의미한다. GPT 시리즈와 같은 모델은 OpenAI에 의해 개발되었고, 이는 대표적인 LLM의 한 예이다. LLM은 대규모의 학습 데이터셋과 엄청난 컴퓨터 리소스를 필요로 한다. 파라미터수가 엄청나기 때문이다 (이래서 엔비디아 주가가,,나만 못 샀어,,) LLM에 사용되는 딥러닝 모델인 Transformer 이 모델은 다들 많이 아시다시피 "Attention Is All You Need" 라는 논문에서 처음 소개되었다. 기존의 순차적인 데이터 처리 방식(ex. RNN, LSTM) 대신, "어텐션 매커니즘" 을 이용하여 전체 입력 데이터를 한 번에 처리함으로써, 처리 속도를 대폭 향상시키고, 더.. 2024.03.17
• 퀴즈로 배우는 알고리즘: 코드트리로 당신도 모르게 전문가 되기| LIM 글또 활동에서 운이 좋게 코드트리와 함께 할 수 있는 기회를 주셔서 한 달간 체험을 해봤다. https://www.codetree.ai/curriculums 코드트리 | 코딩테스트 준비를 위한 알고리즘 정석 국가대표가 만든 코딩 공부의 가이드북 코딩 왕초보부터 꿈의 직장 코테 합격까지, 국가대표가 엄선한 커리큘럼으로 준비해보세요. www.codetree.ai 기존에는 프로그래머스나 리트코드등을 활용해서 코딩테스트를 준비했었다. 하지만 실력이 많이 향상되고 내가 정확하게 알고리즘을 이해하고 있는 건지에 대한 의문이 항상 들었었고, 고민하고 있는 와중에 당장 3월 말에 회사 내에서 역량 인증 시험을 보게 되었다. 동기도 생겼으니 이제 공부만 하면 된다고 생각한 와중 마침 또 글또에서 운이 좋게 코드트리와의 .. 2024.03.02
• [Book] 마케팅을 바꾸는 데이터의 힘 | LIM 이 책은 우연히 교보문고에 들렸다가 제목이 마음에 들어서 사 왔던 책이다. 데이터 운영팀에 있으면서 결국 데이터를 관리하고자 하는 목적이 무엇이냐에 대해 생각해 봤을 때 결국 데이터를 통해 유의미한 결과를 도출해 사람들의 유입을 증가시키고 결국 매출을 상승시키고자 하는 것이다. 이 책은 마케팅 분야에서 왜 데이터가 중요하고, 이러한 데이터들을 어떻게 활용해서 비즈니스 목표를 달성시킬 것인가에 대해 전반적으로 설명해주고 있다. 데이터를 아는 마케터가 먼저 성공한다. 목차 1부: 이것이 데이터 마케팅이다. 2부: 빅데이터 대홍수에서 마케터로 살아남기 3부: 소비자를 VIP로 만드는 마케팅의 진화 4부: 데이터는 어떻게 기업의 무기가 되는가 이것이 데이터 마케팅이다. 데이터 마켓팅은 직관과 경험을 넘어서서 정.. 2024.02.10
• [Spark] Apache Spark와 RDD | LIM Spark 의 등장 배경 Spark은 대규모 데이터 처리를 위한 오픈소스 분산 컴퓨팅 시스템이다. Spark의 등장 배경은 크게 두 가지 주요 요소에 기반한다. [처리 속도] Hadoop의 MapReduce는 대규모 데이터 처리에 혁명을 가져왔지만, 일부 작업에서는 상대적으로 느린 처리 속도를 보였다. 특히, 반복적인 알고리즘과 실시간 데이터 처리가 필요한 작업에서 이러한 속도 문제가 더욱 도드라졌다. Spark은 이러한 문제를 해결하기 위해 메모리 내(in-memory) 데이터 처리를 통해 빠른 데이터 처리 속도를 제공한다. [다양한 데이터 처리 요구 사항] 데이터 처리의 다양화로 인해 단순히 대량의 데이터를 처리하는 것뿐만 아니라, 실시간 스트리밍 처리, 머신러닝, 그래프 처리 등 다양한 유형의 데이.. 2024.02.10
• [Book Review] 데이터 천재들은 어떻게 기획하고 분석할까? | LIM 최근 회사 내에서 tableau 를 이용해 데이터 시각화 작업을 하고 있어서 tableau 관련 책을 빌리러 갔다가 제목이 눈에 띄어 빌려왔던 책이다. 엔지니어로서의 작업도 재밌었지만 현재 이직한 회사로 와서는 실제 데이터를 가지고 어떤 의미를 도출해 낼 수 있는지, 어떤 가설을 입증할 수 있는지에 대해서도 고민을 많이 하고 있고, 이러한 부분에 대해서도 재미를 느끼는 중이다. 이 책은 총 6장으로 이루어져있다. 중간중간 개념적 설명과 더불어 어떻게 분석해야 하는지 자세히 나와 있어서 배경지식이 없다면 읽기 조금 힘들 수는 있으나 나 같은 경우 책을 읽을 때 하나하나 모두 내 머리에 담아야지!로 읽기보다는 나에게 와닿는 내용 필요한 내용만을 취사선택해서 읽고 있다. 데이터로 의사결정하기 위해서는 이전에 .. 2024.01.21
• [Book Review] 데이터로 경험을 디자인하라 | LIM 다음 회사를 가기 전 쉴 계기가 생기면서 오래간만에 책을 읽게 되었다. 바로 이 책이다. https://m.yes24.com/Goods/Detail/108802285 데이터로 경험을 디자인하라 - 예스24 ‘기술’이 아닌 ‘의미’가 중요한 경험의 시대 디지털에 남긴 데이터를 통해 고객의 마음을 읽어내는 법 최재붕 교수, 류재철 본부장, 김경서 의장 등 강력 추천 삼성, LG 등 주요 기업들이 ‘ m.yes24.com 들어가기에 앞서 내가 다음에 가는 회사의 부서는 Data Transformation이라는 추세에 따라 약 3-4년 전 신설된 부문으로 알고 있다. 나는 이전까지는 데이터 엔지니어로서 다른 팀에서 필요로 하는 데이터를 요청받으면 수집하고 가공하고 저장하는 역할을 했다. 소위 ETL(ELT) .. 2023.12.24