본문 바로가기
반응형

분류 전체보기136

[Programmers] 위장 (Lv.2) 프로그래머스에 '위장' 문제는 코딩테스트 고득점 Kit에 해시 카테고리에 있다. https://school.programmers.co.kr/learn/courses/30/lessons/42578 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 📚 해시 알고리즘이란? https://amazelimi.tistory.com/30?category=990184 [Python] 해시(Hash)란 무엇인가(feat. Dictionary 자료구조) | LIM 📚 해시함수 해시함수란 데이터의 효율적 관리를 목적으로 임의의 길이의 데이터를 고정된 길이의 데이터로 매핑하는 함.. 2022. 9. 9.
[Docker, GCP] docker push to artifact registry error 발생 및 해결 GCP Artifact Registry에 repo를 생성후 이미지를 push 하려고 하는데 다음과 같은 에러가 계속 발생했다. denied: Permission "artifactregistry.repositories.downloadArtifacts" denied on resource "projects/{project_name}/locations/asia-northeast3/repositories/{repo_name}" (or it may not exist) 처음에는 권한이나 프로젝트가 cli 에 제대로 설정되어 있지 않아서 생기는 문제인 줄 알았다. 하지만 나의 gcloud auth에 repo의 hostname 이 제대로 설정되어 있지 않아서 생기는 문제였다. 다음과 같이 gcloud auth에 repo.. 2022. 8. 8.
Scraper 을 통해 실습해본 Go와 Python 의 성능 테스트 노마드 코더의 강의를 들으면서 Go Scraper를 실습해보았다. 무료 강의여서 부담없이 Go 를 체험(?) 해볼 수 있었다. 확실히 매력적인 언어였다. 멀티코어를 GO의 Channel을 이용해서 Goroutine으로 구현했더니 파이썬의 multiprocessing 을 이용한 것보다 엄청나게 빠른 속도를 보여주었다..ㄷㄷ 예제코드를 깃헙에 올려두었다. 파이썬 scraper 코드와 Goroutine을 사용해서 만든 scraper 코드 모두 올려두었다. https://github.com/HWALIMLEE/go-project/tree/main/job_scraper/goroutine GitHub - HWALIMLEE/go-project: go 를 공부하기 위한 repo go 를 공부하기 위한 repo. Cont.. 2022. 7. 24.
[Docker] 도커 내부에서 localhost 요청하기 | LIM 로컬에서 redis를 6379 번 포트로 띄우고 도커에서 그 redis로 읽고 쓰는 작업을 하려 했다. redis_connection = RedisConnection('127.0.0.1', '0') 이 코드를 이용하여 도커에서 redis를 접속하려고 했으나 다음과 같은 에러가 발생했다. File "/opt/venv/lib/python3.9/site-packages/redis/connection.py", line 617, in connect raise ConnectionError(self._error_message(e)) redis.exceptions.ConnectionError: Error 111 connecting to 127.0.0.1:6379. Connection refused. 도커 컨테이너에서 .. 2022. 7. 19.
[Airflow] Branch를 이용해 상황에 맞는 task 실행(BranchPythonOperator) | LIM Airflow 내에서 이전 작업의 결과에 따라서 다음 작업이 달라야 할 때 Branch 를 통해 나눌 수 있다. 예를 들어서 조회하고자 하는 connection 이 있는 경우 -> 기존 값을 업데이트 connection 이 없는 경우 -> 새롭게 생성 나같은 경우 이렇게 사용하였다. 보통 데이터를 처리할 때 데이터가 있으면 전처리 수행, 없으면 가져오기 이렇게 많이들 사용하는 것 같다. 하지만 현재는 팀내에서 connection을 관리하는게 주 목적이어서 connection 관리를 위한 목적으로 BranchPythonOperator를 사용했다. 예시코드를 보자. 다음코드는 from airflow import DAG from airflow.decorators import task from airflow.o.. 2022. 7. 19.
[Python] 코루틴으로 짜여있지 않은 함수 비동기적으로 이용하기(feat.run_in_executor) | LIM 파이썬에서 비동기 처리를 할 때 await 뒤에 오는 함수 역시 코루틴으로 작성되어 있어야 비동기적인 작업이 가능하다. 비동기로 짜여져 있는 라이브러리도 있으나 보통은 비동기를 고려하지 않고 짜여진 라이브러리가 대부분이다. 그럴 때 event loop 의 run_in_executor 함수를 이용하면 동기적인 함수를 비동기적으로 이용할 수 있다. ✔️ 먼저, asyncio.get_event_loop()를 활용해서 현재 이벤트 루프를 받아온 후 이벤트 루프의 run_in_executor 를 사용한다. run_in_executor는 다음과 같이 정의되어 있다. def run_in_executor(self, executor, func, *args): self._check_closed() if self._debu.. 2022. 7. 14.
반응형

티스토리툴바