[GCP] Pub/Sub 정의와 Push& Pull 차이 | LIM

🧐 Cloud Pub/Sub 이란

대용량 분산 큐 서비스이며 메시징 시스템이다. 메시지를 Queue에 쌓아두는 토픽을 생성하고 그 토픽을 구독하는 구독자를 만들어 메시지를 소비하는 시스템이다. Pub/Sub을 통해 서비스는 비동기적으로 100밀리 초의 지연 시간으로 통신할 수 있다.

 

📝 Cloud Pub/Sub 의 핵심 개념

Topic: 게시자가 메시지를 전송하는 리소스

 

Message: 게시자가 Topic 에 전달해 결과적으로 구독자에게 전달되는 데이터와 속성의 조합

 

Subscriber: 단일 또는 다중 주제에 대한 구독을 사용하여 메시지를 수신하는 애플리케이션

 

Acknowledgement(or "Ack"): Subscriber 가 메시지를 정상적으로 수신한 후 구독자가 Pub/Sub 에 보내는 신호. 이 Ack을 받아 확인된 메시지는 구독메시지 큐에서 삭제된다. 

 

Push and Pull: 두 가지 메시지 전송방법. Push의 경우 구독자가 선택한 엔드포인트로 Pub/Sub 이 메시지를 보내는것. Pull의 경우 구독자가 메시지를 Pull 하는 것

 

그중 나는 Push와 Pull의 개념이 조금 헷갈렸다. 

 

✔️ Push/Pull 구독 방법

아래 하이라이트한 부분이 핵심인 것 같다. 

 

Pull: Subscriber 가 Message 를 요청할 때 전달받는 구독 방식

즉, 그림과 같이 Pull 방식은 사용자가 데이터를 요청하면 Pub/Sub 에서 보내주는 형식이고 Subscriber 에게서 Ack을 받으면 메시지는 삭제된다. 

 

 

Push: Message 가 오면 바로 Subscriber 에게 전달되는 방식

 

Push 방식은 Topic 으로 데이터가 전송되자마자 Subscriber에게 바로 보내주고 Subscriber 가 Ack을 전송하면 메시지는 삭제된다. 

GCP의 EventArc 서비스가 있는데 이 서비스가 바로 Push 방식으로 작동된다. 

바라보고 있는 특정 cloud 서비스에 이벤트가 발생하면 해당 이벤트에 대한 메시지를 Subscriber에게 보낸다. 

 

EventArc에 대해 궁금하다면 이 포스트를 읽어보면 좋다. 개인적으로 구글 서비스는 이 분 블로그를 보면서 많이 배웠다. 현재 EventArc를 사용해 주기적으로 데이터를 처리하고 있는데 해당 프로젝트를 진행하면서 사용했던 EventArc에 대한 글을 더 자세히 써봐야겠다.

https://medium.com/google-cloud-apac/gcp-serverless-%EC%84%9C%EB%B9%84%EC%8A%A4%EC%9D%B8-cloud-run-%EC%95%8C%EC%95%84%EB%B3%B4%EA%B8%B0-5%EB%B6%80-eventarc-%EB%A5%BC-%ED%86%B5%ED%95%9C-%EC%9D%B4%EB%B2%A4%ED%8A%B8-%EB%B0%9B%EA%B8%B0-f0771b656c4f

[GCP]Serverless 서비스인 Cloud Run 알아보기 5부 — Eventarc 를 통한 이벤트 받기

 

📝Cloud Pub/Sub 설정 요소

마지막으로 Pub/Sub의 setting 에 대해서 알아보자.

 

✔️ Ack Deadline

• How long Pub/Sub waits for the subscriber to acknowledge receipt before resending the message
• Pub/Sub 이 subscriber 의 ack message를 얼마큼까지 기다리게 할 건지에 대한 설정이다.
• 10s ~ 600s(10m) 까지 설정 가능하다.
• 10s로 너무 짧으면 그 사이 ack을 받지 못해 중복된 메시지가 여러 번 발행될 수 있으니 구현한 서비스에 맞게 잘 조절하도록 해야 한다.

✔️ Dead Letter

• Pub/Sub 서비스가 메시지를 전달하려고 하지만 구독자가 이를 확인할 수 없는 경우 Pub/Sub는 전달할 수 없는 메시지를 데드 레터 주제로 전달할 수 있다.

✔️ Retention

• Retain unacknowledged messages for a specified duration. If retain acknowledged messages is enabled, acknowledged messages are retained for the same duration.
• subscriber로부터 정상적인 ack을 받지 못한 메시지들(즉 전송되지 않았다고 여겨지는 메시지들)을 얼마큼 동안 보관하고 있을 것인가에 대한 설정이다.

✔️ Backoff(Retry Policy)

• 재시도 정책 중 하나로, 재시도에 대한 텀을 설정하는 요소로 보면 된다.
• 지수 백오프를 사용하면 재시도 사이에 점진적으로 좀 더 긴 지연 시간을 추가할 수 있습니다. 첫 번째 전송 실패 후 Pub/Sub는 최소 백오프 시간을 기다린 후 재시도합니다. 메시지가 연속해서 실패할 때마다 지연 시간에 더 많은 시간이 최대 지연 시간(0~600초)까지 추가됩니다.

 

참고)

https://cloud.google.com/pubsub/docs/handling-failures

메시지 처리 실패  |  Cloud Pub/Sub  |  Google Cloud

https://jhryu1208.github.io/gcp/2021/06/29/Cloud_Pub_Sub/

[GCP] Cloud Pub/Sub

 

다음엔 메시지 큐 플랫폼인 카프카로 미니 프로젝트를 진행해봐야겠다!