[Docker] Langsmith mkdir: can't create directory permission denied 해결하기 | LIM

LangSmith를 VM 내에 직접 설치해서 사용하기 위해 docker-compose를 이용해 설치하던 도중 다음과 같은 에러에 맞닥뜨렸다.

https://www.langchain.com/langsmith

LangSmith

https://github.com/langchain-ai/helm/blob/main/charts/langsmith/docker-compose/docker-compose.yaml

helm/charts/langsmith/docker-compose/docker-compose.yaml at main · langchain-ai/helm

 

🤔 can't create directory /var/lib/clickhouse/tmp permission denied

langchain-clickhouse:
    image: clickhouse/clickhouse-server:24.2
    user: "101:101"
    restart: always
    environment:
      - CLICKHOUSE_DB=${CLICKHOUSE_DB}
      - CLICKHOUSE_USER=${CLICKHOUSE_USER}
      - CLICKHOUSE_PASSWORD=${CLICKHOUSE_PASSWORD}
    volumes:
      - /data001/langsmith/langchain-clickhouse-data:/var/lib/clickhouse
      - ./users.xml:/etc/clickhouse-server/users.d/users.xml
    ports:
      - 8124:8123
      - 9001:9000
    healthcheck:
      test: ["CMD", "clickhouse-client", "--query", "SELECT 1"]
      interval: 2s
      timeout: 2s
      retries: 30

 

권한 문제이길래 chmod 를 열심히 해보았지만 생각해 보니 이건 docker 컨테이너 내부에서 디렉토리를 생성을 못해서 생기는 문제였다.

아니..docker container 내부에 권한을 어떻게 줘야 하는 거지..?

 

다행히 찾다 보니 동일한 문제를 겪고 있는 블로그 글을 발견할 수 있었고 다음과 같은 문제였다. 

Docker 컨테이너와 호스트 디렉토리 권한 문제 

Docker 컨테이너는 독립된 환경에서 실행되며, 애플리케이션은 컨테이너 내부의 특정 사용자로 동작한다.

예를 들어, grafana/grafana 이미지는 기본적으로 UID와 GID가 472인 사용자로 실행됩니다.

 

하지만 컨테이너에서 볼륨으로 마운트 된 호스트 디렉토리는 호스트 시스템의 파일 권한을 따릅니다. 호스트 디렉토리를 생성한 사용자가 UID/GID 1000:1000이라면, 컨테이너 내부의 472 사용자는 해당 디렉토리에 접근할 권한이 없을 수 있다.

이로 인해 permission denied 에러가 발생할 수 있는 것이다. 

 

왜 UID와 GID가 중요한가?

리눅스 파일 시스템에서는 파일이나 디렉토리의 소유권을 UID(User ID)와 GID(Group ID)로 관리한다.

예를 들어:

• 호스트 디렉토리
  • 소유자: UID 1000, GID 1000 (보통 현재 로그인한 사용자)
• 컨테이너 내부
  • 소유자: UID 472, GID 472 (Grafana의 기본 사용자)

컨테이너는 호스트 디렉토리와 권한 정보를 공유할 때, UID/GID를 기반으로 접근 권한을 판단한다.

UID와 GID가 다르면 컨테이너 내부 사용자에게는 디렉토리에 대한 읽기/쓰기 권한이 없다. 

 

 

권한 문제 해결 방법

(1) 권장: 호스트 디렉토리 소유자 변경 -> 내가 해결한 방법

호스트 디렉토리의 UID/GID를 컨테이너 내부 사용자에 맞게 설정하면 권한 문제를 해결할 수 있다.

langchain-clickhouse:
    image: clickhouse/clickhouse-server:24.5
    user: "101:101"
    restart: always
    environment:
      - CLICKHOUSE_DB=${CLICKHOUSE_DB:-default}
      - CLICKHOUSE_USER=${CLICKHOUSE_USER:-default}
      - CLICKHOUSE_PASSWORD=${CLICKHOUSE_PASSWORD:-password}
    volumes:
      - langchain-clickhouse-data:/var/lib/clickhouse
      - ./users.xml:/etc/clickhouse-server/users.d/users.xml

 

1. 디렉토리 미리 생성
   
   mkdir /data001/langsmith/langchain-clickhouse-data
   
   
2. UID/GID를 컨테이너 사용자와 일치시킴
   langsmith 공식 document에 올라와있는 docker-compose 파일의 clickhouse user는 101이다.
   
   sudo chown -R 101 /data001/langsmith/langchain-clickhouse-data
   
   
3. Docker Compose 실행
   docker-compose up -d

(2) 간단히 해결: user: root 사용

Docker Compose에서 user: root를 설정하면 컨테이너 내 프로세스가 루트 권한으로 실행되어 호스트 디렉토리에 자유롭게 접근할 수 있다.

 

하지만 이는 보안상의 이유로 이는 권장되지 않는다고 한다.

컨테이너는 가능한 낮은 권한의 사용자로 실행하는 것이 안전하다고 합니다💡

 

---

 

https://app.usespeak.com/kr-ko/sale/kr-affiliate/?ref=화림

Speak - The language learning app that gets you speaking