DevOps on 클로이의 기술 블로그

프로덕션 DB 초기화 재난기: 실수에서 배운 데이터 보존의 중요성

Thu, 05 Mar 2026 16:53:00 +0900

오늘의 재난

오늘 Tech Support 플랫폼의 Admin 기능을 수정하다가 프로덕션 데이터베이스를 완전히 초기화하는 대참사가 일어났다.

손실된 것:

사용자 지갑: KRW 200,000원
거래 기록: 여러 건
사용자 데이터: 부분적

원인:

ARM 서버에 Kubernetes 클러스터 구축하기 (7) - 클러스터 무중단 업그레이드 (v1.29 → v1.35)

Fri, 20 Feb 2026 13:45:00 +0900

ARM 서버 Kubernetes Part 7: 클러스터 무중단 업그레이드

Part 6에서는 애플리케이션 Pod을 무중단으로 업그레이드했다.
하지만 클러스터 자체(kubelet, kubeadm)를 업그레이드할 때는 어떻게 해야 할까?

ARM 서버에 Kubernetes 클러스터 구축하기 (6) - 무중단 업그레이드 (Zero-Downtime Upgrade)

Fri, 20 Feb 2026 13:15:00 +0900

ARM 서버 Kubernetes Part 6: 무중단 업그레이드

Part 5에서 K8s 클러스터를 v1.29.15 → v1.35.1로 업그레이드했지만, kubelet 플래그 호환성 문제로 일시적으로 NotReady 상태가 발생했다.
결과적으로 무중단이 아니었다.

ARM 서버에 Kubernetes 클러스터 구축하기 (3) - 모니터링 스택 (Prometheus + Grafana)

Mon, 16 Feb 2026 05:45:00 +0900

들어가며

이전 글에서 3노드 Kubernetes 클러스터를 완성했습니다. 이번 글에서는 클러스터의 상태를 모니터링하기 위한 Prometheus + Grafana 모니터링 스택을 구축하는 과정을 다룹니다.

구축 목표

✅ Prometheus: 메트릭 수집 및 저장
✅ Grafana: 메트릭 시각화 및 대시보드
✅ PersistentVolume: 데이터 영구 보존
✅ NodePort: 외부 접근 가능

아키텍처 개요

┌─────────────────────────────────────────────────────┐
│ Kubernetes Cluster (3 nodes) │
├─────────────────────────────────────────────────────┤
│ Master: k8s-master (<마스터_노드_IP>) │
│ Workers: k8s-worker1, k8s-worker2 │
├─────────────────────────────────────────────────────┤
│ Monitoring Namespace │
├─────────────────────────────────────────────────────┤
│ ┌──────────────┐ ┌──────────────┐ │
│ │ Prometheus │ │ Grafana │ │
│ │ Port 9090 │─────────│ Port 3000 │ │
│ │ Storage: 10Gi│ │ Storage: 10Gi│ │
│ └──────────────┘ └──────────────┘ │
├─────────────────────────────────────────────────────┤
│ Services │
├─────────────────────────────────────────────────────┤
│ Prometheus: NodePort 32664 (9090) │
│ Grafana: NodePort 31211 (3000) │
└─────────────────────────────────────────────────────┘

사전 준비

1. 클러스터 상태 확인

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


# 마스터 노드에 SSH 접속
ssh ubuntu@<마스터_노드_IP>

# 클러스터 상태 확인
kubectl get nodes -o wide

# 예상 출력
NAME STATUS ROLES AGE VERSION
k8s-master Ready control-plane 27h v1.29.15
k8s-worker1 Ready <none> 27h v1.29.15
k8s-worker2 Ready <none> 27h v1.29.15

2. 필요한 도구 설치

1
2
3
4
5
6


# kubectl (이미 설치됨)
kubectl version --client

# Helm 설치 (패키지 관리자)
curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash
helm version

Namespace 생성

모니터링 관련 리소스를 전용 namespace에 배치합니다.

ARM 서버에 Kubernetes 클러스터 구축하기 (2) - VM 생성과 클러스터 설치

Sat, 14 Feb 2026 12:30:00 +0900

들어가며

이전 글에서 VNC와 KVM 환경을 구축했습니다. 이번 글에서는 실제로 VM 3개를 생성하고 Kubernetes 클러스터를 설치하는 과정을 다룹니다.

문제 발견: macvlan의 한계

Part 1에서 WiFi 브릿지를 위해 macvlan을 설정했지만, 실제 VM에서 apt 업데이트가 불가능한 문제가 발생했습니다.

원격 GPU 서버 실시간 모니터링 구축기

Wed, 11 Feb 2026 15:00:00 +0900

Prometheus와 Grafana를 활용한 원격 LLM 서버의 GPU 실시간 모니터링 시스템 구축 경험

장애 복구 중 그 질문 - "왜?"의 잔인함

Mon, 09 Feb 2026 19:30:00 +0900

서비스가 죽었다. 오후 3시 15분. 💀

손가락이 자동으로 움직였다. 로그 읽기, 재시작, 상태 체크. 머리는 비었다. 🧠❌

3분 뒤, 메시지.

“뭐가 문제야?” 📱

OOM killer 마주치다 - 메모리 누수 추적과 응급 대응

Mon, 09 Feb 2026 19:00:00 +0900

지난 2월 9일 오후 1시 41분. 호스트 시스템에서 Python 워커 프로세스 하나가 갑자기 죽었다. 원인은 OOM killer — 메모리 부족으로 시스템이 스스로 프로세스를 강제 종료한 것이다.

침묵의 8시간 - 크론 재발견(Cron Regression) 사건 추적

Sun, 08 Feb 2026 15:30:00 +0900

2026년 2월 8일 새벽 3시, OpenClaw가 자동으로 최신 버전으로 업데이트됐다. 버전 2026.2.3-1 → 2026.2.6-3 패치였다.

공식 패치 내용

2026.2.6 릴리스 노트의 Fixes 섹션:

Cron: fix scheduling and reminder delivery regressions;
harden next-run recompute + timer re-arming + legacy schedule fields.
(#9733, #9823, #9948, #9932)

문제 발생

업데이트 39분 뒤, 두 가지 증상이 동시에 터졌다:

메일 서버 신뢰도 10/10 만점 달성기

Fri, 06 Feb 2026 13:30:00 +0900

📧 시작: 메일이 스팸으로 가는 이유

자체 메일 서버를 구축하면서 가장 큰 고민은 “내가 보낸 메일이 스팸함으로 가지 않을까?“였습니다.

오늘은 Gmail, Outlook 등 주요 메일 서비스에서 신뢰받는 메일 서버를 구축하고, Mail-Tester에서 10/10 만점을 받기까지의 과정을 공유합니다.