Spring Boot 클래스 로더와 Armeria DocService의 TOCTOU 이슈로 발생한 ClassNotFoundException
팀에서 운영하는 서비스 중 작년 7월에 Spring Boot 버전을 3.2로 올린 서비스가 있었습니다. 이후 약 15개월간 버전 업그레이드와 관련된 큰 이슈 없이 운영해 왔는데 지난 주 평일 새벽에 k8s 워커 노드가 scale-in…
#troubleshooting
필터 해제8 posts
dumb-init 이 손자 프로세스를 기다리지 않아 graceful shutdown 이 동작하지 않던 이슈
TL; DR dumb-init 을 PID 1 로 두어도 를 shell form 으로 쓰면 구조로 실행된다 SIGTERM 은 프로세스 그룹 전송이라 앱까지 도달하지만 sh 는 SIGTERM 을 받자마자 바로 종료되고 dumb-init…
Topology Aware Routing 으로 인해 일부 pod 에만 트래픽이 몰린 이슈
TL; DR Topology Aware Routing 은 zone 별 노드의 allocatable CPU 비율로 forZones 힌트를 계산한다 pod 가 zone 에 고르게 배치되지 않은 상태에서 힌트가 붙으면 쏠림(skew…
argocd의 3-way diff 로 인한 이슈
최근 Kubernetes 환경에서 ArgoCD와 HPA(Horizontal Pod Autoscaler)를 함께 사용하던 중 프로덕션 환경에서 배포 도중 순간적인 Latency 증가와 요청 실패가 발생했다 non-production…
hbase sharded client 1.2 dns 과다 질의 이슈
요약 hbase sharded client 1.2에는 hbase.resolve.hostnames.on.failure 옵션이 있다 동일 호스트명에 ip가 바뀌어 리전 서버가 투입되는 경우가 없다면 false로 하여 불필요한 dns…
dbcp2 pool idle configuration이 있는데도 communicationsException 발생 원인 파악
db…
AvailablityProbesAutoConfiguration에 대해 알아보자(spring boot readiness, liveness 관련)
서두 spring boot에서는 2.3부터 컨테이너 헬스 체크를 위한 probe 관련 엔드포인트를 노출합니다. (링크) 별도 프로퍼티 설정 없이 해당 기능을 잘 사용하고 있었는데요. 배포 직후 첫 번째 probe…
nodeJS HTTP API CALL시 간헐적인 RST(Connection reset by peer) 발생 이슈
TL; DR 클라이언트 - 서버간 연결이 유효하다면, 서버에서 임의로 커넥션을 정리하지 않도록 서버에서 설정한 connection idle timeout 시간보다 더 짧은 주기로 probe / heartbeat…