[IT 심층 분석] 기술 블로그

소형 로봇 제어를 위한 커스텀 임베디드 리눅스 통합 보드를 설계하던 중 등골이 서늘해지는 하드웨어 버그와 마주쳤습니다. 모터의 발열을 체크하는 4개의 고유 I2C 온도 센서 데몬을 올렸는데, 10분만 지나도 시스템 로그에 "I2C timeout, I/O Error" 가...

저희 팀이 심혈을 기울여 구축한 사내 공용 AI 추론 파이프라인에서 밤마다 슬랙 알람이 비명을 질렀습니다. 여러 개의 서로 다른 머신러닝 프로세스가 하나의 거대한 NVIDIA A100 GPU를 잘 분할해서 쓰고 있었는데, 잊을 만하면 랜덤한 프로세스가 CUDA 런타임 ...

빅데이터를 실시간으로 인덱싱하는 사내 NoSQL 클러스터 노드들 중 특정 벤더의 최상급 NVMe SSD를 꽂은 랙에서만 간헐적으로 스토리지 연결이 툭툭 끊어지는 괴현상이 발생했습니다. 커널 dmesg 로그엔 오로지 "nvme: controller is down; wil...

회사에 입사하고 처음 맡은 레거시 프로젝트는 C++로 작성된 낡은 자체 TCP 푸시 서버였습니다. 이 서버는 언제나 정확히 가동 7일 차가 되면 "Too many open files"라는 끔찍한 로깅을 토해내며 새로운 클라이언트의 접속을 전면 거부하는 기이한 현상이 있...

새벽 3시 PagerDuty 경고음이 울리고, 대용량 트래픽을 처리하는 프론트엔드 캐시 서버 3대가 동시에 셧다운됐다는 알람을 받았습니다. 급하게 서버에 SSH로 접속해 /var/log/messages를 뒤져보니, 황당하게도 가용 메모리가 충분히 남았음에도 불구하고 커...

광활한 은하수의 흐름을 잡아내거나 식물의 개화 과정을 포착하기 위해 스마트폰을 삼각대에 세워두고 수 시간에 걸쳐 타임랩스 촬영을 수행하는 모드는 하드웨어와 전원 관리 시스템에 매우 파괴적인 지구력 한계를 요구합니다. 프로젝트 알파 테스트 리포트에서 겨울철 외부 촬영 시...

사용자 사진 갤러리 앱은 매끄러운 뷰어 경험을 위해 수천 장의 초고화질 사진 목록을 빠르게 스와이프할 수 있어야 하며 이를 뒷받침하는 핵심 기술은 백그라운드에서의 지능적인 비동기 썸네일 캐싱 생성기에 의존합니다. 하지만 내부 스트레스 테스트 서버에서 무작위로 만 장의 ...

광학 카메라 렌즈 데이터뿐만 아니라 라이다(LiDAR) 적외선 그리고 초음파 센서까지 네 개 이상의 이기종 복합 데이터를 하나의 3D 공간 상에 융합하는 센서 퓨전 아키텍처는 자율 감지 솔루션의 최종 보스라 불립니다. 프로토타입 주행 기기를 테스트 트랙에 올렸을 때 카...

스포츠 역학 촬영이나 기자의 사진 현장에서 셔터를 누르고 실제 센서가 프레임을 기록하기까지 걸리는 미세한 딜레이 시간 즉 셔터 릴리즈 랙은 카메라의 생명과도 직결된 척도입니다. 당사 신규 어플리케이션은 사용자 경험(UX) 관점에서 치명적인 단점이 존재했는데 UI 버튼을...

긴급 버그 픽스 배포 후 서버 쪽 코드 변경과 정적 파일 배포가 완료됐음에도 상당수의 사용자들이 계속 구버전 UI와 구버전 API 응답을 받고 있다는 민원이 쏟아졌습니다. 엔지니어 노트북에서 직접 접속했을 때는 분명 최신 버전이 로드되었기 때문에 초반에는 사용자들의 로...

고화소 모바일 이미지 센서들은 어두운 밤하늘이나 실내 조명 아래에서 노이즈 없는 깨끗한 빛을 얻기 위해 인접한 네 개의 작은 픽셀 혹은 아홉 개의 픽셀을 물리적으로 하나의 거대한 망막처럼 묶어서 사용하는 이른바 픽셀 비닝(Pixel Binning) 기술을 적극적으로 활...

어느 날 신규 팀원이 프로젝트를 클론하는 데 한 시간이 넘게 걸린다고 토로했습니다. clone하는 저장소의 크기를 확인해보니 무려 47GB에 달했습니다. 순수 소스 코드만 담긴 저장소가 이 크기가 될 이유는 없습니다. git log를 샅샅이 뒤지자 수년 전 개발 초기 ...

사용자 목록과 필터링 기능이 복합적으로 엮인 관리자 대시보드 페이지에서 인터랙션이 눈에 띄게 느린 현상이 보고되었습니다. 필터 입력창에 글자를 하나 입력할 때마다 UI 업데이트가 버벅이는 심각한 사용성 문제였습니다. React DevTools의 Profiler 탭을 열...

데이터센터에서 관리하는 데이터베이스 전용 서버의 NVMe SSD가 구매한지 불과 14개월 만에 스마트(SMART) 상태에서 수명 잔여량이 1% 미만으로 경고를 내뿜기 시작했습니다. 엔터프라이즈급 SSD의 스펙상 보증 수명은 5년 이상인데 이렇게 빠르게 소모될 이유가 없...

웹캠이나 외부 카메라 모듈을 리눅스와 윈도우 환경에 플러그 앤 플레이로 연동하기 위해 도입하는 표준이 바로 USB Video Class 통칭 UVC 규격입니다. H.264 압축 비디오 스트리밍 기능을 명시적으로 규정한 UVC 1.5 버전으로 업그레이드한 신형 보드 프로...

마이크로서비스 간 실시간 데이터 스트리밍을 위해 gRPC 양방향 스트리밍을 도입한 직후 데이터 생성량이 많은 피크 시간대에 컨슈머 서비스가 자꾸 OOM으로 종료되는 사건이 연속으로 발생했습니다. 쿠버네티스 로그에는 더없이 단순한 메시지가 찍혀있었습니다. killed p...

운영 중인 서비스의 Nginx 앞단과 백엔드 애플리케이션 서버 사이의 프록시 레이턴시가 예상보다 훨씬 높게 측정되는 현상을 AP 모니터링 대시보드에서 포착했습니다. 외부에서 Nginx까지의 레이턴시는 수 밀리초에 불과했지만 Nginx에서 업스트림 애플리케이션으로 요청을...

고스펙 웨어러블 카메라로 촬영한 4K 60fps 영상을 이더넷도 아닌 무선 랜이나 5G 통신을 거쳐 클라우드 인제스트(Ingest) 서버로 실시간 스트리밍 하는 프로젝트는 네트워크 지연 대기시간의 한계를 넘나드는 지독한 도전이었습니다. 스트리밍 프로토콜로 RTMP 대신...

쿠버네티스로 전환한 이후 프로덕션 클러스터에서 특정 컨테이너가 하루에도 몇 번씩 무한 재시작 루프에 빠지는 현상이 퇴근을 막는 단골 악재가 되었습니다. kubectl describe pod 명령으로 이벤트 로그를 확인하면 항상 두 가지 원인 중 하나가 찍혀있었습니다. ...

모바일 기기에서 실시간으로 동작하는 영상 미화 필터 파이프라인의 처리 속도가 목표치인 30fps를 안정적으로 충족시키지 못하는 문제가 있었습니다. C++로 작성된 코어 알고리즘은 이미 컴파일러 최적화 플래그를 최대로 켜둔 상태였고 알고리즘 자체의 시간 복잡도도 나쁘지 ...

어느 날 갑자기 핵심 서비스의 데이터베이스 조회 응답 속도가 10ms에서 8초대로 치솟는 대재앙이 발생했습니다. explain analyze로 쿼리 실행 계획을 보니 분명히 B-Tree 인덱스가 존재하는 컬럼을 조건으로 검색하는데도 데이터베이스가 집요하게 Sequent...

오랫동안 납득할 수 없는 레이턴시 스파이크에 시달리던 프로덕션 API 서버가 있었습니다. 문제는 단순히 서비스를 재시작하거나 디버그 바이너리를 올리기만 해도 증상이 사라져서 원인을 특정할 수가 없었다는 것입니다. 프로파일링 도구를 붙이기 위해 서비스를 잠시라도 중단한다...

신규 팀원이 개발한 피처 브랜치가 병합된 이후 갑자기 웹 앱의 초기 로딩 성능이 급격하게 저하되었다는 사용자 피드백이 쏟아졌습니다. Lighthouse 성능 점수가 93점에서 58점으로 추락했고 번들 분석 도구인 webpack-bundle-analyzer를 돌려본 결과...

야간 투시경에 버금가는 극한의 저조도 환경에서도 노이즈가 없는 깨끗한 영상 결과물을 얻기 위해 우리는 최근 텐서 연산을 전담하는 하드웨어 즉 NPU(Neural Processing Unit)에 자체 학습시킨 이미지 디노이징 딥러닝 모델을 얹어 실시간으로 처리하는 파이프...

Java 기반의 고성능 트레이딩 시스템을 운영하면서 가장 고통스러운 적은 GC(Garbage Collection) 중단 현상이었습니다. G1GC 수집기를 사용하고 있었음에도 수십 기가바이트의 힙을 가진 JVM이 Full GC를 수행할 때면 수백 밀리초 동안 애플리케이션...

수백만 명의 사용자가 이용하는 실시간 랭킹 서비스의 백엔드를 Redis 클러스터로 구성해두었는데 서비스 피크타임마다 특정 Redis 노드 하나만 CPU가 90%를 넘으며 비명을 지르고 나머지 노드들은 한자리 수 점유율로 여유롭게 있는 불균형 현상이 발생했습니다. Red...

쿠버네티스 클러스터 위에서 운영 중인 마이크로서비스들 사이에 간헐적인 요청 실패가 발생해 온콜 엔지니어팀의 슬랙 채널이 시끄러워지기 시작했습니다. 개별 서비스를 단독으로 테스트하면 전혀 문제가 없었으나 서비스 A가 서비스 B를 호출하는 체인 형태의 실제 프로덕션 요청 ...

초고화질 비디오 시대가 도래하며 모바일 환경에서의 8K 해상도 또는 4K 120fps 급의 영상 촬영은 더 이상 환상이 아닌 필수 요구 사항으로 자리 잡았습니다. 이 방대한 데이터를 처리하기 위해 현대의 AP들은 무거운 압축 표준인 H.265 즉 HEVC 코덱을 하드웨...

성능 최적화 프로젝트를 진행하던 중 프론트엔드 팀이 Lighthouse 점수가 도무지 95점을 넘지 못한다는 의견을 제기했습니다. 네트워크 워터폴 차트를 상세히 분석하자 CSS와 자바스크립트 파일의 다운로드 자체는 빠른데 연결을 시작하는 초기 단계 즉 TLS Negot...

사내 인프라의 도메인 레코드를 정비하는 작업 중에 특정 서비스 도메인의 TTL(Time To Live) 값이 5초로 설정된 것을 발견했습니다. 아무도 기억하지 못하는 과거 긴급 배포 시절의 설정이 그대로 남아있었던 것입니다. 처음에는 단순히 나쁜 설정이라고만 여겼으나 ...

데이터 파이프라인 팀에서 새로 합류한 동료가 CPU 코어가 64개나 되는 막강한 서버에서 파이썬 멀티스레딩 코드를 돌렸는데 단일 코어로 실행할 때와 처리 속도가 거의 동일하다는 황당한 성능 결과를 가져왔습니다. 서버의 CPU 점유율 대시보드를 보면 단 1~2개의 코어만...

현대의 모바일 카메라는 기본적으로 노출이 다른 여러 장의 사진을 찰나의 순간에 캡처하여 하나의 완벽한 이미지로 합성해내는 컴퓨테이셔널 포토그래피 즉 HDR(High Dynamic Range) 알고리즘에 전적으로 의존하고 있습니다. 최근 저희 시스템 랩에서는 차세대 센서...

고가용성 분산 스토리지 클러스터의 성능을 모니터링하던 중 ZFS(Zettabyte File System) 기반 노드들이 특정 시간대에 디스크 I/O 지연이 급격하게 늘어나는 패턴을 발견했습니다. 단순히 디스크 자체의 IOPS 한계에 도달한 것이 아니었습니다. ARC(A...

수백만 명이 동시에 사용하는 실시간 게임 서버의 네트워크 레이어를 점검하던 중 매우 기이한 CPU 불균형 현상을 목격했습니다. 멀티코어 서버임에도 불구하고 모든 코어가 균일하게 바쁜 것이 아니라 오직 CPU 0번 코어 한 개만 100% 풀로드 상태이고 나머지 코어들은 ...

인터넷 트래픽 피크 타임에 서비스 전면 장애가 발생했습니다. 사용자 요청 수는 평소와 다름없이 정상적이었으나 특정 서버 군에서 신규 TCP 연결 수립이 아예 불가능해지는 현상이 발생한 것입니다. 서버 콘솔에 접속해서 ss -s 명령어로 소켓 상태를 들여다보았을 때 눈에...

광학식 손떨림 방지 즉 OIS(Optical Image Stabilization) 기술은 저조도 환경에서 셔터 스피드를 최대한 확보해 노이즈를 억제하는 가장 물리적이고 강력한 수단입니다. 하지만 렌즈를 전자기력 구동계 위에서 아주 미세하게 띄워놓고 손의 흔들림을 상쇄하...

순간을 놓치지 않기 위한 짐벌 촬영이나 스포츠 고속 연사 모드는 초당 수십 장의 거대한 이미지를 메모리에서 파일 시스템으로 거침없이 쏟아붓는 가장 가혹한 스트레스 조건입니다. 저희 애플리케이션 사용자 포럼에서 가장 많이 제기된 아킬레스건은 고해상도로 세팅 후 3초 이상...

최근 모바일 디바이스의 카메라 트렌드는 단연 듀얼 이상의 멀티 렌즈 어레이 솔루션입니다. 와이드와 망원 혹은 컬러와 모노크롬 센서를 결합해 하나의 심도 깊은 이미지를 얻어내기 위해서는 두 렌즈의 광학적 시차를 일치시키는 캘리브레이션 과정이 필수적인데 이 두 센서의 동기...

위상차 자동 초점 방식은 스마트폰부터 전문가용 미러리스 라인업까지 널리 사용되는 빠르고 정확한 포커싱 기술이지만 소프트웨어로 이를 뒷받침하는 과정은 지독하게 험난합니다. 이번 개발 프로젝트에서는 특정 기종에서 카메라 애플리케이션을 구동할 때 포커스 링이 자리를 잡지 못...

산업용 리눅스 환경에서 다중 카메라 시스템을 구축하는 엔지니어라면 거의 필연적으로 Video4Linux2 일명 V4L2 드라이버 스택과 마주하게 됩니다. 최근 저희 팀은 무인 자율주행 차량의 사이드 비전을 담당하는 카메라 센서 4개를 동시에 구동하는 과정에서 불규칙하지...

전문 포토그래퍼를 위한 고해상도 이미지 일괄 처리 서버를 개발하는 도중 클라우드 인프라 파트에서 알람이 빈번하게 울리는 사태가 발생했습니다. GPU 자원을 활용해 RAW 형식의 이미지 데이터들을 DNG 포맷으로 컨버팅하는 병렬 배치 프로세서가 주기적으로 OOM(Out ...

광학 시스템을 다루는 엔지니어라면 움직이는 피사체를 촬영할 때 젤리처럼 늘어지는 형태의 왜곡을 경험한 적이 있을 것입니다. 전형적인 CMOS 이미지 센서의 구조적 한계에서 기인하는 이 현상은 롤링 셔터 이펙트로 불립니다. 최근 머신러닝 기반의 자동 객체 인식 카메라 모...

최근 차세대 모바일 단말기의 카메라 모듈 성능을 검증하는 과정에서 매우 까다로운 메모리 병목 현상에 직면했습니다. 문제의 핵심은 4K 해상도 비디오 레코딩을 60프레임으로 지속할 때 발생하는 간헐적인 프레임 드랍이었습니다. 초기 증상은 시스템 하드웨어의 열 스로틀링이나...