Amazon MSK Express Broker에서 Kafka 트랜잭션 워크로드를 최적화하는 방법
Amazon MSK Express 브로커에서 Kafka 트랜잭션 워크로드 성능을 최적화하는 방법을 다룹니다.
메시징·스트리밍 기술 블로그 글 모음
메시징·스트리밍 주제의 기술 블로그 글 58편. Kafka, 이벤트 기반 처리, CDC, 스트림 처리.
최근 글
Behind the Scenes: Evolving Netflix’s Ads Event Pipeline for Live — Part II
넷플릭스가 라이브 스트리밍 광고 처리를 위해 Flink 기반 실시간 스트리밍 조인으로 광고 파이프라인을 전면 개편했다.
출처: Netflix TechBlog · · 원문 보기
Shipping Media Over QUIC at Meta Scale for Instagram Live Ingest
Meta가 인스타그램 라이브 송출에 차세대 표준 프로토콜인 MoQ를 도입했다.
출처: Meta Engineering · · 원문 보기
Scaling and benchmarking a critical message bus using a new indexing strategy
제인 스트리트가 메시지 버스 아리아의 인덱싱과 트리 분할을 개선해 CPU 사용량을 30% 줄였습니다.
출처: Jane Street · · 원문 보기
Partition Finalization in Pinterest’s Next-Generation DB Ingestion Framework
Pinterest가 스트리밍 테이블에 안전한 읽기 시점을 표시하는 워터마크를 추가했다.
출처: Pinterest Engineering · · 원문 보기
The guest journey, updated in real time: extending Airbnb’s sequence recommender with Chronon
Airbnb가 Chronon 스트리밍 추론으로 게스트 검색 임베딩을 실시간에 가깝게 갱신한다.
출처: Airbnb Engineering · · 원문 보기
때로는 오버엔지니어링이 필요합니다
올리브영이 레거시 문자 발송을 유지한 채 CDC와 Kafka로 뒷단을 단계적으로 교체했다.
고객의 취소할 권리를 보장하다
올리브영이 물류 유형별 취소 마감 시점을 늦추고 외부 장애에도 취소를 완료하게 했다.
Kafka Streams를 k8s로 옮기며 얻은 스케일링 설계: 비용 80% 절감까지
데브시스터즈가 로그 처리 파이프라인을 쿠버네티스로 이전하며 비용을 80% 절감했습니다.
Real-Time Intelligence with IBM Time Series Models on Confluent
IBM과 Confluent가 Granite 시계열 모델을 Flink 스트림에서 호출하는 얼리 액세스를 시작했다.
출처: Hugging Face · · 원문 보기
Rerouting the Stream: How Lyft Moved to the Apache Flink Operator
Lyft가 자체 Flink 오퍼레이터를 Apache 오퍼레이터로 옮겨 스트리밍 운영을 개선했다.
출처: Lyft Engineering · · 원문 보기
A Tale of Two Flink Autoscalers
Netflix가 자체 Flink 오토스케일러를 Apache Flink 기반으로 단계적으로 통합하고 있다.
출처: Netflix TechBlog · · 원문 보기
사람은 떠났는데 권한은 남았다
flex는 도메인 관계 변경을 Kafka로 인가 엔진에 전파하고, 지연과 부분 실패를 추적한다.
From Homegrown to Flink: Migrating a Stateful Ad Event Join at Scale
잘란도 광고 플랫폼 팀이 사내 자바 스트림 조인 시스템을 아파치 플링크로 마이그레이션했습니다.
출처: Zalando Engineering · · 원문 보기
순서대로, 한 번만, 빠르게
AB180이 Kafka 이벤트 순서를 유지하면서 처리량을 10배 이상 높인 Differential을 만들었다.
더 빠르게, 그리고 무너지지 않게 — 전시 아키텍처 개선기 (1/3)
여기어때 전시 상품 API는 Redis 의존을 낮추고 캐시 장애 때 MongoDB까지 단계적으로 조회한다.
초당 100만 건, LINE 앱에 Apache Kafka 종단 간 암호화 적용기
LINE이 최대 초당 100만 건 Kafka 토픽에 클라이언트 간 암호화를 무중단 적용했다.
옴니채널 재고 정합성 한계에 대응하는 인벤토리 데이터 파이프라인 구축기
올리브영이 재고 파이프라인을 분리해 기초재고 생성 시간과 조회 부하를 줄였다.
에러로그 하나에 깨던 새벽에서 벗어나기까지 — 상품 모니터링 진화기
올리브영이 DLQ 재시도와 Datadog 진단으로 상품 모니터링을 자동화했다.
Automated Schema Evolution in Pinterest’s Next-Generation DB Ingestion Framework
Pinterest가 CDC 파이프라인의 스키마 변경을 단계적으로 자동 전파한다.
출처: Pinterest Engineering · · 원문 보기
운영하지 않는 Kafka, EasyQueue를 소개합니다
NHN Cloud의 EasyQueue는 Kafka 토픽과 클라이언트 사용은 유지하면서 클러스터 운영을 맡는 관리형 서비스다.
45분 배치에서 준실시간으로! 다수 도메인 데이터를 Kafka로 통합한 전환기
올리브영은 도메인별 Kafka 이벤트와 병행 검증으로 45분 걸리던 혜택 갱신을 수 초로 줄였다.
Apache Flink + RocksDB 튜닝으로 광고 Frequency Capping 실시간 집계를 일주일까지 확장하기
토스가 Flink와 RocksDB를 튜닝해 광고 노출 횟수를 7일까지 실시간 집계한다.
여기어때 이벤트 기반 통합 알림 플랫폼 구축기 Part 2. How?
여기어때가 Kafka와 Redis, 채널별 분산 처리를 이용해 전사 알림 플랫폼 NotiHub를 구축했다.
여기어때 이벤트 기반 통합 알림 플랫폼 구축기 Part 1. Why?
여기어때가 팀 소유의 이벤트 기반 Notification Hub로 알림 정책과 전송을 한곳에서 관리했다.
Hive에서 Iceberg로: 데이터 반영 속도 12배 향상의 비밀
LINE 통합 커머스 팀이 Hive 전체 갱신을 Flink와 Iceberg 기반 증분 처리로 바꿔 반영 주기를 5분으로 줄였다.
엠넷플러스 실시간 글로벌 투표 시스템 아키텍처 개선 사례
엠넷플러스가 투표 수집과 집계를 분리해 처리 지연을 3초에서 300ms로 줄였다.
기획서 없이 내재화하기: 검증 로직으로 동일함을 증명하다
LINE이 Kafka 기반 비교 파이프라인으로 기존 시스템과 내재화 로직의 동일성을 검증했다.
올영매장은 MSA 환경에서 흩어진 도메인 데이터를 어떻게 연동했을까?
올리브영이 프로모션과 픽업 주문의 변경 특성에 맞춰 Redis·Kafka 연동을 나눴다.
“왜 노출이 안 될까?”를 한 번에 추적하는 방법
SSG닷컴이 전시 API의 요청과 내부 호출을 묶어 보는 디버깅 서비스 영원희를 만들었다.
이 주제를 다룬 매체
- AWS (321편)
- Netflix TechBlog (28편)
- Meta Engineering (32편)
- Jane Street (11편)
- Pinterest Engineering (17편)
- Airbnb Engineering (15편)
- 올리브영 (36편)
- 데브시스터즈 (10편)
- Hugging Face (288편)
- Lyft Engineering (12편)
- flex (16편)
- Zalando Engineering (11편)
- AB180 (10편)
- 여기어때 (107편)
- 라인 (85편)
- NHN클라우드 (32편)
- 토스 (122편)
- SSG.COM (11편)
백엔드·데이터 관련 주제
- 백엔드 설계·MSA (435편)
- 데이터베이스·캐시 (170편)
- 데이터 엔지니어링·분석 (208편)