Local Analytics Doesn’t Need a Database Server
DuckDB와 SQLRooms를 활용하여 서버 없이 로컬에서 대규모 데이터를 분석하는 방법이 공개되었습니다.
데이터 엔지니어링·분석 기술 블로그 글 모음
데이터 엔지니어링·분석 주제의 기술 블로그 글 208편. 데이터 파이프라인, 웨어하우스, 지표·A/B 테스트, 추천.
최근 글
Velox at Uber: Rebuilding Presto's® Execution Engine for Speed and Scale
Uber가 Presto의 실행 엔진을 Velox로 재구축하여 쿼리 성능과 비용 효율성을 크게 개선했습니다.
Opening the datasets behind our AI weather models
Google DeepMind가 AI 기상 모델 WeatherNext 3의 핵심 데이터셋인 SatWeave와 PARDIG를 공개했습니다.
출처: Google DeepMind · · 원문 보기
캠페인 메타엔진 — 무진장 많은 콘텐츠를 하나의 캠페인 구조로 통합하다
무신사가 파편화된 콘텐츠를 통합 관리하는 캠페인 메타엔진을 구축했습니다.
TASTE, 토스의 추천 파운데이션 플랫폼
토스가 추천 파운데이션 플랫폼 TASTE를 구축하여 서비스 전반의 사용자 타기팅과 임베딩 기반 추론 성과를 개선했습니다.
뱅크샐러드 데이터 기반 카드 추천⋯평균 105만원 혜택 받는다
뱅크샐러드가 마이데이터 기반 카드 추천 서비스를 이용한 고객들이 평균 105만 원의 혜택을 받았다고 밝혔습니다.
The Data Product Platform Navigator
데이터 메시와 데이터 제품을 위한 플랫폼 성숙도 모델과 내비게이터를 제시합니다.
출처: Martin Fowler · · 원문 보기
F3 Lightning: How Meta Accelerates Ads ML Features to Production at Scale
메타가 광고 머신러닝 피처 배포를 3.6배 가속화한 F3 Lightning을 공개했습니다.
출처: Meta Engineering · · 원문 보기
Bringing Local Analytics to the Quant's Desktop
금융 데이터 전문가 Ryan Hamilton이 DuckDB를 활용해 퀀트용 로컬 분석 환경을 혁신했습니다.
Announcing Project ProtoStar: Making Publicly Funded Science AI-Ready
허깅페이스가 공공 연구 성과를 인공지능용으로 공유하는 프로젝트 프로토스타를 발표했습니다.
출처: Hugging Face · · 원문 보기
From Spreadsheets to DuckLake: A Data Engineer's Road to DuckDB
데이터 엔지니어 맷 마틴이 복잡한 인프라 대신 DuckDB와 DuckLake를 도입한 과정을 소개합니다.
Freight Search: Composing a Shared Search Index from Independently Owned Fragments
Uber Freight가 40개 이상의 마이크로서비스 데이터를 통합 검색하기 위한 프래그먼트 기반 플랫폼 구축 사례를 공유했습니다.
Gems of DuckDB 2.0.0
DuckDB가 2.0.0 버전을 출시하며 파이썬 어펜더와 CLI 개선 등 다양한 세부 기능을 공개했습니다.
Gems of DuckDB 2.0.0
DuckDB 2.0.0 LTS 출시와 함께 개발 편의성을 높이는 다양한 세부 기능들이 추가되었습니다.
Ensemble forecasting with IBM Granite time-series models
IBM이 서로 다른 아키텍처를 결합해 단일 모델 선택의 고민을 줄이는 시계열 앙상블을 공개했다.
출처: Hugging Face · · 원문 보기
NVIDIA Kumo Forecast Combines Pretrained Time-Series Representations with Historical Pattern Retrieval and Interpretability
NVIDIA가 사전 학습 모델과 이력 데이터 검색을 결합한 시계열 예측 모델 Kumo Forecast를 공개했다.
출처: Hugging Face · · 원문 보기
Cross-store product clustering across millions of stores
Shopify가 수백만 개 상점의 상품 목록을 통합하는 교차 상점 클러스터링 시스템을 구축했다.
출처: Shopify Engineering · · 원문 보기
GenRecs Tokenization: Transforming Ads Recommendation at Meta with Stable Model Vocabulary
메타가 광고 추천 시스템에 대규모 언어 모델 기반의 의미론적 토큰화를 도입해 전환율을 높였다.
출처: Meta Engineering · · 원문 보기
실행은 도메인별로, 문맥은 한 레포에
토스가 중앙 집중형 DW 파이프라인을 도메인별 Airflow와 dbt 기반 선언적 구조로 이전했다.
From JSON Strings to Typed Columns
DuckDB에서 JSON 문자열 컬럼을 SQL만으로 분석하고 타입이 지정된 컬럼으로 변환하는 방법을 소개한다.
DataJunction as Netflix’s answer to the missing piece of the modern data stack
넷플릭스가 지표 정의 파편화 문제를 해결하기 위해 오픈소스 세만틱 레이어 DataJunction을 도입했다.
출처: Netflix TechBlog · · 원문 보기
Measuring the Impact of Personalized Recommendations
넷플릭스가 개인화 추천의 인과적 효과를 측정하기 위한 행동 모델과 실험 검증 방식을 공개했습니다.
출처: Netflix TechBlog · · 원문 보기
Running Apache Spark experiments in my sleep (and on a plane)
넷플릭스가 병렬 실험 환경과 AI 에이전트를 활용해 대규모 스파크 파이프라인의 메모리 병목을 해결했다.
출처: Netflix TechBlog · · 원문 보기
Putting Earth AI to work: Geospatial agents for our planet's biggest challenges
구글 리서치가 복잡한 지리공간 분석을 수행하는 지리공간 추론 에이전트를 공개했다.
출처: Google Research · · 원문 보기
Rewinding the exponential: How we keep hardware usage down
Cloudflare가 기하격수적인 트래픽 증가에 대응해 데이터 파이프라인의 하드웨어 효율을 높인 사례를 공개했다.
출처: Cloudflare Engineering · · 원문 보기
디자이너의 아이디어가 금융상품이 되기까지
토스뱅크 디자이너들이 게임 요소를 접목해 키워봐요 31일 적금을 출시했다.
GrabMart data for faster disease outbreak detection
Grab이 GrabMart 거래 데이터를 분석해 질병 발생을 조기에 감지하는 기술적 개념을 제안했다.
Flex Model: an event-driven feature engineering system
제인 스트리트가 이벤트 기반 피처 엔지니어링 시스템인 Flex Model의 설계와 최적화 과정을 공개했습니다.
출처: Jane Street · · 원문 보기
What Is Inside an Iceberg Table?
DuckDB를 사용하여 Apache Iceberg 테이블의 내부 계층 구조를 SQL로 탐색하는 방법을 설명한다.
Python의 GC가 멀티프로세싱과 만나면 생기는 일 - Python과 Airflow, 그리고 관련된 문제 해결기 2편
네이버 웹툰이 Python GC와 fork의 충돌로 인한 Airflow 메모리 비대 문제를 해결했다.
이 주제를 다룬 매체
- DuckDB (28편)
- Uber (49편)
- Google DeepMind (96편)
- 무신사 (62편)
- 토스 (122편)
- 뱅크샐러드 (21편)
- Martin Fowler (15편)
- Meta Engineering (32편)
- Hugging Face (288편)
- Shopify Engineering (19편)
- Netflix TechBlog (28편)
- Google Research (27편)
- Cloudflare Engineering (13편)
- Grab Tech (15편)
- Jane Street (11편)
- 네이버 (104편)
백엔드·데이터 관련 주제
- 백엔드 설계·MSA (435편)
- 메시징·스트리밍 (58편)
- 데이터베이스·캐시 (170편)