Linkedin Databus Introduce - Home
Linkedin Databus Wiki Home 을 발번역 하였습니다.
언제나 그렇듯, 원문을 참고하세요. Linkedin Databus Wiki
번역이라기 보단 영어를 잘못하기 떄문에, 읽으면서 적은 내용 입니다.
개요
Databus 는 링크드인의 데이터 처리 파이프라인의 일부로 낮은 지연 변화 캡쳐 시스템이다.
다음같은 기능을 제공한다.
- 소스와 소비자 사이를 격리시킨다.
- 순서와 최소 한번 전송과 고가용성을 보장한다.
- 전체 데이터와 임의 시점의 데이터 모두 소비한다.
- 분할 소비
- 소스 일관성 유지
구성
중요 구성은 다음과 같다.
Databus Relays
- Databus 소스로 부터 소스 데이터베이스의 변경된 rows 를 읽어와, 메모리 버퍼에 Databus의 데이터 변경 이벤트로 직렬화 한다. ( Avro 이용 )
- Databus Client 로부터 요청을 듣고, 새로운 Databus 데이터 변화 이벤트로 변환한다.
- 더 자세한 내용 -> Databus 2.0 Relay
Databus Clients
- Relay 에서 새로운 데이터 변경 이벤트를 체크하고 명시적인 콜백 비즈니스 로직을 실행한다.
- 만약 relay 에서 부터 너무 멀리 떨어질 경우, 부트스트랩 서버의 격차해소(catchup) 쿼리를 실행한다.
- 새로운 Databus Client 는 부트스트랩 서버의 부트스트랩 쿼리를 수행하고, 최신 데이터 변경 이벤트를 위해 Relay 를 변경한다.
- 하나의 클라이언트는 전체 데이터 버스 스트림을 처리 할 수도 있고, 클러스터의 일부만 소비할 수도 있다.
- 더 자세한 내용 -> Databus 2.0 Client
Databus Bootstrap Producers
- 특별한 종류의 Databus Client
- Relay 에서 새로운 데이터 변경 이벤트를 체크한다.
- Mysql 에 이벤트를 저장한다.
- Mysql은 Client 가 Bootstrap 과 격차해소(catchup)를 하기 위해 사용된다.
Databus Bootstrap Servers
- Databus Client 로 부터의 요청(request)을 듣고, 시작(bootstrapping) 과 격차해소(catchup)을 위해 긴 look-back 데이터 변환 이벤트를 반환한다.
Newest Posts
- [정리] 정보이론: 정보량 (Information), 엔트로피 ( Entropy ), 쿨백 라이블러 발산 (KL-Divergence), 크로스 엔트로피 ( Cross - Entropy ), maximum likelihood
- [발번역] Bag of words (BoW) - Natural Language processing
- Installing Anaconda and Jupyter notebook
- 다시 보는 Java : FileChannel transferTo()
- 다시 보는 Java : NIO Channel
- 다시 보는 Java : Socket-Direct-Protocol
- 다시 보는 Java
- Streamsets DataCollector Source Build
- Apache Helix Core Concepts
- Introduce Flipkart Aesop
Tag Cloud
4.0 (1)
Aesop (1)
Apache (2)
BIGDATA (1)
Bag of Words (1)
BoW (1)
CDC (7)
Centos (1)
Channel (1)
DOC (1)
DataCollector (1)
Database (1)
Databus (6)
Distributed (1)
Elevation (1)
FAQ (1)
FileChannel transferTo (1)
Head First (3)
Hive (1)
Import (1)
Information (1)
JDBC (1)
JNI (2)
JS (1)
Java (10)
JavaScript (2)
KL Divergence (1)
Kafka (4)
Lambda (1)
Lambda Architecture (1)
LinkedIn (6)
Linux (2)
MQ (1)
Monitoring (1)
NG (3)
NIO (2)
NIO Channel (1)
Network (1)
Nimbus (1)
Open API (2)
Open Source (6)
Python (1)
QueryElevationComponent (1)
Raspberry Pi (1)
Real Time (1)
SDP (1)
Score (1)
Sockets Direct Protocol (1)
Statistics (3)
Storm (4)
Storm master woker (1)
Streamsets (1)
Streamsets DataCollector (1)
Struts (2)
Summary (3)
TIP (1)
Tutorial (1)
WORKER (1)
Wiki (3)
XAuth (1)
XQuery (1)
anaconda (1)
android.mk (1)
apache Helix (1)
apache flume (3)
apache kafka (2)
apache spark (2)
architecture (1)
autocomplete (1)
backup (2)
blkid (1)
build (1)
builder (3)
cassandra (3)
cassandra h/w (1)
cassandra hardware (1)
cassandra remote client (1)
cassandra troubleshooting (1)
cassandra warning (1)
cloud (1)
collaborative filtering (1)
cross entropy (1)
data import (1)
databus (1)
db indexing (1)
dead letter exchange (1)
distributed search (2)
dlx (1)
docker (1)
entropy (1)
fdisk (1)
flipkart (1)
flipkart Aesop (1)
flume (3)
flume ng (3)
fq (1)
framework (5)
fstab (1)
function (1)
function query (2)
gradle (3)
hadoop (5)
hadoop + solr (1)
hadoop integration solr (1)
hadoop+solr (1)
hashing trick (1)
head first statistics (3)
hive begins (1)
hive tutorial (1)
hive 소개 (1)
iBATIS (3)
index (3)
index backup (1)
index replication (1)
indexing (4)
integration (2)
introduce (1)
java (7)
java Troubleshooting (1)
java monitoring (1)
javascript object (1)
javascript 접근자 (1)
jupyter (1)
kafka document (1)
kafka introduction (1)
katta (3)
katta hadoop (1)
katta install (1)
koreanAnalyzer (1)
koreanAnalyzer 4.0 (1)
load test (1)
look again (4)
lucene (5)
lucene + hadoop (1)
lucene 4.0 (1)
lucene 4.0 한글 analyzer (1)
lucene 4.1 (1)
machine learning (1)
master (1)
maximum liklihood (1)
memcached (1)
memory (1)
mount (1)
multi mechanize (1)
multiindex (1)
oauth (1)
opensource (14)
oracle (1)
predictionIO (1)
rabbitmq (1)
recommendation system (1)
replication (1)
search (1)
server load (1)
shard (1)
shark shell (1)
similarity algorithm (1)
slideshare (1)
sola admin (1)
solr (21)
solr + hadoop (4)
solr 4.0 (3)
solr 4.1 (1)
solr backup (1)
solr cloud (1)
solr distributed (1)
solr index backup (1)
solr indexing (1)
solr shard (1)
solr tip (1)
solr wiki (2)
solr 한글 analyzer (1)
solr4.0 (1)
solrcloud (2)
solrcolud (1)
sort (4)
sortMissingFirst (1)
sortMissingLast (1)
spark (2)
spark cluster (1)
spout (1)
storm master node (1)
storm spout (1)
storm wokrer node (1)
storm 구성 (2)
storm 마스터 노드 (1)
storm 워커 노드 (1)
storm 정의 (2)
storm kafka (2)
suggeest (1)
suggester (1)
supervisor (1)
tf idf (1)
tomcat (2)
tomcat configuration (1)
tomcat tuning (1)
tomcat7 (2)
tools (10)
transferTo (1)
troubleshooting (2)
tuning (1)
tutorial (1)
ubuntu10.04 (1)
ubuntu10.04 network (1)
vert.x (1)
xdk (1)
검색 점수 (1)
계획 (1)
낙서 (1)
당신 인생 한 모퉁이에 나를 (1)
도커 (1)
도커 소개 (1)
람다 (1)
람다 아키텍처 (1)
루씬 (1)
마스터 노드 (1)
발 번역 (4)
번역 (2)
복제 (1)
부하 (1)
분석 (5)
세계문학전집 (1)
스트럿츠 (2)
쏠라 (1)
아이바티스 (3)
아파치 카프카 (1)
아파치 플럼 (2)
에쿠니 가오리 (2)
올리기 (1)
워커 노드 (1)
유사도 알고리즘 (1)
일기 (1)
젊은 베르테르의 슬픔 (1)
제비꽃 설탕절임 (1)
추천시스템 (1)
카산드라 (2)
카산드라 문제 (1)
카산드라 설치 문제 (1)
카산드라 워닝 (1)
카산드라 원격접속 (1)
카산드라 해결 (1)
카타 (2)
카타 설치 (1)
카프카 (1)
태그를 입력해 주세요. (1)
통계 (3)
통계학 (3)
특정 문서 (1)
플럼 (2)
플럼 ng (2)
하둡 (1)
하드웨어 (1)
한 글자 오류 (1)
한 글자 형태소 분석 (1)
한글자 오류 (1)
한글자 형태소 분석 (1)
헤드 퍼스트 (3)
헤드 퍼스트 통계학 (3)
협업 필터링 (1)