Thingsboard 오픈소스 IoT 플랫폼으로서 데이터 수집, 처리, 시각화, 디바이스 관리 기능 등을 제공 클라우드, on-premise 환경에서 손쉬운 설치를 제공하며 데이터 유실이 없음 (한 노드가 죽었을 때 downtime 없이 대체 가능) Multi-tenancy 구조 Downtime 없는 Scale Out 가능 SQL / NoSQL &
에러 처리는 Stage(Origin, Processor, Destination, Executor) 관점, 파이프라인 관점에서 처리방법이 존재 Stage(Origin, Processor, Destination, Executor) 관점Discard , Send to Error, Stop Pipeline 파이프라인 관점Discard, Send Response
StreamSets란?데이터 흐름을 관리할 수 있으며 Data drift에 유연하게 대처가능한 솔루션 StreamSets 활용 및 장점 요약글로벌 社에서 StreamSets을 Data Lakes, Big Data/Hadoop Ingestion, Event Streaming, IoT/edge device integration 등 용도로
https://streamsets.com/blog/five-ways-scale-kafka-streamsets/ 1.Vertical Scaling – Deploy a Bigger Box가장 간단한 방법으로 여러개의 컨슈머 스레드를 생성하는 방법컨슈머 스레드를 병렬로 실행하게 됨서버가 죽으면 당연히 데이터 flow 또한 죽게됨. 카프카 관련지식으로 스레드는 카
StreamSet 과거 라이브러리 추가하기Origin, Destination의 과거버전 지원하도록 라이브러리 추가 상황카프카 0.8버전을 사용해야 하는데 스트림셋에서는 0.10 부터 지원하는 상황이었다. 찾아보니 해결방법은 있다. 해결방법1234567891011121314151617181920212223242526272829https://archives.s
다양한 책에서 볼 수 있는 Aggregation, Composition.같은듯 다른 두개의 차이를 공부해봤다. Composition123456789101112public class Car { //final will make sure engine is initialized private final Engine engine; pub
카프카 설치법12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152# yum install java-1.8.0-openjdk.x86_64# vi /etc/profile profile 파일 안에 아래의 내용을 추가export JAVA_HOME=
StreamSet 설치스트림셋오픈소스 데이터 콜렉터 : ETL 도구라함 (추출, 변환, 적재)동일기종 또는 타기종으로 부터 추출하고, 이를 변환하고 적재하는 과정을 의미NIFI / KNIME도 유명하다 12345678910111213141516171819202122232425262728293031323334353637383940# wget http