AWS전세계에서 가장 많이 쓰는 퍼블릭 서버IAAS로 시작함 가용성 존(AZ)가장 기본적인 단위는 Region 이다.한국의 경우 서울 하나만 있다.Region는 논리적인 단위이고 가용성 존(AZ)이 물리적인 단위이다.한 Region은 여러개의 가용성 존을 갖고 있다.가용성 존이 오늘 다룰 단위이다. AZ 하나는 CIDC(클라우드 IDC)로서 하나의 단위이다
Thingsboard 오픈소스 IoT 플랫폼으로서 데이터 수집, 처리, 시각화, 디바이스 관리 기능 등을 제공 클라우드, on-premise 환경에서 손쉬운 설치를 제공하며 데이터 유실이 없음 (한 노드가 죽었을 때 downtime 없이 대체 가능) Multi-tenancy 구조 Downtime 없는 Scale Out 가능 SQL / NoSQL &
에러 처리는 Stage(Origin, Processor, Destination, Executor) 관점, 파이프라인 관점에서 처리방법이 존재 Stage(Origin, Processor, Destination, Executor) 관점Discard , Send to Error, Stop Pipeline 파이프라인 관점Discard, Send Response
StreamSets란?데이터 흐름을 관리할 수 있으며 Data drift에 유연하게 대처가능한 솔루션 StreamSets 활용 및 장점 요약글로벌 社에서 StreamSets을 Data Lakes, Big Data/Hadoop Ingestion, Event Streaming, IoT/edge device integration 등 용도로
https://streamsets.com/blog/five-ways-scale-kafka-streamsets/ 1.Vertical Scaling – Deploy a Bigger Box가장 간단한 방법으로 여러개의 컨슈머 스레드를 생성하는 방법컨슈머 스레드를 병렬로 실행하게 됨서버가 죽으면 당연히 데이터 flow 또한 죽게됨. 카프카 관련지식으로 스레드는 카
StreamSet 과거 라이브러리 추가하기Origin, Destination의 과거버전 지원하도록 라이브러리 추가 상황카프카 0.8버전을 사용해야 하는데 스트림셋에서는 0.10 부터 지원하는 상황이었다. 찾아보니 해결방법은 있다. 해결방법1234567891011121314151617181920212223242526272829https://archives.s
StreamSet 설치스트림셋오픈소스 데이터 콜렉터 : ETL 도구라함 (추출, 변환, 적재)동일기종 또는 타기종으로 부터 추출하고, 이를 변환하고 적재하는 과정을 의미NIFI / KNIME도 유명하다 12345678910111213141516171819202122232425262728293031323334353637383940# wget http