StreamSets란?데이터 흐름을 관리할 수 있으며 Data drift에 유연하게 대처가능한 솔루션 StreamSets 활용 및 장점 요약글로벌 社에서 StreamSets을 Data Lakes, Big Data/Hadoop Ingestion, Event Streaming, IoT/edge device integration 등 용도로
https://streamsets.com/blog/five-ways-scale-kafka-streamsets/ 1.Vertical Scaling – Deploy a Bigger Box가장 간단한 방법으로 여러개의 컨슈머 스레드를 생성하는 방법컨슈머 스레드를 병렬로 실행하게 됨서버가 죽으면 당연히 데이터 flow 또한 죽게됨. 카프카 관련지식으로 스레드는 카
StreamSet 과거 라이브러리 추가하기Origin, Destination의 과거버전 지원하도록 라이브러리 추가 상황카프카 0.8버전을 사용해야 하는데 스트림셋에서는 0.10 부터 지원하는 상황이었다. 찾아보니 해결방법은 있다. 해결방법1234567891011121314151617181920212223242526272829https://archives.s
카프카 설치법12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152# yum install java-1.8.0-openjdk.x86_64# vi /etc/profile profile 파일 안에 아래의 내용을 추가export JAVA_HOME=
StreamSet 설치스트림셋오픈소스 데이터 콜렉터 : ETL 도구라함 (추출, 변환, 적재)동일기종 또는 타기종으로 부터 추출하고, 이를 변환하고 적재하는 과정을 의미NIFI / KNIME도 유명하다 12345678910111213141516171819202122232425262728293031323334353637383940# wget http