Category: CS
StreamSets 이란
StreamSets란?데이터 흐름을 관리할 수 있으며 Data drift에 유연하게 대처가능한 솔루션 StreamSets 활용 및 장점 요약글로벌 社에서 StreamSets을 Data Lakes, Big Data/Hadoop Ingestion, Event Streaming, IoT/edge device integration 등 용도로
StreamSets Data Collector의 클러스터링 방법
https://streamsets.com/blog/five-ways-scale-kafka-streamsets/ 1.Vertical Scaling – Deploy a Bigger Box가장 간단한 방법으로 여러개의 컨슈머 스레드를 생성하는 방법컨슈머 스레드를 병렬로 실행하게 됨서버가 죽으면 당연히 데이터 flow 또한 죽게됨. 카프카 관련지식으로 스레드는 카
StreamSets 과거 라이브러리 추가하기
StreamSet 과거 라이브러리 추가하기Origin, Destination의 과거버전 지원하도록 라이브러리 추가 상황카프카 0.8버전을 사용해야 하는데 스트림셋에서는 0.10 부터 지원하는 상황이었다. 찾아보니 해결방법은 있다. 해결방법1234567891011121314151617181920212223242526272829https://archives.s
Aggregation vs Composition
다양한 책에서 볼 수 있는 Aggregation, Composition.같은듯 다른 두개의 차이를 공부해봤다. Composition123456789101112public class Car { //final will make sure engine is initialized private final Engine engine; pub
Centos에서 kafka 설치 및 테스트
카프카 설치법12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152# yum install java-1.8.0-openjdk.x86_64# vi /etc/profile profile 파일 안에 아래의 내용을 추가export JAVA_HOME=
Centos에서 Streamset 설치하기
StreamSet 설치스트림셋오픈소스 데이터 콜렉터 : ETL 도구라함 (추출, 변환, 적재)동일기종 또는 타기종으로 부터 추출하고, 이를 변환하고 적재하는 과정을 의미NIFI / KNIME도 유명하다 12345678910111213141516171819202122232425262728293031323334353637383940# wget http
2.TCP/IP와의 만남
오늘날 가장 많이 사용되는 프로토콜은 TCP/IP 이다.(인터넷 때문..)Transmission Control Protocol/Internet Protocol의 약자로서 ARPANET에 의해 처음 개발되었다. 각각의 네트워크에 접속되는 호스트는 다른 네트워크에 연결되어 있는 호스트까지도 서로 데이터를 주고받을 수 있다. 이 때 사용하는 호