CS오픈소스,기술

StreamSets 과거 라이브러리 추가하기

StreamSet 과거 라이브러리 추가하기

Origin, Destination의 과거버전 지원하도록 라이브러리 추가

상황

카프카 0.8버전을 사용해야 하는데 스트림셋에서는 0.10 부터 지원하는 상황이었다.

찾아보니 해결방법은 있다.

해결방법

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
https://archives.streamsets.com/index.html 에 접속하여 LegacyLibs를 검색 후 자신의 스트림셋에 맞는 것을 찾아 들어가자
그 후 자신이 받을 라이브러리의 링크복사.


# wget https://archives.streamsets.com/datacollector/3.12.0/legacy/streamsets-datacollector-apache-kafka_0_8_2-lib-3.12.0.tgz
스트림셋 경로 혹은 추가 라이브러리를 저장할 디렉토리에 들어간 후 wget 명령어를 통해 해당 파일을 다운받고

# tar -xvzf streamsets-datacollector-apache-kafka_0_8_2-lib-3.12.0.tgz
해당 라이브러리가 저장된 디렉토리를 복사


# cd streamsets-datacollector-3.11.0/libexec
스트림셋이 설치된 디렉토리 내 libexec디렉토리

# vi sdc-env.sh
맨아래 다음을 추가
export USER_LIBRARIES_DIR="아까 설치한 라이브러리가 저장된 경로 복붙"

# vi $SDC_CONF/sdc-security.policy
나의경우 SDC_CONF는 /etc/sdc이다.

맨아래 다음을 추가하자 "file:/" 뒤에는 라이브러리가 설치된 경로
grant codebase "file:///home/tkdgjs1501/streamsets-datacollector-3.11.0/user-libs/-" {
  permission java.security.AllPermission;
};

스트림셋 리스타트


참고

https://streamsets.com/documentation/datacollector/3.4.2/help/datacollector/UserGuide/Installation/AddtionalStageLibs.html
https://streamsets.com/documentation/datacollector/3.4.2/help/datacollector/UserGuide/Configuration/CustomStageLibraries.html#concept_pmc_jk1_1x

Share