naver cloud 사용해보기_7
14.하둡 생성하기
1.하둡에서 사용할 object 스토리지 생성하기 -> AWS S3
=> 이용 신청
+
=> 버킷 생성
=> 기본 설정으로 생성 완료
2.하둡 생성 cloud hadoop
=> 클러스터 생성
-클러스터란?
각기 다른 서버들을 하나로 묶어서 하나의 시스템같이 동작하게 함으로써 클라이언트들에게 고가용성의 서비스를 제공하는 것을 말한다. 클러스터로 묶인 한 시스템에 장애가 발생하면, 정보의 제공 포인트는 클러스터로 묶인 다른 정상적인 서버로 이동한다. 서버클러스터는 사용자가 서버 기반 정보를 지속적이고 끊기지 않게 제공받을 수 있게 한다.
=> 즉 고가용성 / 안정성 / 확장성을 제공할 수 있는 시스템이라고 할 수 있음
=> 생성
=> 노드 설정
=> 생성 (생각보다 시간이 오래 걸림 20-30분)
=> 비용이 생각보다 많이 나오므로, 사용하지 않으면 즉각 제거해주는게 좋음
15.redis 생성
- redis란?
(데이터의 종류 -> 정형 / 반정형 / 비정형
비정형 => 구조가 정의되지 않은 데이터로 동영상, 오디오, 사진 등등 주로 미디어 데이터들이 포함되는 종류임)
Key, Value 구조의 비정형 데이터를 저장하고 관리하기 위한 오픈 소스 기반의 비관계형 데이터 베이스 관리 시스템 (DBMS)
데이터베이스, 캐시, 메세지 브로커로 사용되며 인메모리 데이터 구조를 가진 저장소이다
데이터 베이스는 데이터를 물리 디스크에 직접 쓰기 때문에 서버에 문제가 발생하여 다운되더라도 데이터가 손실되지 않음 = > 하지만 매번 디스크에 접근해야 하기 때문에 사용자가 많아질수록 부하가 많아져서 느려질 수 있음
일반적으로 서비스 운영 초반이거나 규모가 작은, 사용자가 많지 않은 서비스의 경우에는 WEB - WAS - DB 의 구조로도 데이터 베이스에 무리가 가지 않지만, 사용자가 늘어난다면 데이터 베이스가 과부하 될 수 있기 때문에 이때 캐시 서버를 도입하여 사용함= > 이 캐시 서버로 이용할 수 있는 것이 바로 Redis이다
캐시는 한번 읽어온 데이터를 임의의 공간에 저장하여 다음에 읽을 때는 빠르게 결과값을 받을 수 있도록 도와주는 공간이므로 같은 요청이 여러 번 들어오는 경우 매번 데이터 베이스를 거치는 것이 아니라 캐시 서버에서 첫 번째 요청 이후 저장된 결과값을 바로 내려주기 때문에 DB의 부하를 줄이고 / 서비스의 속도도 느려지지 않는 장점이 있음
1.redis 생성 =>
=> 기본적으로 private 서브넷에서 생성이 가능하기 때문에, private 서브넷이 있어야함
=> config group도 있어야 생성이 가능함
=> 생성해주고 redis 마저 생성
=> 물론 config 그룹의 버전과 redis의 버전이 같아아 생성이 가능함 => 만들면서 알았음 ㅎ
=> 생성시 기본적으로 ACG가 생성되지만 자기자신만 접근 가능하게 되어있기 때문에, ACG를 변경해줘야함
=> hadoop과 마찬가지로 생성시간이 좀 걸리는 편임
https://guide.ncloud-docs.com/docs/clouddbforredis-start
Cloud DB for Redis 시작
guide.ncloud-docs.com
=> redis 서버에 접속하려면 서버에 redis client를 설치해야함
=> 참고하고 있던 블로그도 버전이 달라서 다운이 안됐음 => 해당 사이트를 참조해서 다운받으면 문제없이 다운이 가능함
2.redis 접속설정(원래 서버에 client 설치)
//6.2.6 버전 기준
[root@redis-web ~]# wget https://download.redis.io/releases/redis-6.2.6.tar.gz
[root@redis-web ~]# tar xvfz redis-6.2.6.tar.gz
[root@redis-web ~]# cd redis-6.2.6
[root@redis-web redis-6.2.6]# make=> 파일을 받아서 / 압축을 푼 다음 / 파일들이 들어있는 디렉터리로 들어가서 => make
[root@redis-web redis-6.2.6]# cd src
[root@redis-web src]# ./redis-cli -h [DNS명] -p [Redis 접속포트]=> src 디렉터리로 들어가 => 접속을 해줌
=> redis 설정 => DNS 확인이 가능함
redis로 접속할 서버의 acg를 redis acg에 추가해줌(나중에 서버가 추가되더라도 추가적으로 acg를 하나하나 건들지 않고 이렇게 접속하는 서버의 acg를 추가해주면 문제가 없음)
=> 내 ip만 넣어줬다가 안되서 찾아봤음
3.redis 접속확인
성공적으로 접속한 것을 볼 수 있음