47. 클러스터를 2배로 키우는 방법
• 첫번째 방법
1. 기존 14대 클러스터를 내린다.
2. 새로운 28대 클러스터를 띄운다.
48. 클러스터를 2배로 키우는 방법
• 첫번째 방법
1. 기존 14대 클러스터를 내린다.
2. 새로운 28대 클러스터를 띄운다.
우린 Flintrock 으로 빠르게 띄울 수 있으니까!
49. 클러스터를 2배로 키우는 방법
• 첫번째 방법
1. 기존 14대 클러스터를 내린다.
2. 새로운 28대 클러스터를 띄운다.
우린 Flintrock 으로 빠르게 띄울 수 있으니까!
50. 클러스터를 2배로 키우는 방법
• 첫번째 방법
1. 기존 14대 클러스터를 내린다.
2. 새로운 28대 클러스터를 띄운다.
우린 Flintrock 으로 빠르게 띄울 수 있으니까!
• 두번째 방법
51. 클러스터를 2배로 키우는 방법
• 첫번째 방법
1. 기존 14대 클러스터를 내린다.
2. 새로운 28대 클러스터를 띄운다.
우린 Flintrock 으로 빠르게 띄울 수 있으니까!
• 두번째 방법
1. 새로운 서버 14대를 띄운다.
52. 클러스터를 2배로 키우는 방법
• 첫번째 방법
1. 기존 14대 클러스터를 내린다.
2. 새로운 28대 클러스터를 띄운다.
우린 Flintrock 으로 빠르게 띄울 수 있으니까!
• 두번째 방법
1. 새로운 서버 14대를 띄운다.
2. SSH 로 서버에 접속한다.
53. 클러스터를 2배로 키우는 방법
• 첫번째 방법
1. 기존 14대 클러스터를 내린다.
2. 새로운 28대 클러스터를 띄운다.
우린 Flintrock 으로 빠르게 띄울 수 있으니까!
• 두번째 방법
1. 새로운 서버 14대를 띄운다.
2. SSH 로 서버에 접속한다.
3. 기존 Spark Cluster 에 연결되도록 Setting 을 잡아준다.
54. 클러스터를 2배로 키우는 방법
• 첫번째 방법
1. 기존 14대 클러스터를 내린다.
2. 새로운 28대 클러스터를 띄운다.
우린 Flintrock 으로 빠르게 띄울 수 있으니까!
• 두번째 방법
1. 새로운 서버 14대를 띄운다.
2. SSH 로 서버에 접속한다.
3. 기존 Spark Cluster 에 연결되도록 Setting 을 잡아준다.
4. 2~3과정을 14번 반복한다.
84. • DAG(Directed acyclic graph) 단위 관리
• Graph 형태로 분석 파이프라인 시각화
• Job Group, Sub Dag 를 통한 유연한 구조 변경
• Job 단위로 상태 로깅, 에러 확인, 재시도
Airflow
유연한 분석 의존 관계 관리