Minikube와 Helm을 사용해 로컬에서 Airflow 클러스터 설정하기-3
Apache Airflow를 사용하면서 EC2 서버와 AWS S3에 연결하는 방법을 알아보겠습니다. 이 작업은 Airflow를 통해 자동화된 작업을 수행할 때 꼭 필요해요. 단계별로 쉽게 설명해드릴게요.Airflow 웹 UI에 접속하기우선 Airflow의 웹 UI에 접속해야 해요. 보통 로컬에서 Airflow를 실행하고 있다면 웹 브라우저에서 http://localhost:8080으로 접속할 수 있어요.Connections 메뉴로 이동하기웹 UI에 접속했다면, 화면 상단에 Admin이라는 메뉴가 보일 거예요. 여기에서 Connections를 클릭해 주세요. 이곳에서 Airflow가 다른 시스템에 연결할 수 있도록 설정할 수 있답니다.새 Connection 추가하기Connections 화면 오른쪽 위에 +..
1. Helm을 사용해 Airflow 설치하기먼저 Helm을 사용해서 Apache Airflow를 설치해볼 거예요. 다음 명령어를 입력해서 Airflow를 설치해봅시다.helm install airflow-name apache-airflow/airflow이 명령어를 실행하면 Airflow가 설치되기 시작해요. 설치가 완료되면 Kubernetes에서 실행 중인 여러 가지 구성 요소들을 확인할 수 있어요. 아래 명령어를 사용해 보세요.kubectl get pods이렇게 하면 Airflow와 관련된 다양한 부분들이 실행되고 있는지 확인할 수 있어요. 예를 들어, 웹서버나 스케줄러 같은 요소들이 보일 거예요. 2. Airflow 웹 UI 접근하기이제 설치된 Airflow의 웹 인터페이스에 접근해볼까요? 웹 인..
안녕하세요! 오늘은 Helm과 Minikube에 대해 알아보려고 해요. 어려운 기술 이야기 같지만, 최대한 쉽게 설명해볼게요.Helm이란?Helm은 쿠버네티스에서 애플리케이션을 간편하게 설치하고 관리할 수 있도록 도와주는 일종의 패키지 관리자예요. 쿠버네티스는 많은 컨테이너들을 관리해주는 시스템인데, Helm을 사용하면 마치 앱 스토어에서 앱을 설치하듯이 여러 프로그램들을 한 번에 쉽게 설치하고 업데이트할 수 있어요.예를 들어, Apache Airflow라는 프로그램을 설치한다고 하면, Airflow뿐만 아니라 그 프로그램을 운영하는 데 필요한 여러 도구들(예: Redis, PostgreSQL, RabbitMQ 등)도 함께 설치해야 해요. Helm을 사용하면 Airflow에 필요한 것들을 모두 알아서 챙..