티스토리 뷰
Apache Airflow를 사용하면서 EC2 서버와 AWS S3에 연결하는 방법을 알아보겠습니다. 이 작업은 Airflow를 통해 자동화된 작업을 수행할 때 꼭 필요해요. 단계별로 쉽게 설명해드릴게요.
Airflow 웹 UI에 접속하기
우선 Airflow의 웹 UI에 접속해야 해요. 보통 로컬에서 Airflow를 실행하고 있다면 웹 브라우저에서 http://localhost:8080으로 접속할 수 있어요.
Connections 메뉴로 이동하기
웹 UI에 접속했다면, 화면 상단에 Admin이라는 메뉴가 보일 거예요. 여기에서 Connections를 클릭해 주세요. 이곳에서 Airflow가 다른 시스템에 연결할 수 있도록 설정할 수 있답니다.
새 Connection 추가하기
Connections 화면 오른쪽 위에 + (Add a new record) 버튼이 있어요. 이 버튼을 클릭해서 새로운 연결 정보를 추가할 수 있어요.
SSH 연결 설정하기 (EC2 서버에 연결하기)
이제 EC2 서버에 연결하기 위한 정보를 입력해볼게요.
- Conn Id: 연결에 대한 이름이에요. 예를 들어, "my_ec2_connection"이라고 적으면, 나중에 이 이름으로 EC2에 연결할 수 있어요.
- Conn Type: 연결 유형을 선택해야 해요. 여기서는 SSH를 선택해 주세요. SSH는 원격 서버에 연결하는 방법 중 하나랍니다.
- Host: 여기에 EC2 인스턴스의 퍼블릭 IP 주소나 도메인 이름을 입력해요. 예를 들면, "ec2-3-123-456-789.compute-1.amazonaws.com" 같은 주소를 말해요.
- Login: EC2에 접속할 때 사용하는 사용자 이름을 적어주세요. 일반적으로 "ec2-user"나 "ubuntu"를 사용해요.
- Port: 보통 SSH 포트는 22번이에요. 이 숫자를 입력하면 됩니다.
- Extra: 여기에는 SSH 키 파일(예: "key.pem")의 경로를 입력해야 해요. 이 키 파일은 EC2에 접속할 때 필요한 비밀번호 같은 거예요.
AWS S3 연결 설정하기
이제 AWS S3에 연결하는 방법도 설명할게요.
- Conn Type: 연결 유형으로 Amazon Web Services를 선택해 주세요. 이렇게 하면 S3와 같은 AWS 서비스에 연결할 수 있어요.
- AWS Access Key ID & AWS Secret Access Key: AWS에서 발급받은 인증 정보를 입력해 주세요. 이 정보는 AWS의 IAM에서 얻을 수 있어요. 쉽게 말하면, AWS에 로그인할 수 있는 아이디와 비밀번호 같은 거예요.
- Extra: 여기에 리전(region) 정보를 입력해야 해요. 예를 들어, "{"region_name": "ap-northeast-2"}"이라고 적으면 돼요. 리전은 AWS가 제공하는 서버 위치를 말하는데, 한국은 "ap-northeast-2"랍니다.
이렇게 설정을 마치면, Airflow에서 EC2 서버와 S3에 자동으로 연결해서 필요한 작업을 할 수 있어요.
댓글