생각 책장

Apache Airflow를 사용하면서 EC2 서버와 AWS S3에 연결하는 방법을 알아보겠습니다. 이 작업은 Airflow를 통해 자동화된 작업을 수행할 때 꼭 필요해요. 단계별로 쉽게 설명해드릴게요.Airflow 웹 UI에 접속하기우선 Airflow의 웹 UI에 접속해야 해요. 보통 로컬에서 Airflow를 실행하고 있다면 웹 브라우저에서 http://localhost:8080으로 접속할 수 있어요.Connections 메뉴로 이동하기웹 UI에 접속했다면, 화면 상단에 Admin이라는 메뉴가 보일 거예요. 여기에서 Connections를 클릭해 주세요. 이곳에서 Airflow가 다른 시스템에 연결할 수 있도록 설정할 수 있답니다.새 Connection 추가하기Connections 화면 오른쪽 위에 +..

1. Helm을 사용해 Airflow 설치하기먼저 Helm을 사용해서 Apache Airflow를 설치해볼 거예요.  다음 명령어를 입력해서 Airflow를 설치해봅시다.helm install airflow-name apache-airflow/airflow이 명령어를 실행하면 Airflow가 설치되기 시작해요. 설치가 완료되면 Kubernetes에서 실행 중인 여러 가지 구성 요소들을 확인할 수 있어요. 아래 명령어를 사용해 보세요.kubectl get pods이렇게 하면 Airflow와 관련된 다양한 부분들이 실행되고 있는지 확인할 수 있어요. 예를 들어, 웹서버나 스케줄러 같은 요소들이 보일 거예요. 2. Airflow 웹 UI 접근하기이제 설치된 Airflow의 웹 인터페이스에 접근해볼까요? 웹 인..

안녕하세요! 오늘은 Helm과 Minikube에 대해 알아보려고 해요. 어려운 기술 이야기 같지만, 최대한 쉽게 설명해볼게요.Helm이란?Helm은 쿠버네티스에서 애플리케이션을 간편하게 설치하고 관리할 수 있도록 도와주는 일종의 패키지 관리자예요. 쿠버네티스는 많은 컨테이너들을 관리해주는 시스템인데, Helm을 사용하면 마치 앱 스토어에서 앱을 설치하듯이 여러 프로그램들을 한 번에 쉽게 설치하고 업데이트할 수 있어요.예를 들어, Apache Airflow라는 프로그램을 설치한다고 하면, Airflow뿐만 아니라 그 프로그램을 운영하는 데 필요한 여러 도구들(예: Redis, PostgreSQL, RabbitMQ 등)도 함께 설치해야 해요. Helm을 사용하면 Airflow에 필요한 것들을 모두 알아서 챙..

1편에서는 S&P 500 및 KOSPI 데이터 수집, 정제, 상관 분석하는 방법을 알아봤습니다.2편에서는 삼성뿐 아니라 다른 기업들 정보를 활용하여 상관 분석을 수행하고, 관련이 있는 기업들을 추출한 후, S&P 500 Index가 올랐을 때 주식을 샀다가 팔면 이득인지 시뮬레이션을 돌려보도록 하겠습니다. 1. 함수 생성기업별로 데이터를 가져와 S&P 500 Index와 상관분석을 수행합니다. 이를 위해 1에서 전처리한 코드들을 함수로 생성하여 사용합니다.# 9. 기업 일별 주식 정보 가져오는 함수def get_company_stock(start_date, end_date, code): df = stock.get_market_ohlcv(start_date, end_date, code, "d") ..

한국은 미국에 영향을 많이 받습니다. 주식에서도 그럴까요? 미국 주식이 떨어지면 한국 주식도 떨어질까요, 아니면 관련이 없을까요. 그 궁금증을 해결하기 위해 다음과 같은 가설을 설정한 후, 분석을 진행해보았습니다. 가설1. S&P 500 index와 한국 KOSPI에 속하는 기업 주식 중 관련이 있는 주식이 존재할 것이다. 위의 가설을 입증하기 위해서 다음과 같은 순서로 분석을 진행하였습니다. 1. 회사 주식 코드 가져오기pykrx 라이브러리를 활용하여 주식 정보를 가져왔습니다. pykrx 는 naver와 krx 등의 도메인에서 주식 데이터를 쉽게 가져오는데 도움이 되는 라이브러리입니다.  get_market_ticker_list 함수의 입력 인자로 날짜와 마켓이 있습니다. 리턴값으로 기..

http://www.deeplearningbook.org/contents/intro.html 1.2 Historical Trends in Deep Learning심층 학습의 역사적인 트랜드 It is easiest to understand deep learning with some historical context.몇 가지 역사적인 맥락과 함께 하는 것이 심층 학습을 이해하기 더 쉽습니다. Rather than providing a detailed history of deep learning, we identify a few key trends: 심층 학습에 대한 자세한 역사를 소개하기에 앞서 몇 가지 중요한 트랜드를 확인하겠습니다. - Deep learning has had a long and rich..

http://www.deeplearningbook.org/contents/intro.html 1.1 Who Should Read This Book? This book can be useful for a variety of readers, but we wrote it with two target audiences in mind. 이 책은 다양한 독자들에게 유용할 수 있지만, 우리는 두 청자를 타겟으로 잡고 기술하였습니다. One of these target audiences is university students (undergraduate or graduate) learning about machine learning, including those who are beginning a career in d..

http://www.deeplearningbook.org/contents/intro.html 1. Introduction(소개) Inventors have long dreamed of creating machines that think. 발명가들은 생각하는 기계를 창조해내는 꿈을 오래도록 가져왔습니다. This desire dates back to at least the time of ancient Greece. 이 열망은 적어도 고대 그리스 시대까지 돌아갑니다. The mythical fitures Pygmalion, Daedalus, and Hephaestus may all be interpreted as legendary inventors, and Galatea, Talos, and Pandora ..

http://www.deeplearningbook.org/contents/notation.html Notation(표기법) This section provides a concise reference describing the notation used throughout this book. 이번 섹션에서는 이 책 전반에 걸쳐서 사용되는 표기법을 간결한 레퍼런스로 묘사하여 제공합니다. If you are unfamiliar with any of the corresponding mathematical concepts, we describe most of these ideas in chapters 2-4. 만약에 수학적인 개념들에 대응하는 어떤 것들에 대해 익숙하지 않다면, 챕터 2~4까지에 수학적인 개념들에 ..

http://www.deeplearningbook.org/contents/acknowledgements.html Acknowledgement : 감사의 글 This book would not bave been possible without the contributions of many people. 이 책은 많은 사람들의 공헌 없이는 불가능했을 것입니다. We would like to thank those who commented on our proposal for the book and helped plan its contents and organization : Guillaume Alain, Kyunghyun Cho, Caglar Gulcehre, David Krueger, Hugo Lazvan PA..