[Apache Airflow] ShortCircuitOperator
ShortCircuitOperator Condition에 따라 다음 Task의 실행 여부를 결정하고자 할 때 사용 Operator 내의 Python 함수가 True인 경우 다음 Task 진행, 아닐 경우 Dag을 종료시킴 check_s3의 s3_da...
Recent posts
[Error] HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment
HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment 상황 airflow에서 master을 yarn으로 spark-submit job 실행 해결 spark...
[Docker] Docker Container to Image
Docker Container to Image
[Docker] DevContainer
DevContainer SSH to EC2(Mac 기준) Script to Install Docker on EC2(Ubuntu) VSCode DevContainer CLI to remote Docker
[Web Crawling] Scrapy to S3
Scrapy to S3 Install Packages settings.py