[Error] sh: mysql_config: not found
ERROR sh: mysql_config: not found 상황 Docker Ubuntu 18.04에서 mysql library 설치 시(pip3 install mysql) mysql config 못 찾는 문제 발생 해결 ...
Recent posts
[Apache Airflow] ExternalTaskSensor
ShortCircuitOperator 다른 Dag의 task 실행 여부를 바탕으로 Dag 내의 Task 실행 원할 때 사용 execution_date_fn의 경우 현재 task를 시작하는 시간으로부터 sensing하는 task의 시간의 차이를 뺴줘야 함
[Apache Airflow] ShortCircuitOperator
ShortCircuitOperator Condition에 따라 다음 Task의 실행 여부를 결정하고자 할 때 사용 Operator 내의 Python 함수가 True인 경우 다음 Task 진행, 아닐 경우 Dag을 종료시킴 check_s3의 s3_da...
[Error] HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment
HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment 상황 airflow에서 master을 yarn으로 spark-submit job 실행 해결 spark...
[Docker] Docker Container to Image
Docker Container to Image