[SQL] SIGN
SIGN 숫자 자료형의 매겨변수가 음수라면, -1, 0이라면 0, 양수라면 1을 리턴하는 함수
Beiträge nach Kategorie
- SQL 43
- CODEIT 34
- AIRFLOW 23
- PYTHON 21
- DOCKER 18
- SPARK 16
- GIT 16
- ERROR 13
- LEETCODE 12
- BOJ 12
- KUBERNETES 12
- CLEAN_ARCHITECTURE 11
- PROGRAMMERS 10
- STUDY_ALGORITHM 9
- HIVE 8
- NETWORK 7
- LINUX 7
- CLI 5
- DJANGO 5
- NOSQL 5
- AWS 5
- HADOOP 3
- WEB_CRAWLING 3
- JAVA 2
- OS 1
- JENKINS 1
SQL
[PostgreSQL] Basic Query Tuning
Basic Query Tuning Query Processing Pipeline EXPLAIN & EXPLAIN ANALYZE Meaning of Cost
[PostgreSQL] Recursive CTE
Recursive CTE Recursive CTE Introduction Recursive CTE Step By Step
[PostgreSQL] Index
Index Full Table Scan & Index Index Types Downsides of Indexes Index Creation Automatically Generated Indexes Actual File of Index
[PostgreSQL] Understanding Postgres
Understanding Postgres Data Location of Postgres Terminology Overall Block/ Page Layout Table Row Layout
[PostgreSQL] Instagram DB
Instagram DB ```sql CREATE TABLE users ( id SERIAL PRIMARY KEY, created_at TIMESTAMP WITH TIME ZONE DEFAULT CURRENT_TIMESTAMP, updated_at TIMESTAMP WITH T...
[PostgreSQL] Polymorphic Association
Polymorphic Association Definition Solution1 Solution2 Solution3
[PostgreSQL] Data Types
Data Types Data Types General Rule for Numeric Datetypes INTERVAL
[PostgreSQL] GREATER & LEAST
GREATER & LEAST GREATER: returns the greatest value from the list LEAST: returns the least(smallest) value from the list
[PostgreSQL] OFFSET
OFFSET 몇 번째 행 이후의 데이터를 보고 싶을 때 사용 LIMIT과 함께 사용시 관습적으로 LIMIT 뒤에 사용함
[PostgreSQL] ON DELETE
ON DELETE 사용 이유: 참조무결성을 유지 종류 ON DELETE RESTRICT ON DELETE NO ACTION ON DELETE CASCADE 해당 column을 foreign key로...
[SQL] DELETE FROM vs TRUNCATE
DELETE FROM vs TRUNCATE 공통적으로 record를 삭제 DELETE FROM은 WHERE을 통해 특정 조건을 만족하는 record 삭제/ TRUNCATE는 모든 record 삭제 DELETE FROM보다 TRUNCATE의 속도가 빠름 TRUNCAT...
[SQL] Transaction
Transaction 개념 autocommit=True autocmmit=False try/catch & autocommit
[SQL] Duplicates
Duplicates
[SQL] Intermediate SQL(4)
SQL Intermediate(4) OVER() RANK() PARTITION BY() ROWS BETWEEN [start] AND [finish] PRECEDING FOLLOWI...
[SQL] Intermediate SQL(3)
SQL Intermediate(3) Correlated Subquery Nested Subquery Common Table Expression(CTE) 비교
[SQL] Intermediate SQL(2)
SQL Intermediate(2) Simple Subquery Subquery in WHERE Subquery in FROM Subquery in SELECT Subquery Everywhere 정확한...
[SQL] Intermediate SQL(1)
SQL Intermediate(1) CASE WHEN
[Postgres] Jupyter Notebook & Docker Postgres 연동
환경구성 install psycopg2 in Jupyter notebook
[MySQL] Jupyter Notebook & Docker MySql 연동
환경구성 install sqlalchemy, ipython-sql in Jupyter notebook
[MySQL] VIEW
MySQL Table CREATE VIEW - 가상의 테이블 만들기
[MySQL] DDL & DML
MySQL Table CREATE TABLE - 테이블 만들기 INSERT INTO - 테이블에 데이터(행) 추가 ALTER - 테이블의 속성 수정 SET - 테이블 속성 설정 UPDATE & SET - 테이블의 데이터 수정 DELETE - 테이블...
[MySQL] Hackerrank SQL 연습문제 (6)
SQL Übung - Hackerrank SQL 문제 풀이를 통한 SQL 연습
[MySQL] Hackerrank SQL 연습문제 (5)
SQL Übung - Hackerrank SQL 문제 풀이를 통한 SQL 연습
[MySQL] Hackerrank SQL 연습문제 (4)
SQL Übung - Hackerrank SQL 문제 풀이를 통한 SQL 연습
[MySQL] Hackerrank SQL 연습문제 (3)
SQL Übung - Hackerrank SQL 문제 풀이를 통한 SQL 연습
[MySQL] Hackerrank SQL 연습문제 (2)
SQL Übung - Hackerrank SQL 문제 풀이를 통한 SQL 연습
[MySQL] Hackerrank SQL 연습문제 (1)
SQL Übung - Hackerrank SQL 문제 풀이를 통한 SQL 연습
[MySQL] SQL 문자열 함수 정리
SQL 문자열 함수 정리 SUBSTRING - 문자열의 일부 추출 LENGTH - 문자열 길이 반환 UPPER - 문자열을 모두 대문자로 반환 LOWER - 문자열을 모두 소문자로 반환 LPAD - 문자열의 왼쪽에 특정 문자 붙인 뒤 반환 RPAD - 문...
[MySQL] SQL COALESCE & IFNULL & CONCAT & IF
SQL COALESCE & IFNULL & CONCAT & IF COALESCE - NULL 값을 다른 값으로 대체해서 반환, 2개 이상의 조건 가능 IFNULL - NULL 값을 다른 값으로 대체해서 반환 CONCAT - concatenate...
[MySQL] SQL 산술 함수 정리
SQL 산술 함수 정리 집계함수(ex. SUM, MAX, MIN, AVG 등)은 column에 대한 특징값을 반환 산술함수는 각 row에 대한 산술 연산에 대한 결과값을 반환 STD - 표준편차 ABS - 절대값 SQRT - 제곱근 CEIL - 올림 ...
[MySQL] SQL 날짜 함수 정리
SQL 날짜 함수 정리 YEAR : DATE형 자료형에서 연도만 추출 MONTH : DATE형 자료형에서 월만 추출 DAYOFMONTH : DATE형 자료형에서 일만 추출 DATEDIFF : DATE형 자료형들 간 날짜 차이 산출 CURDATE : 오늘 날짜...
[SQL] Subquery
SQL Übung SQL JOIN 문법 정리(4) Subquery - WHERE or HAVING/ SELECT/ FROM 안에 쿼리를 쓰는 것 ANY/SOME : 하나라도 조건을 만족하는 경우가 있으면 반환 ALL : 모든 조건을 만족하는 경우가 있으면 반환 ...
[SQL] UNION & INTER & EXCEPT
SQL Übung SQL JOIN 문법 정리(3) UNION을 통해 두 데이터 간 합집함을 가져올 수 있음 중복되는 데이터는 한 개만 포함됨 UNION되는 데이터 세트의 열 개수가 같아야 함 UNION되는 데이터들의 열의 자료형...
[SQL] Programmers SQL 연습문제 (3)
SQL Übung - Programmers SQL 문제 풀이를 통한 연습
[SQL] Programmers SQL 연습문제 (2)
SQL Übung - Programmers SQL 문제 풀이를 통한 연습
[SQL] Programmers SQL 연습문제 (1)
SQL Übung - Programmers SQL 문제 풀이를 통한 연습
[SQL] LEFT JOIN & RIGHT JOIN & FULL JOIN & CROSS JOIN
SQL Übung SQL JOIN 문법 정리(2) LEFT JOIN ON 을 통해 왼쪽 테이블을 기준으로 오른쪽 테이블을 join RIGHT JOIN ON 을 통해 오른쪽 테이블을 기준으로 왼쪽 테이블을 join FULL JOIN ON 을 통해 왼쪽 전체와 오른...
[SQL] INNER JOIN & USING & CASE WHEN
SQL Übung SQL JOIN 문법 정리(1)
[SQL] ORDER BY & CAST & GROUP BY & HAVING & WITH ROLLUP
SQL Übung SQL 문법 정리(4) ORDER BY를 통해 정렬 ORDER BY 는 FROM 이후에 작성 DEFAULT는 ASCENDING, DESC를 통해 DESCENDING 가능 CAST를 통해 자료형을 일시적으로 변환...
[SQL] AVG & SUM & MAX & MIN & AS
SQL Übung SQL 문법 정리(3) AVG 평균 NULL은 제외하고 계산됨 SUM 합계 MAX 최대값 MIN 최소값 연산자 + - / * % ...
[SQL] WHERE & AND & OR & BETWEEN & IN & IS (NOT) NULL & LIKE
SQL Übung SQL 문법 정리(2) WHERE을 통해 filter WHERE는 FROM 이후에 작성 WHERE 조건이 여러개일 경우 조건을(AND, OR) 모두 작성해줘야함 AND & OR은 괄호로 묶어주는 것이 좋...
[SQL] SELECT & FROM & DISTINCT & COUNT & LIMIT
SQL Übung SQL 문법 정리(1) SELECTing columns COUNT을 통해 행개수 산출
CODEIT
[Algorithm] 벽 사이 빗물 최대량(2)
ALGORITHM 알고리즘 정리(33)
[Algorithm] 리스트 항목의 합 탐색
ALGORITHM 알고리즘 정리(32)
[Algorithm] 효율적으로 중복되는 숫자 찾기(2)
ALGORITHM 알고리즘 정리(31)
[Algorithm] 계단 올라가는 방법의 수(2)
ALGORITHM 알고리즘 정리(30)
[Algorithm] 계단 올라가는 방법의 수(1)
ALGORITHM 알고리즘 정리(29)
[Algorithm] 주식 최대 이익
ALGORITHM 알고리즘 정리(28)
[Algorithm] 최대 이익 구간
ALGORITHM 알고리즘 정리(27)
[Algorithm] 최대 이익 구간 - Divide & Conquer
ALGORITHM 알고리즘 정리(26)
[Algorithm] 효율적으로 중복되는 숫자 찾기
ALGORITHM 알고리즘 정리(25)
[Algorithm] 최소한의 약수터 방문 - Greedy Algorithm
ALGORITHM 알고리즘 정리(24) Greedy Algorithm
[Algorithm] 거듭제곱
ALGORITHM 알고리즘 정리(23) Dyanmic Programming
[Algorithm] 최대 이익 구간 - Brute Force
ALGORITHM 알고리즘 정리(22) Brute Force
[Algorithm] 수업을 최대로 많이 듣는 수강 신청 - Greedy Alogirthm
ALGORITHM 알고리즘 정리(21) Greedy Algorithm이 사용되면 최적인 경우 최적 부분 구조가 있음 - 부분 문제들의 최적의 답을 이용해 기존 문제의 최적의 답을 구할 수 있다는 것 탐욕적 선택 속성이 있음 - 당장 최적의 선...
[Algorithm] 벌금 최소화하기 - Greedy Alogirthm
ALGORITHM 알고리즘 정리(20) Greedy Algorithm이 사용되면 최적인 경우 최적 부분 구조가 있음 - 부분 문제들의 최적의 답을 이용해 기존 문제의 최적의 답을 구할 수 있다는 것 탐욕적 선택 속성이 있음 - 당장 최적의 선...
[Algorithm] 최대 곱 구하기 - Greedy Alogirthm
ALGORITHM 알고리즘 정리(19) Greedy Algorithm이 사용되면 최적인 경우 최적 부분 구조가 있음 - 부분 문제들의 최적의 답을 이용해 기존 문제의 최적의 답을 구할 수 있다는 것 탐욕적 선택 속성이 있음 - 당장 최적의 선...
[Algorithm] 최대 수익 - Greedy Alogirthm
ALGORITHM 알고리즘 정리(18) Greedy Algorithm이 사용되면 최적인 경우 최적 부분 구조가 있음 - 부분 문제들의 최적의 답을 이용해 기존 문제의 최적의 답을 구할 수 있다는 것 탐욕적 선택 속성이 있음 - 당장 최적의 선...
[Algorithm] 최대 수익 - Dynamic Programming(Memoization & Tabulation)
ALGORITHM 알고리즘 정리(17) Dynamic Programming이 필요한 경우 최적 부분 구조가 있음 중복되는 부분 문제들이 있음 Dyanmic Programming은 2가지 종류가 존재 Mem...
[Algorithm] 피보나치 수열 - Dynamic Programming(Tabulation)
ALGORITHM 알고리즘 정리(16) Dynamic Programming이 필요한 경우 최적 부분 구조가 있음 중복되는 부분 문제들이 있음 Dyanmic Programming은 2가지 종류가 존재 Mem...
[Algorithm] 피보나치 수열 - Dynamic Programming(Memoization)
ALGORITHM 알고리즘 정리(15) Dynamic Programming이 필요한 경우 최적 부분 구조가 있음 중복되는 부분 문제들이 있음 Dyanmic Programming은 2가지 종류가 존재 Mem...
[Algorithm] 퀵 정렬 - 분할정복
ALGORITHM 알고리즘 정리(14) Divide and Conquer(3) 핵심 divide/ conquer/ combine 퀵 정렬 퀵 정렬의 경우 conquer, combine이 간단, divide가 복잡 Di...
[Algorithm] 합병 정렬 - 분할정복
ALGORITHM 알고리즘 정리(13) Divide and Conquer(2) 핵심 divide/ conquer/ combine 합병 정렬의 경우 divide, conquer이 간단, combine이 복잡
[Algorithm] 첫 번째 숫자부터 마지막 숫자까지 합 - 분할정복
ALGORITHM 알고리즘 정리(12) Divide and Conquer(1) 핵심 divide/ conquer/ combine
[Algorithm] 카드 조합 최대값 - 무차별 대입
ALGORITHM 알고리즘 정리(9) Brute Force(1)
[Algorithm] 벽 사이 빗물 최대량 - 무차별 대입
ALGORITHM 알고리즘 정리(11) Brute Force(3)
[Algorithm] 좌표 간 가까운 거리 - 무차별 대입
ALGORITHM 알고리즘 정리(10) Brute Force(2)
[Algorithm] 하노이의 탑 - 재귀함수
ALGORITHM 알고리즘 정리(8) 재귀함수(6) 핵심 : base case와 recursive case 찾기
[Algorithm] 이진 탐색 - 재귀함수
ALGORITHM 알고리즘 정리(7) 재귀함수(5) 핵심 : base case와 recursive case 찾기
[Algorithm] 리스트 뒤집기 - 재귀함수
ALGORITHM 알고리즘 정리(6) 재귀함수(4) 핵심 : base case와 recursive case 찾기
[Algorithm] 자리수 합 - 재귀함수
ALGORITHM 알고리즘 정리(5) 재귀함수(3) 핵심 : base case와 recursive case 찾기
[Algorithm] 피보나치 수열 - 재귀함수
ALGORITHM 알고리즘 정리(4) 재귀함수(2) 핵심 : base case와 recursive case 찾기
[Algorithm] 팩토리얼 - 재귀함수
ALGORITHM 알고리즘 정리(3) 재귀함수(1) 핵심 : base case와 recursive case 찾기
[Algorithm] 이진 탐색
ALGORITHM 알고리즘 정리(2)
[Algorithm] 선형 탐색
ALGORITHM 알고리즘 정리(1)
[Algorithm] 시간 복잡도
ALGORITHM 시간 복잡도 - 알고리즘 평가 방법
AIRFLOW
[Apache Airflow] Extras vs Providers
Extras vs Providers Extras: Dependencies needed by the tools(e.g. spark) to interact with the tool Providers: Operators used to interact with the tools(...
[Apache Airflow] Concurrency 설정
Concurrency 설정 parallelism = 32/ AIRFLOW__CORE__PARALELISM defines the maximum number of task instances that can run in Airflow per scheduler ...
[Apache Airflow] Sending task to a specific queue
Sending task to a specific queue queue="[queue_name]"
[Apache Airflow] Backfill
Backfill Data schema가 backfill이 가능한 구조여야함 예를 들어 시간 단위인 경우 created, modified와 같은 날짜 column이 존재 Airflow 내부 변수인 execution_date를 바탕으로 코드를...
[Apache Airflow] Airflow CLI
Airflow CLI ```bash Initialise the metadatabase airflow db init
[Apache Airflow] date 정리
date 정리 start_date & execution_date 정리 end_date 정리
[Apache Airflow] ExternalTaskSensor
ShortCircuitOperator 다른 Dag의 task 실행 여부를 바탕으로 Dag 내의 Task 실행 원할 때 사용 execution_date_fn의 경우 현재 task를 시작하는 시간으로부터 sensing하는 task의 시간의 차이를 뺴줘야 함
[Apache Airflow] ShortCircuitOperator
ShortCircuitOperator Condition에 따라 다음 Task의 실행 여부를 결정하고자 할 때 사용 Operator 내의 Python 함수가 True인 경우 다음 Task 진행, 아닐 경우 Dag을 종료시킴 check_s3의 s3_da...
[Apache Airflow] Airflow Architecture
Airflow Architecture Architecture Executors
[Apache Airflow] SSHOperator & SparkSubmitOperator
SSHOperator & SparkSubmitOperator SSHOperator SparkSubmitOperator
[Apache Airflow] Airflow - Docker Ubuntu18.04
Airflow - Docker Ubuntu18.04 Run Docker Ubuntu 18.04 Image Install Python Airflow Install & Configuration Commit & Run Docker Container
[Apache Airflow] Airflow Config
Airflow Config 기본 Airflow Config Square Brackets to Combine Task
[Apache Airflow] Airflow - MySQL Data Extract
Airflow - MySQL Data Extract Required Package Installation Airflow - MySQL(local on Docker) Extract Airflow - MySQL(EC2) Extract
[Apache Airflow] Putting Order & Catch Up
Putting Order & Catch Up Putting Order Catch Up
[Apache Airflow] Storing Users Using Bash Operator
Storing Users Using Bash Operator Transfer(Bash) Operator
[Apache Airflow] Processing Users Using Python Operator
Processing Users Using Python Operator” Action Operator
[Apache Airflow] Extracting Users Using API
Extracting Users Using API Action Operator Test Airflow Task
[Apache Airflow] Using API
Using API Sensor Operator Add Connection in Airflow Webserver Test Airflow Task
[Apache Airflow] Airflow Dag
Airflow Dag Airflow Dag Create Airflow Dag File Add Connection in Airflow Webserver Test Airflow Task
[Apache Airflow] Airflow Operator
Airflow Operator A task in data pipeline that defines one task to know which task has a problem 1) Action Operator: Execute an acti...
[Apache Airflow] Airflow DB to Postgres(Docker)
Airflow DB to Postgres(Docker) 🔗 Airflow Local에 설치 / 🔗 Airflow Docker에 설치 Postgres Container 설치 PostgreSQL DB 및 DB User 생성 airflow.cfg 수정1 pycop...
[Apache Airflow] Airflow Installation on Local(Mac)
Airflow on Local(Mac) Airflow Installation
[Apache Airflow] Airflow Installation on Docker
Airflow on Docker Airflow-Docker Installation Docker Airflow CLI
PYTHON
[Python] Importing Modules
How Python import modules In High Level Checks the sys.modules cache to see if the module has already been imported If not, creates a new...
[Python] pyenv
pyenv ```bash 현재 설치된 버전 확인 pyenv versions
[Python] itertools
from itertools import combinations, permutations, product, combinations_with_replacement
[Python] Directory
Directory Script is in directory /home/user/test/my_script.py
[Python] Reshaping Data with pandas(4)
Pandas Using .stack with .mean() or .diff() .explode() - converts list contained column into separate rows pd.json_normalize() - converts json data ...
[Python] Reshaping Data with pandas(3)
Pandas pd.MultiIndex.from_arrays() - setting MultiIndex to a dataframe .stack() - rearrange innermost column index to become the innermost row index (...
[Python] Reshaping Data with pandas(2)
Pandas .melt() - wide to long pd.wide_to_long - wide to long function of pandas .str - handling string in pandas
[Python] 10 minutes to Pandas
10 Minutes Pandas Viewing Data Selection Missing Data Operation Merge Grouping Reshaping Time Series Categoricals Plotting Getting D...
[Python] Reshaping Data with pandas(1)
Pandas .transpose() - switch column & row .pivot() - long to wide .pivot_table() - long to wide
[Python] Data manipulation with pandas(4)
Pandas Creating and Visualizing DataFrames .plot() kind=”bar”/ “line”/ “scatter” .hist() .lege...
[Python] Data manipulation with pandas(3)
Pandas Slicing and Indexing DataFrames pandas에는 index와 loc을 사용해 더 깔끔한 코드로 subsetting을 수 있음 그러나 data가 index로 활용된 측면에서 이는 tidy data는 아님(이...
[Python] Data manipulation with pandas(2)
Pandas Aggregating dataframe pandas Series인 상태로 계산하면 계산값이 int/float 형태로, pandas Dataframe 상태로 계산하면 dataframe으로 반환 .mean() ...
[Python] Data manipulation with pandas(1)
Pandas Inspecting dataframe .info() .shape .describe sort .sort_values() select df[['co...
[Python] iterrows & itertuples & pd.applys
Writing Efficient Python Code PART4 iterrows를 통해 row별 iterration 가능 iterrows를 쓸 경우 index와 pandas Series로 구성되어 있는 tuple을 반환 itertu...
[Python] Counter & combinations & set
Writing Efficient Python Code PART3 Counter from module collections 종류별 개수를 반환 combinations from itertools 가능한 조합을 lis...
[Python] Dplyr to Pandas
dplyr to pandas
[Python] %timeit & %lprun & %mprun
Writing Efficient Python Code PART2 %timeit을 통해 runtime을 examine할 수 있음 -r2를 통해 전체 run 횟수를, -n을 통해 한 run에서 몇 회 반복할지 설정 가능 %%timeit을 통해...
[Python] range & enumerate & map & numpy
Writing Efficient Python Code RANGE ENUMERATE MAP NUMPY
[Python] Generator
Generator list와 같은 iterable객체와 달리 대용량의 memory를 사용하지 않음 그러나 반대로 여러번 값을 가져올 수 없음 next함수를 통해 다음 generator의 값을 가져올 수 있음 함수 안의 yield를 ...
[Python] Iter & Next
Iterable 반복 가능한 것(string, list, tuple, dictionary, set, range 등)
[Python] 전역변수 지역변수
전역범수(Global Variable) 함수를 포함하여 스크립트 전체에서 접근할 수 있는 변수 전역 범위(Global Scope) - 전역 변수에 접근할 수 있는 범위 함수 안에서 전역변수 선언시 global 사용
DOCKER
[Docker] Docker Container as Root
Docker Jupyter Notebook
[Docker] Docker Jupyter Notebook
Docker Jupyter Notebook
[Docker] Docker Container to Image
Docker Container to Image
[Docker] DevContainer
DevContainer SSH to EC2(Mac 기준) Script to Install Docker on EC2(Ubuntu) VSCode DevContainer CLI to remote Docker
[Docker] Docker Remote Container Directory
Docker Remote Container Directory in Visual Studio Code Visual Studio Code 1) Shift + Ctrl + P 2) Remote-Containers: Open attached container configu...
[Docker] Docker MongoDB
Docker - MongoDB
[Docker] Docker Jupyter Notebook & PySpark
Docker - Jupyter Notebook & PySpark ```bash run container docker container run –name jupyter_pyspark -p 10000:8888 -v $(pwd):/home/jovyan/work jupyter/py...
[Docker] Docker MySql & Postgres
MySQL & Postgres in Docker
[Docker] Docker Image 복사
Docker Image 복사 Docker 이미지 다른 컴퓨터로 복사하기
[Docker] Docker Compose
Docker Compose Basic Docker compose commands Build a Compose File For a Multi-Container Service Compose for Run-Time Building and Multi-Container De...
[Docker] Docker Persistent Data
Docker Persistent Data containers are usually immutable(unchangeable) & ephemeral(temporary) which means that containers should never change when ...
[Docker] Docker Prune
Docker Cleaning Up prune command to clean up images, volumes, build cache, and containers
[Docker] Docker Image2 - Building Images
Docker Image2 - Building Images Dockerfile Build Dockerfile Build Example
[Docker] Docker Image1
Docker Image1 Docker Image & Layers Docker Image Tagging & Pushing to Docker Hub
[Docker] Docker Network2
Docker Network2 Docker CLI Testing Docker DNS Round Robin Test
[Docker] Docker Network1
Docker Network1 Priate & Pulbic Comms in Containers CLI Management of Virtual Networks Docker DNS(Domain Name System) & How Containers Find ...
[Docker] Docker Shell Inside Containers
Getting a Shell Inside Containers ```bash start new container interactively (docker container run -it) docker container run -it –name proxy nginx
[Docker] Docker 명령어 & 기본 설정
Docker 기본 명령어 Docker 관련 기본 명령어 Docker bash-completion 설정
SPARK
[Spark] Learning Spark(1) - Spark Jobs, Stages, Tasks
Learning Spark(1) - Spark Jobs, Stages, Tasks Spark Jobs Spark Stages Spark Tasks
[Spark] Spark on Yarn
Spark on Yarn Hadoop-Spark Cluster on Docker(M1) Web URL YARN on Spark test
[Spark] Spark Executor 설정
Spark Executor 설정 간단 요약 Spark Executor 기본 전제 작은 Executor와 큰 Executor의 문제
[Spark] SPARK 개념 정리
SPARK 개념 정리 Glossary Spark Cluster Mode Overview Spark-Submit 실행순서 YARN에서의 실행 YARN Cluster Mode YARN Client Mode Deploy...
[PySpark] Cleaning Data with PySpark(4)
Spark Cleaning Data in PySpark Validating Data in PySpark Analysis and Delivery
[PySpark] Cleaning Data with PySpark(3)
Spark Caching .cache() .is_cached .unpersist() Cluster Configuration Import Performance Performance improvements ...
[PySpark] Cleaning Data with PySpark(2)
Spark isNull() & isNotNull() pyspark.sql.functions F.col() contains() getItem() F.spli...
[PySpark] Big Data Fundamentals with PySpark(4)
Spark Collaborative Filtering Classification Clustering
[PySpark] Cleaning Data with PySpark(1)
Spark Parquet
[PySpark] Big Data Fundamentals with PySpark(3)
Spark DataFrame Transformation & Action of DataFrame PySpark SQL Visualization
[PySpark] Big Data Fundamentals with PySpark(2)
Spark RDD Transformation & Action of RDD Paired RDD 🔗 More Information of Transformation & Action Functions
[PySpark] Big Data Fundamentals with PySpark(1)
Spark Big Data terminology Spark Modes of Deployment
[PySpark] Introduction to PySpark(3)
Spark StringIndexer() & OneHotEncoder() VectorAssembler() & Pipeline() LogisticRegression()
[PySpark] Introduction to PySpark(2)
Spark .filter() .withColumn() .select() .groupBy() .min() .max() .avg() .sum() .count() .agg() .d...
[PySpark] Introduction to PySpark(1)
PySpark Spark SparkContext SparkSession Spark & Pandas
[PySpark] DataFrame Basics
PySpark DataFrame Basics PySpark Basic1 DataFrame Schema PySpark Basic2
GIT
[Git] Override config
Override config Purpose: Make all sub-directories(child directories) have different config(user name & email) from the global config
[Git] Delete Untracked Files
Delete Untracked Files git clean -f -d
[Git] Delete Merged Branch
Delete Merged Branch ```bash list local branches that were merged in remote git branch –merged
[Git] Custom Git Aliases
Custom Git Aliases Adding Aliases Adding Aliases with Arguments
[Git] Git Reflog
Git Reflog Reflog Reflog References Rescuing Lost Commits
[Git] Git Tag
Git Tag Semantic Versioning Viewing Tag Checking Out Tag Lightweight Tag Annotated Tag Tagging Previous Commit Forcing and Deleting Tag Push...
[Git] Git Rebase
Git Rebase Alternative to git merge Rebasing re-writes the history of the commits so that the branch begins at the tip of the main(master) bran...
[Git] Git Fork
Git Fork Git Fork Workflow Git Fork Workflow Demonstration
[Git] Git Switch & Fetch & Pull
Git Switch & Fetch & Pull Remote Tracking Branches Git Switch Git Fetch Git Pull
[Git] GitHub
GitHub Git Remote Git Push
[Git] Git Checkout & Restore & Reset & Revert
Git Checkout & Restore & Reset & Revert Git Checkout Git Restore Git Reset Git Revert
[Git] Git Stash
Git Stash Needs for Stash Git Stash & Pop Multiple Stashes Dropping & Clearing Stashes
[Git] Git Diff
Git Diff Reading git diff Viewing Unstaged Changes Viewing Staged Changes Viewing Working Directory Changes Viewing Specific File Change Compari...
[Git] Git Branch
Git Branch View Branch Create Branch Delete Branch Rename Branch Merge Branch
[Git] Git Basics
Git Basics Essential commands Fixing previous commit
[Git] Git Name & Email Configuration
Git Name & Email Configuration
ERROR
[Error] zsh: command not found: code
zsh: command not found: code 상황 Rosetta Terminal(arch: i386)에서 code . 명령어가 실행이 안됨 해결: VSCode에서 Path 등록
[Error] Installing pyenv for X86 & ARM
Installing pyenv for X86 & ARM 상황 사내 clue-api M1 pyenv로 환경설정 후, requirements에 있는 다수의 module 설치에서 에러 발생 현재 컴퓨터에는 M1 pyenv가 설치되어 있음 ...
[Error] AttributeError: ‘NoneType’ object has no attribute ‘get_frozen_credentials’
AttributeError: ‘NoneType’ object has no attribute ‘get_frozen_credentials’” 상황 Docker Airflow을 통해 AWS S3에서 AWS Redshift로 데이터 COPY 하는 task(S3...
[Error] Error: pg_config executable not found
ERROR Error: pg_config executable not found 상황1 Docker Jupyter에서 psycopg2 라이브러리 설치시 에러 발생 해결 필요 라이브러리들 설치 상황2 ...
[Error] sh: mysql_config: not found
ERROR sh: mysql_config: not found 상황 Docker Ubuntu 18.04에서 mysql library 설치 시(pip3 install mysql) mysql config 못 찾는 문제 발생 해결 ...
[Error] HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment
HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment 상황 airflow에서 master을 yarn으로 spark-submit job 실행 해결 spark...
[Error] java.lang.UnsatisfiedLinkError:no leveldbjni64-1.8 in java.library.path
java.lang.UnsatisfiedLinkError: no leveldbjni64-1.8 in java.library.path 상황 aarch64에서 Historyserver Container가 정상적으로 올려지지 않음 log 확인해보니 ...
[Error] JAVA_HOME is not set
ParserError: Error tokenizing data. C error 상황 Docker Airflow-Ubuntu18.04에서 Spark Cluster로 Batch Job 처리시 해당 오류 발생 해결 spa...
[Error] ModuleNotFoundError: No module named ‘_lzma’
ParserError: Error tokenizing data. C error 상황 Docker Ubuntu18.04에서 Scrapy crawl 돌릴 때 module을 못 찾음 해결 해당 모듈 설치 및 lzma.py...
[Error] ParserError: Error tokenizing data. C error
ParserError: Error tokenizing data. C error 상황 Pandas에서 df.read_csv(“filename.csv”)에서 에러 발생 해결 delimiter 명시
[Error] Postgres DB not showing in Dbeaver
Postgres DB not showing 상황 Dbeaver에서 Postgres 연결 후 DB 만들고 refresh 했는데 DB가 보이지 않음 DB가 정상적으로 생성되긴 함 해결 아래와 같이 해결 ...
[Error] ERROR 1366 (HY000): Incorrect string value: \xEC\x9D\xB4\xEB\xAF\xB8
ERROR 1366 (HY000): Incorrect string value: ‘\xEC\x9D\xB4\xEB\xAF\xB8 상황 MySQL에서 테이블에 INSERT 시 에러 발생 원인 - 한글로 된 데이터를 입력 해결 ...
[Error] OSError: mysql_config not found
OSError: mysql_config not found 상황 Python 가상환경에서 mysqlclient를 설치하고자 함 HomeBrew에서 mysql은 최신버전(8.x)으로 설치했음 .zshrc에 mysql 환경설정도 함 ...
LEETCODE
[ALGORITHM] LeetCode 2. Add Two Numbers
ALGORITHM Übung - LeetCode 알고리즘 문제 풀이를 통한 코딩 테스트 연습
[ALGORITHM] LeetCode 234. Palindrome Linked List
ALGORITHM Übung - LeetCode 알고리즘 문제 풀이를 통한 코딩 테스트 연습
[ALGORITHM] LeetCode 121. Best Time to Buy and Sell Stock
ALGORITHM Übung - LeetCode 알고리즘 문제 풀이를 통한 코딩 테스트 연습
[ALGORITHM] LeetCode 5. Longest Palindromic Substring
ALGORITHM Übung - LeetCode 알고리즘 문제 풀이를 통한 코딩 테스트 연습
[ALGORITHM] LeetCode 561. Array Partition I
ALGORITHM Übung - LeetCode 알고리즘 문제 풀이를 통한 코딩 테스트 연습
[ALGORITHM] LeetCode 1. Two Sum
ALGORITHM Übung - LeetCode 알고리즘 문제 풀이를 통한 코딩 테스트 연습
[ALGORITHM] LeetCode 49. Group Anagrams
ALGORITHM Übung - LeetCode 알고리즘 문제 풀이를 통한 코딩 테스트 연습
[ALGORITHM] LeetCode 819. Most Common Word
ALGORITHM Übung - LeetCode 알고리즘 문제 풀이를 통한 코딩 테스트 연습
[ALGORITHM] LeetCode 937. Reorder Data in Log Files
ALGORITHM Übung - LeetCode 알고리즘 문제 풀이를 통한 코딩 테스트 연습
[ALGORITHM] LeetCode 344. Reverse String
ALGORITHM Übung - LeetCode 알고리즘 문제 풀이를 통한 코딩 테스트 연습
[ALGORITHM] LeetCode 125. Valid Palindrome
ALGORITHM Übung - LeetCode 알고리즘 문제 풀이를 통한 코딩 테스트 연습
[ALGORITHM] LeetCode 1725. Number Of Rectangles That Can Form The Largest Square
ALGORITHM Übung - LeetCode 알고리즘 문제 풀이를 통한 코딩 테스트 연습
BOJ
[ALGORITHM] BOJ 10162. 전자레인지
ALGORITHM Übung - 백준 알고리즘 문제 풀이를 통한 코딩 테스트 연습
[ALGORITHM] BOJ 1238. 파티
ALGORITHM Übung - 백준 알고리즘 문제 풀이를 통한 코딩 테스트 연습
[ALGORITHM] BOJ 18352. 특정 거리의 도시 찾기
ALGORITHM Übung - 백준 알고리즘 문제 풀이를 통한 코딩 테스트 연습
[ALGORITHM] BOJ 2579. 계단 오르기
ALGORITHM Übung - 백준 알고리즘 문제 풀이를 통한 코딩 테스트 연습 각 계단은 비연속적인 값: n-2번째 계단의 값 + 자기자신 혹은 연속적인 값: n-1번째 계단의 값을 가질 수 있음 이때, n번째 계단은 n-2번째 계단의 최대값 + 자기자신 혹은 ...
[ALGORITHM] BOJ 10872. 팩토리얼
ALGORITHM Übung - 백준 알고리즘 문제 풀이를 통한 코딩 테스트 연습
[ALGORITHM] BOJ 10829. 이진수 변환
ALGORITHM Übung - 백준 알고리즘 문제 풀이를 통한 코딩 테스트 연습
[ALGORITHM] BOJ 15829. Hashing
ALGORITHM Übung - 백준 알고리즘 문제 풀이를 통한 코딩 테스트 연습
[ALGORITHM] BOJ 2745. 진법 변환
ALGORITHM Übung - 백준 알고리즘 문제 풀이를 통한 코딩 테스트 연습
[ALGORITHM] BOJ 5692. 팩토리얼 진법
ALGORITHM Übung - 백준 알고리즘 문제 풀이를 통한 코딩 테스트 연습
[ALGORITHM] BOJ 2606. 바이러스
ALGORITHM Übung - 백준 알고리즘 문제 풀이를 통한 코딩 테스트 연습
[ALGORITHM] BOJ 1260. DFS와 BFS
ALGORITHM Übung - 백준 알고리즘 문제 풀이를 통한 코딩 테스트 연습
[ALGORITHM] BOJ 10816. 숫자 카드 2
ALGORITHM Übung - 백준 알고리즘 문제 풀이를 통한 코딩 테스트 연습
KUBERNETES
[Kubernetes] Declarative Kubernetes YAML
Declarative Kubernetes YAML Kubectl apply Kubernetes Configuration YAML Building YAML Files Building YAML spec Dry Runs and Dif...
[Kubernetes] Kubernetes Management Techniques
Kubernetes Management Techniques YAML Generators in kubectl commands Imperative vs Desclarative Three Management Approaches
[Kubernetes] Kubernetes Services DNS
Kubernetes Services DNS Starting with 1.11, CoreDNS is provided as an internal DNS When using hostnames(e.g. curl {hostname}) it works only when the s...
[Kubernetes] NodePort and LoadBalancer Service
NodePort and LoadBalancer Service Relation between the Services NodePort LoadBalancer
[Kubernetes] Cluster IP Service
Cluster IP service ```bash watch pods in runtime kubectl get pods -w
[Kubernetes] Service & Service Types
Service & Service Types Service: a stable address for pods(i.e an endpoint that is consistent so that other things(in and outside the cluster) can a...
[Kubernetes] Inspecting Kubernetes Object
Inspecting Kubernetes Object get describe logs Watching recreation of Pods
[Kubernetes] Scaling ReplicaSets
Scaling ReplicaSets K8s ReplicaSets CLI Interpretation of the k8s ReplicaSets CLI
[Kubernetes] Kubernetes Create
Kubernetes Create Kubernetes Create CLI Diagram for kubectl create deployment
[Kubernetes] Pod and Kubernetes Run
Pod and Kubernetes Run Pod Kubernetes Run Diagram for kubectl run
[Kubernetes] Kubernetes Overview
Kubernetes Overview Kubernetes Terminology Kubernetes Control Plane Kubernetes Container Abstractions
CLEAN_ARCHITECTURE
PROGRAMMERS
[ALGORITHM] Programmers ALGORITHM 연습문제 Lv3 (1)
ALGORITHM Übung - Programmers 알고리즘 문제 풀이를 통한 코딩 테스트 연습
[ALGORITHM] Programmers ALGORITHM 연습문제 Lv2 (3)
ALGORITHM Übung - Programmers 알고리즘 문제 풀이를 통한 코딩 테스트 연습
[ALGORITHM] Programmers ALGORITHM 연습문제 Lv2 (2)
ALGORITHM Übung - Programmers 알고리즘 문제 풀이를 통한 코딩 테스트 연습
[ALGORITHM] Programmers ALGORITHM 연습문제 Lv2 (1)
ALGORITHM Übung - Programmers 알고리즘 문제 풀이를 통한 코딩 테스트 연습
[ALGORITHM] Programmers ALGORITHM 연습문제 Lv1 (6)
ALGORITHM Übung - Programmers 알고리즘 문제 풀이를 통한 코딩 테스트 연습
[ALGORITHM] Programmers ALGORITHM 연습문제 Lv1 (5)
ALGORITHM Übung - Programmers 알고리즘 문제 풀이를 통한 코딩 테스트 연습
[ALGORITHM] Programmers ALGORITHM 연습문제 Lv1 (4)
ALGORITHM Übung - Programmers 알고리즘 문제 풀이를 통한 코딩 테스트 연습
[ALGORITHM] Programmers ALGORITHM 연습문제 Lv1 (3)
ALGORITHM Übung - Programmers 알고리즘 문제 풀이를 통한 코딩 테스트 연습
[ALGORITHM] Programmers ALGORITHM 연습문제 Lv1 (2)
ALGORITHM Übung - Programmers 알고리즘 문제 풀이를 통한 코딩 테스트 연습
[ALGORITHM] Programmers ALGORITHM 연습문제 Lv1 (1)
ALGORITHM Übung - Programmers 알고리즘 문제 풀이를 통한 코딩 테스트 연습
STUDY_ALGORITHM
[ALGORITHM] 탐욕법
ALGORITHM 알고리즘 스터디(9) 탐욕법
[ALGORITHM] 최단 경로 알고리즘(플로이드 와샬 & 다익스트라)
ALGORITHM 알고리즘 스터디(8) 최단 경로 알고리즘
[ALGORITHM] 동적계획법
ALGORITHM 알고리즘 스터디(7) 동적계획법(Dynamic Programming)
[ALGORITHM] 재귀함수
ALGORITHM 알고리즘 스터디(6) 재귀함수
[ALGORITHM] 해시
ALGORITHM 알고리즘 스터디(5) 해시
[ALGORITHM] 진법변환 & 비트연산
ALGORITHM 알고리즘 스터디(4) 진법변환 & 비트연산
[ALGORITHM] 깊이우선탐색(Depth First Search) & 너비우선탐색(Breadth First Search)
ALGORITHM 알고리즘 스터디(3) 탐색 완전탐색(Brute-Force) 이분탐색(Binary Search) 깊이우선탐색(Depth First Search) 너비우선탐색(Breadth First Search) ...
[ALGORITHM] 완전탐색(Brute-Force) & 이분탐색
ALGORITHM 알고리즘 스터디(2) 탐색 완전탐색(Brute-Force) 이분탐색(Binary Search) 깊이우선탐색(Depth First Search) 너비우선탐색(Breadth First Search) ...
[ALGORITHM] Stack & Queue
ALGORITHM 알고리즘 스터디(1) Stack & Queue(Deque)
HIVE
[Hive] Sort
Sort order by sort by distribute by cluster by
[Hive] Alter
Alter
[Hive] Creating Multiple Tables from Another Table
Creating Multiple Tables from Another Table
[Hive] Creating Table from Another Table
Creating Table from Another Table
[Hive] LOAD DATA
LOAD DATA
[Hive] Internal & External Table
Internal & External Table Internal Table External Table
[Hive] Hive Architecture
Hive Architecture
NETWORK
[Computer Science] 따라學IT 네트워크 기초1 - ARP 프로토콜
ARP 프로토콜 ARP 프로토콜 ARP 프로토콜의 통신 과정 ARP 테이블 실습
[Computer Science] 따라學IT 네트워크 기초1 - 3계층에서의 통신
3계층에서의 통신 3계층의 기능 일반적인 IP주소 특수한 IP주소
[Computer Science] 따라學IT 네트워크 기초1 - 2계층에서의 통신
2계층에서의 통신 2계층에서 하는 일 2계층에서 사용하는 주소 2계층 프로토콜 MAC주소 및 Ethernet 프로토콜 캡처 및 분석
[Computer Science] 따라學IT 네트워크 기초1 - 네트워크 모델
네트워크 모델 네트워크 모델의 종류 두 모델 비교 네트워크를 통해 전달되는 데이터, 패킷 실습 - 프로토콜의 캡슐화된 모습 및 계층 별 프로토콜 확인
[Computer Science] 따라學IT 네트워크 기초1 - 프로토콜 확인 실습
프로토콜 확인 실습 구글과의 연결 Wireshark으로 프로토콜 확인
[Computer Science] 따라學IT 네트워크 기초1 - 네트워크란 무엇인가?
네트워크란 무엇인가? 네트워크란 무엇인가? 네트워크의 분류 네트워크의 통신 방식 네트워크의 프로토콜
[Computer Science] 모두의 네트워크
네트워크 첫 걸음 LESSON 01: 네트워크의 구조 LESSON 02: 정보의 양을 나타내는 단위 LESSON 03: LAN과 WAN LESSON 04: 가정에서 하는 LAN 구성 LESSON 05: 회사에서 하는 LAN 구성
LINUX
[Linux] Ubuntu Apache Server
Installing Apache Server on Ubuntu using Docker
[Linux] Ubuntu python-package offline installation
Installing python packages offline 🔗 Download Python Packages check the python version ex.pandas-2.1.0-cp39: python3.9 usi...
[Linux] Ubuntu apt-get offline installation
Installing apt packages offline 1 recommended
[Linux] Ubuntu DNS Nameserver
DNS Nameserver on Ubuntu22.04 ```bash vi /etc/resolv.conf nameserver {dns_server_IP}
[Linux] Linux Disk
Linux Disk ```bash overall information df -h
CLI
[UNIX CLI] Command Line(4)
UNIX COMMAND LINE UNIX CLI 정리(4) bash : shell script 수행 $@ : bash를 통해 shell script를 실행할 때 변수를 받을 수 있게 함 for : for loop
[UNIX CLI] Command Line(3)
UNIX COMMAND LINE UNIX CLI 정리(3) echo를 통해 variable의 name, value을 print할 수 있음 =를 통해 shell variable 생성 가능 for [variable] in [list] ; do [body] ; don...
[UNIX CLI] Command Line(2)
UNIX COMMAND LINE UNIX CLI 정리(2) cut을 통해 텍스트 형식 파일의 열을 선택해서 볼 수 있음 grep을 통해 텍스트 형식 파일에서 특정 문자 패턴만 filter해서 볼 수 있음 >을 통해 명령어를 통해 산출된 결과를 저장(redi...
[UNIX CLI] VIM
UNIX COMMAND LINE UNIX CLI 정리(2) - VIM VIM은 4가지 모드가 존재 Normal Mode : 커서 이동/ 텍스트 붙여놓기/ 텍스트 삭제/ 작업 취소 Insert Mode : 텍스트 입력 Visual...
[UNIX CLI] Command Line(1)
UNIX COMMAND LINE UNIX CLI 정리(1) argument(인자)는 커맨드가 작동할 대상을 지정하기 위해 사용 option(옵션)은 커맨드가 구체적으로 어떤 방식으로 동작할지를 지시하기 위해 사용 옵션은 하이픈(-)이 붙음 ...
DJANGO
[Django] 배포
DJANGO WEB DEVELOPMENT 5. 배포
[Django] Model
DJANGO WEB DEVELOPMENT 4. Model
[Django] Template & View
DJANGO WEB DEVELOPMENT 3. TEMPLATE & VIEW
[Django] 구조 이해하기
DJANGO WEB DEVELOPMENT 2. DJANGO 구조 이해하기
[Django] 개발환경 구성하기
DJANGO WEB DEVELOPMENT 1. 개발환경 구성하기
NOSQL
[NoSQL] Introduction to MongoDB(3)
MongoDB Projection Sort Index
[NoSQL] Introduction to MongoDB(2)
MongoDB .distinct() - get unique values $elemMatch - filter documents that matches all the specified query criteria $regex - filter documents matchi...
[NoSQL] Introduction to MongoDB(1)
MongoDB Mongoclient.my_database.my_collection - access database & collection .count_documents() - count documents in collection .list_database_n...
[NoSQL] mongoexport & mongoimport
MongoExport Installation Mongoexport Mongoimport
[NoSQL] MongoDB Shell
MongoDB Shell MongoDB Shell Overall MongoDB Shell Find MongoDB Shell Update & Remove & Drop MongoDB Shell Aggregate
AWS
[Cloud] AWS Redshift - Dbeaver 연결
AWS Redshift - Dbeaver 연결 IAM Role - AmazonRedShiftFullAccess 추가 Security Group - Inbound Rule에 Type: Redshift, My IP 추가 Redshift Cluster 생성 후 Actions...
[Cloud] AWS S3
AWS S3 S3 Overview Buckets Objects Versioning Encryption
[Cloud] AWS EC2 SSH
AWS EC2 SSH Instance 생성시 발급받는 key(EC2Tutorial) 잘 보관 권한 수정 후 ssh로 접속
[Cloud] AWS EC2 Sizing & Configuration Options
AWS EC2 Sizing & Configuration Options Operating System(OS): Linux, MacOS, Windows Compute Powers * Cores(CPU) Random-Access Memory (RAM) Stor...
[Cloud] AWS CLI Setup
AWS CLI Setup AWS CLI Setup on MacOS AWS CLI Hands On
HADOOP
[Hadoop] Hadoop CLI
Hadoop CLI ```bash 폴더 생성(-p: 상위 폴더가 없으면 자동으로 생성) hdfs dfs -mkdir -p /user/ml-100k
[Hadoop] Hadoop 개념 정리
Hadoop 기본 개념 V1 V2 V3
[Hadoop] Hadoop Installation on Local(Mac)
Hadoop Installation on Local(Mac) Hadoop Installation 환경변수 설정 사전 준비 Hadoop 실행 MapReduce 실행 Yarn 확인 Error 관련
WEB_CRAWLING
[Web Crawling] Scrapy to S3
Scrapy to S3 Install Packages settings.py
[Web Crawling] Web Crawler Container(Docker)
Web Crawling Container(Docker) Run Container Start Scrapy Project
[Web Crawling] Crawling Children News by Scrapy
Web Crawling 가상환경 및 scrapy 프로젝트 구축 사전 확인 Requests Requests 한글 깨짐 Code items.py spiders/kidnews_spider.py pipelines.py ...
JAVA
[JAVA] MVC
JAVA - MVC
[JAVA] MySQL JDBC 연결 [MAC]
JAVA - MYSQL JDBC 연결 [MAC]
OS
[Computer Science] System Structure & Program Execution 1
System Structure & Program Execution 1