pepe

1. 왜 이 글을 쓰게 되었나요?2. 성능 테스트3. 샘플 데이터 정보 1. 왜 이 글을 쓰게 되었나요?쿼리 튜닝을 위해 인덱스를 생성하는 일은 개발하면서 자주 접하게 됩니다.그런데 최근 증분 데이터를 다른 시스템(Redshift 등)으로 옮길 때도 인덱스를 활용할 수 있다는 사실을 알게 되었습니다.그리고 우리가 평소에 사용하던 인덱스는 어떤 역할을 하는지 궁금해졌고,정리하는 마음으로 이 글을 작성하게 되었습니다. BTREE (Balanced Tree) 인덱스Postgres의 기본 인덱스 타입입니다. CREATE INDEX idx_parcel_tracking_customer_name ON parcel_tracking (customer_name); 요 쿼리를 수행 했을 때 생성되는 인덱스입니다.값을 정렬된..

전체 코드 https://github.com/GHGHGHKO/pepega-blog-kotlin 모든 IDE를 사용해도 좋습니다. 글에서는 Intellij를 활용합니다. IDE : Intellij IDEA OS : Windows 10 1. 프로젝트 생성 https://start.spring.io/ 위 링크에서 프로젝트를 생성합니다. JPA를 활용하기 위한 Spring Data JPA 무분별한 API 호출을 방지하기 위한 Spring Security 요청(Request body) 유효성 체크를 위한 Validation RESTful API를 생성하기 위한 Spring Web 로컬 테스트를 위한 H2 Database 개발 환경 구축을 위한 PostgreSQL(다른 DB도 상관 없습니다.) 코드를 Github에..

취미생활로 프로젝트를 하나 시작했다. 아직 github에 push 하진 않았지만 시작 중 방법을 올려보려고 한다. # Use postgres/example user/password credentials version: '3' services: goose-auth-api: image: gudrb963/goose-auth-api:latest container_name: goose-auth-api build: context: . ports: - 8080:8080 depends_on: - postgres environment: - SPRING_DATASOURCE_URL=jdbc:postgresql://postgres:5432/gooseauth - SPRING_DATASOURCE_USERNAME=gooseauth..

공식 문서를 토대로 활용하였다. XComs https://airflow.apache.org/docs/apache-airflow/stable/concepts/xcoms.html#working-with-custom-xcom-backends-in-containers xcom_pull https://airflow.apache.org/docs/apache-airflow/stable/_api/airflow/models/baseoperator/index.html?highlight=xcom_pull#airflow.models.baseoperator.BaseOperator.xcom_pull Examples https://github.com/apache/airflow/blob/main/airflow/example_dags..

공식 문서를 기반으로 작성하였다. PostgresHook https://airflow.apache.org/docs/apache-airflow-providers-postgres/stable/_api/airflow/providers/postgres/hooks/postgres/index.html#airflow.providers.postgres.hooks.postgres.PostgresHook.conn_name_attr DbApi https://airflow.apache.org/docs/apache-airflow/stable/_modules/airflow/hooks/dbapi.html#DbApiHook.get_first 하단 코드는 아래에 있다. https://github.com/GHGHGHKO/airflow/..

공식 문서를 기반으로 글과 코드를 작성하였다. https://airflow.apache.org/docs/apache-airflow/stable/howto/custom-operator.html 코드는 아래에 있다. https://github.com/GHGHGHKO/airflow/commit/37966fd4e8774e04c95f6393fd796b86573d4dc2 예시를 들어서 내용을 적도록 하겠다. 테이블 스페이스가 부족할 때 경고 메일을 보내는 스케줄을 추가하려고 한다. 메일 내용에 특정 테이블 스페이스 이름을 넣은 채로 메일을 보내고 싶은데 --테이블 스페이스 이름 조회 select name from table_space; Airflow에서 제공하는 SQLOperator는 Airflow의 XCOM으로 ..

Apache Airflow 공식 문서를 토대로 진행하고자 한다. https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html 로컬에서 진행할 예정이다. 공식 문서에 따르면 프로덕션 환경에서 사용하기 위한 것이 아니라고 나온다. 그래서 추후에 "Kubernetes 기반의 Airflow 활용하기"를 올릴 예정이다. 설치 후 원하고자 하는 활용 방안은 아래와 같다. 1. 테이블 조회 후 일정 수치 이상일 경우 알람 메일 발송 2. 서버 피크시간(09시~18시) 이후 매달 초 다량의 데이터를 메일로 전송 설치 시작 1. docker-compose 파일 설치 curl -LfO 'https://airflow.apache.org/docs/apache..