pepe

이전 포스팅에선 Supabase가 뭔지 대략 찍어먹어봤습니다. 이번 포스팅에선 Supabase를 회원가입하고 Vector DB를 만들어보기 전간단한 테이블을 만들고 CRUD를 해볼까해요. 1. Supabase 회원가입하기https://supabase.com/ 에 접속하여 Sign In 클릭 후 GitHub로 로그인을 합니다. (이메일 인증도 같이)GitHub로 가입하면 나중에 프로젝트와 연동할 때 편리합니다. Edge Functions나 GitHub Actions를 쓸 계획이라면 GitHub 가입을 추천해요. 가입이 완료되면 Organization, proejct를 설정합니다. 이제 프로젝트가 생성되었습니다! 2. API 키 확인 및 저장프로젝트 생성 후 좌측 사이드바에서 Project Setting..

개요요즘 여기저기서 Vector DB(벡터 데이터베이스)라는 말을 자주 보게 됩니다.제가 알고 있던 DB라고 해봐야 RDB, NoSQL 정도였는데처음 Vector DB라는 단어를 들었을 땐“이게 대체 뭐지?” 싶은 느낌이 먼저 들더라고요.뭔가 AI랑 관련 있어 보이긴 하는데 정확히 어떤 역할을 하는지는 감이 안 왔습니다.그래서 그냥 GPT한테 물어봤습니다. Vector DB가 뭐냐면요GPT가 설명해준 내용을 정리하면 이렇습니다.텍스트, 이미지, 음성 같은 데이터를 숫자 배열(예: 1536차원 실수 벡터)로 변환하고이 벡터들을 저장한 뒤 벡터 간 유사도 검색을 수행한다(코사인 유사도, L2 Distance 등)한 줄로 줄이면,👉 “의미적으로 비슷한 데이터를 찾아주는 DB”이렇게 생각하면 이해가 좀 됩니다..

1. 왜 이 글을 쓰게 되었나요?2. 성능 테스트3. 샘플 데이터 정보 1. 왜 이 글을 쓰게 되었나요?쿼리 튜닝을 위해 인덱스를 생성하는 일은 개발하면서 자주 접하게 됩니다.그런데 최근 증분 데이터를 다른 시스템(Redshift 등)으로 옮길 때도 인덱스를 활용할 수 있다는 사실을 알게 되었습니다.그리고 우리가 평소에 사용하던 인덱스는 어떤 역할을 하는지 궁금해졌고,정리하는 마음으로 이 글을 작성하게 되었습니다. BTREE (Balanced Tree) 인덱스Postgres의 기본 인덱스 타입입니다. CREATE INDEX idx_parcel_tracking_customer_name ON parcel_tracking (customer_name); 요 쿼리를 수행 했을 때 생성되는 인덱스입니다.값을 정렬된..

전체 코드 https://github.com/GHGHGHKO/pepega-blog-kotlin 모든 IDE를 사용해도 좋습니다. 글에서는 Intellij를 활용합니다. IDE : Intellij IDEA OS : Windows 10 1. 프로젝트 생성 https://start.spring.io/ 위 링크에서 프로젝트를 생성합니다. JPA를 활용하기 위한 Spring Data JPA 무분별한 API 호출을 방지하기 위한 Spring Security 요청(Request body) 유효성 체크를 위한 Validation RESTful API를 생성하기 위한 Spring Web 로컬 테스트를 위한 H2 Database 개발 환경 구축을 위한 PostgreSQL(다른 DB도 상관 없습니다.) 코드를 Github에..

취미생활로 프로젝트를 하나 시작했다. 아직 github에 push 하진 않았지만 시작 중 방법을 올려보려고 한다. # Use postgres/example user/password credentials version: '3' services: goose-auth-api: image: gudrb963/goose-auth-api:latest container_name: goose-auth-api build: context: . ports: - 8080:8080 depends_on: - postgres environment: - SPRING_DATASOURCE_URL=jdbc:postgresql://postgres:5432/gooseauth - SPRING_DATASOURCE_USERNAME=gooseauth..

공식 문서를 토대로 활용하였다. XComs https://airflow.apache.org/docs/apache-airflow/stable/concepts/xcoms.html#working-with-custom-xcom-backends-in-containers xcom_pull https://airflow.apache.org/docs/apache-airflow/stable/_api/airflow/models/baseoperator/index.html?highlight=xcom_pull#airflow.models.baseoperator.BaseOperator.xcom_pull Examples https://github.com/apache/airflow/blob/main/airflow/example_dags..

공식 문서를 기반으로 작성하였다. PostgresHook https://airflow.apache.org/docs/apache-airflow-providers-postgres/stable/_api/airflow/providers/postgres/hooks/postgres/index.html#airflow.providers.postgres.hooks.postgres.PostgresHook.conn_name_attr DbApi https://airflow.apache.org/docs/apache-airflow/stable/_modules/airflow/hooks/dbapi.html#DbApiHook.get_first 하단 코드는 아래에 있다. https://github.com/GHGHGHKO/airflow/..

공식 문서를 기반으로 글과 코드를 작성하였다. https://airflow.apache.org/docs/apache-airflow/stable/howto/custom-operator.html 코드는 아래에 있다. https://github.com/GHGHGHKO/airflow/commit/37966fd4e8774e04c95f6393fd796b86573d4dc2 예시를 들어서 내용을 적도록 하겠다. 테이블 스페이스가 부족할 때 경고 메일을 보내는 스케줄을 추가하려고 한다. 메일 내용에 특정 테이블 스페이스 이름을 넣은 채로 메일을 보내고 싶은데 --테이블 스페이스 이름 조회 select name from table_space; Airflow에서 제공하는 SQLOperator는 Airflow의 XCOM으로 ..

Apache Airflow 공식 문서를 토대로 진행하고자 한다. https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html 로컬에서 진행할 예정이다. 공식 문서에 따르면 프로덕션 환경에서 사용하기 위한 것이 아니라고 나온다. 그래서 추후에 "Kubernetes 기반의 Airflow 활용하기"를 올릴 예정이다. 설치 후 원하고자 하는 활용 방안은 아래와 같다. 1. 테이블 조회 후 일정 수치 이상일 경우 알람 메일 발송 2. 서버 피크시간(09시~18시) 이후 매달 초 다량의 데이터를 메일로 전송 설치 시작 1. docker-compose 파일 설치 curl -LfO 'https://airflow.apache.org/docs/apache..