pepe

4편에서 Voyage AI로 임베딩을 생성하고 Supabase에 벡터 데이터를 적재했습니다. 이번 편에서는 적재된 데이터를 실제로 검색하는 search Edge Function을 구현하고, RAG 파이프라인을 완성하는 과정을 다룹니다.이번 편에서 다루는 내용search Edge Function 구현similarity 임계값 설정 원리Claude API로 최종 답변 생성RAG 검색 품질 테스트1. 검색 아키텍처3편에서 등록한 search_medicines, search_medicines_hybrid 함수를 활용해 아래 흐름으로 검색합니다.사용자 질문 │ ▼[Voyage AI] → query 임베딩 생성 (input_type: "query") │ ▼[search_medicines] → ..

개요1편에서 Supabase 테이블과 검색 함수를 구성했습니다. 이번 편에서는 Supabase Edge Functions를 활용해 실제 약품 데이터를 벡터 DB에 적재하는 과정을 다룹니다.이번 편에서 다루는 내용Supabase Edge Function 작성 (ingest)Voyage AI로 임베딩 생성로컬 JSON 파일을 Edge Function으로 전송하는 Python 스크립트1. Supabase 새 API 키 체계 이해Edge Function을 작성하기 전에 Supabase의 새 API 키 체계를 이해해야 합니다.Supabase는 기존의 JWT 기반 키(anon, service_role)에서 새로운 키 형식으로 전환 중입니다.구분 기존 신규공개 키anon (JWT)sb_publishable_...비밀..

저번 포스팅에선 Supabase를 회원가입한 뒤 키를 발급 받았고 간단한 테이블을 생성하여 CRUD를 했습니다.이번 포스팅에선 RAG 관련한 간단한 테스트 진행을 위해 새 프로젝트를 추가하고 벡터 DB를 생성하는 포스팅을 해보겠습니다.이번 시리즈에서는 공공 약품 데이터를 활용해 자연어로 질문하면 관련 약품 정보를 찾아주는 RAG(Retrieval-Augmented Generation) 시스템을 구축합니다.예를 들어 "임신 중에 먹으면 안 되는 약은?", "아스피린 부작용이 뭐야?" 처럼 자연어로 질문하면 관련 약품 정보를 검색하고 Claude가 답변을 생성해주는 시스템입니다.전체 스택Supabase (pgvector) — 벡터 DB 및 APIVoyage AI — 임베딩 모델 (Anthropic 공식 권장..

이전 포스팅에선 Supabase가 뭔지 대략 찍어먹어봤습니다. 이번 포스팅에선 Supabase를 회원가입하고 Vector DB를 만들어보기 전간단한 테이블을 만들고 CRUD를 해볼까해요. 1. Supabase 회원가입하기https://supabase.com/ 에 접속하여 Sign In 클릭 후 GitHub로 로그인을 합니다. (이메일 인증도 같이)GitHub로 가입하면 나중에 프로젝트와 연동할 때 편리합니다. Edge Functions나 GitHub Actions를 쓸 계획이라면 GitHub 가입을 추천해요. 가입이 완료되면 Organization, proejct를 설정합니다. 이제 프로젝트가 생성되었습니다! 2. API 키 확인 및 저장프로젝트 생성 후 좌측 사이드바에서 Project Setting..

개요요즘 여기저기서 Vector DB(벡터 데이터베이스)라는 말을 자주 보게 됩니다.제가 알고 있던 DB라고 해봐야 RDB, NoSQL 정도였는데처음 Vector DB라는 단어를 들었을 땐“이게 대체 뭐지?” 싶은 느낌이 먼저 들더라고요.뭔가 AI랑 관련 있어 보이긴 하는데 정확히 어떤 역할을 하는지는 감이 안 왔습니다.그래서 그냥 GPT한테 물어봤습니다. Vector DB가 뭐냐면요GPT가 설명해준 내용을 정리하면 이렇습니다.텍스트, 이미지, 음성 같은 데이터를 숫자 배열(예: 1536차원 실수 벡터)로 변환하고이 벡터들을 저장한 뒤 벡터 간 유사도 검색을 수행한다(코사인 유사도, L2 Distance 등)한 줄로 줄이면,👉 “의미적으로 비슷한 데이터를 찾아주는 DB”이렇게 생각하면 이해가 좀 됩니다..

Java 25가 나오는 시점에 Java 8에 출시된 Optional 글을 이제와서 포스팅하는 것도 이상하네요. ㅋㅋㅋ 그래도 많이 쓰니까.. 포스팅 시작합니다. 개요https://homoefficio.github.io/2019/10/03/Java-Optional-%EB%B0%94%EB%A5%B4%EA%B2%8C-%EC%93%B0%EA%B8%B0/Optional을 쓸 때 가장 많이 homoefficio님의 참고했던 글이에요. https://stackoverflow.com/questions/26327957/should-java-8-getters-return-optional-type/26328555#26328555Java 언어 설계자인 Brian Goetz가 Java 8 Optional의 목적을 적었어요.Op..

1. 왜 이 글을 쓰게 되었나요?2. 성능 테스트3. 샘플 데이터 정보 1. 왜 이 글을 쓰게 되었나요?쿼리 튜닝을 위해 인덱스를 생성하는 일은 개발하면서 자주 접하게 됩니다.그런데 최근 증분 데이터를 다른 시스템(Redshift 등)으로 옮길 때도 인덱스를 활용할 수 있다는 사실을 알게 되었습니다.그리고 우리가 평소에 사용하던 인덱스는 어떤 역할을 하는지 궁금해졌고,정리하는 마음으로 이 글을 작성하게 되었습니다. BTREE (Balanced Tree) 인덱스Postgres의 기본 인덱스 타입입니다. CREATE INDEX idx_parcel_tracking_customer_name ON parcel_tracking (customer_name); 요 쿼리를 수행 했을 때 생성되는 인덱스입니다.값을 정렬된..

전체 구현은 아래 GitHub 저장소에서 확인하실 수 있습니다.🔗 GHGHGHKO/roadmap-todo 이 글에서는 JWT를 발급하고 검증하는 서버에서 토큰을 핸들링하는 핵심 로직만 발췌하여 설명합니다.Kotlin과 Spring Boot 3.4.0-SNAPSHOT, Corretto 21을 사용했습니다.https://github.com/GHGHGHKO/roadmap-todo GitHub - GHGHGHKO/roadmap-todo: todos with authenticatetodos with authenticate. Contribute to GHGHGHKO/roadmap-todo development by creating an account on GitHub.github.com 기능 개요이 서버는 R..

RSA JWT 적용하는 이유모바일 앱으로부터 전달받은 JWT의 payload를 서버에서 사용해야 하는 상황이 발생했습니다.이때 JWT는 HMAC 기반(HS256, HS384, HS512)으로 서명되어 있었고, 이를 검증하거나 payload를 신뢰하려면 secret key(대칭키)가 필요했습니다.그러나 이 키는 외부에 노출되면 안 되기 때문에, 보안상 앱에서 전달받을 수 없는 구조였습니다.결국 서버는 JWT를 검증하기 위해 JWT를 발급한 인증 서버에 검증 요청을 해야만 했습니다. HMAC JWT 방식의 한계이 구조도 가능하긴 하지만, 다음과 같은 단점이 있습니다:JWT Issuer는 토큰을 발급할 뿐 아니라 검증 요청도 매번 처리해야 합니다.따라서 JWT Issuer의 부하가 증가할 수 있으며, 서비스 ..

GitHub의 GitHub Actions을 사용해 gradle 빌드를 하다보면아래와 같은 오류가 발생하게 됩니다. https://github.com/GHGHGHKO/marker-example/actions/runs/14493586258/job/40655540458?pr=1Run ./gradlew build/home/runner/work/_temp/8da5b9bc-8547-4080-9e61-f6a7481688b5.sh: line 1: ./gradlew: Permission deniedError: Process completed with exit code 126. 해결 방법으론 workflow에 - name: Make gradlew executable run: chmod +x ./gradlew..