가볍게 시작하는 AI 시대의 핵심! 벡터 데이터베이스 3총사: Chroma, Weaviate, Supabase (pgvector) 비교 가이드 🚀

안녕하세요, AI와 데이터를 사랑하는 개발자 여러분! 👋

최근 챗GPT를 비롯한 생성형 AI의 폭발적인 성장과 함께, 우리는 AI 기술이 일상 속에 깊숙이 들어오는 놀라운 시대를 경험하고 있습니다. 이러한 AI 모델들을 더욱 똑똑하고 유용하게 만들려면, 방대한 양의 비정형 데이터를 AI가 이해할 수 있는 형태로 저장하고 빠르게 검색할 수 있는 기술이 필수적인데요. 바로 이때 등장하는 개념이 “벡터 데이터베이스 (Vector Database)”입니다! 💡

하지만 수많은 벡터 DB 종류 중에서 어떤 것을 선택해야 할지 막막하셨죠? 특히나 처음 시작하는 분들에게는 복잡한 설치나 거대한 인프라 없이 “가볍게” 시작할 수 있는 옵션이 중요할 겁니다.

그래서 오늘은 여러분의 이러한 고민을 덜어드리고자, 가볍게 시작하기 좋으면서도 강력한 기능을 제공하는 벡터 데이터베이스 3총사, Chroma, Weaviate, 그리고 Supabase (pgvector)를 심층적으로 비교 분석해 드리겠습니다! 이 글을 통해 여러분의 프로젝트에 딱 맞는 벡터 DB를 찾으시길 바랍니다. 😊

목차

1. 🤔 왜 벡터 데이터베이스가 필요한가요?
   • AI 시대의 데이터 검색 방식 변화
   • 임베딩(Embedding)과 유사도 검색(Similarity Search)의 이해
   • 벡터 DB의 핵심 활용 사례
2. 🚀 가볍게 시작하는 벡터 DB 3총사 소개!
   • Chroma: 로컬에서 빛나는 인메모리 스타 ✨
   • Weaviate: 확장 가능한 클라우드 네이티브의 힘 💪
   • Supabase (pgvector): 익숙함 속의 강력함 🐘
3. 🔍 각 벡터 DB 심층 분석 및 예시
   • Chroma 자세히 보기 (Python 예제 포함)
   • Weaviate 자세히 보기 (개념 및 활용 예시)
   • Supabase (pgvector) 자세히 보기 (SQL 예제 포함)
4. 🎯 어떤 벡터 DB를 선택해야 할까요? (선택 가이드)
   • 프로젝트 규모 및 복잡성
   • 기술 스택 및 익숙도
   • 확장성 요구 사항
   • 배포 및 관리 용이성
   • 비용
5. 마무리하며: 여러분의 AI 여정을 응원합니다! 🌟

1. 🤔 왜 벡터 데이터베이스가 필요한가요?

AI 시대의 데이터 검색 방식 변화

기존의 데이터베이스는 주로 정형 데이터를 테이블 형태로 저장하고, SQL 쿼리나 키워드 매칭을 통해 데이터를 검색했습니다. “상품 이름이 ‘아이폰’인 모든 레코드를 찾아줘”와 같은 방식이죠. 하지만 AI 시대에는 “아이폰과 관련된 ‘비슷한’ 상품들을 찾아줘”와 같이 의미론적인 검색이 중요해졌습니다.

예를 들어, “사랑”이라는 단어를 검색했을 때, 단순히 “사랑”이라는 단어가 들어간 문서뿐만 아니라 “애정,” “연모,” “로맨스” 등 의미적으로 유사한 개념을 포함하는 문서까지 찾아내야 하는 경우가 많습니다. 💖

임베딩(Embedding)과 유사도 검색(Similarity Search)의 이해

이러한 의미론적 검색을 가능하게 하는 핵심 기술이 바로 임베딩(Embedding)입니다. 임베딩은 텍스트, 이미지, 오디오 등 다양한 형태의 비정형 데이터를 AI 모델이 이해할 수 있는 고차원 벡터(숫자 배열)로 변환하는 과정입니다. 이 벡터는 해당 데이터의 “의미적 지문”과 같다고 생각하시면 됩니다.

• 텍스트 “강아지” → [0.1, 0.5, -0.2, …]
• 텍스트 “고양이” → [0.15, 0.52, -0.18, …] (강아지와 유사한 벡터)
• 텍스트 “자동차” → [-0.8, 0.3, 0.9, …] (강아지와 거리가 먼 벡터)

이제 데이터는 숫자의 배열인 벡터로 표현되었으니, 벡터와 벡터 사이의 거리를 측정하여 얼마나 “유사한지”를 판단할 수 있습니다. 이것이 바로 유사도 검색(Similarity Search)입니다. 🔍

벡터 데이터베이스는 이러한 임베딩 벡터들을 효율적으로 저장하고, 수백만, 수십억 개에 달하는 벡터들 속에서 가장 유사한 벡터를 빠르게 찾아주는 데 특화된 데이터베이스입니다.

벡터 DB의 핵심 활용 사례

벡터 DB는 오늘날 AI 애플리케이션의 핵심 구성 요소로 자리 잡고 있습니다. 주요 활용 사례는 다음과 같습니다:

• RAG (Retrieval-Augmented Generation): LLM(대규모 언어 모델)이 최신 정보나 특정 도메인 지식을 학습하지 못하는 문제를 보완하기 위해, 관련 문서를 벡터 DB에서 검색하여 LLM에 제공하는 방식. 챗봇이 회사 내부 문서나 실시간 정보를 바탕으로 답변하게 할 때 유용합니다. 📚
• 시맨틱 검색 (Semantic Search): 키워드 매칭이 아닌, 사용자의 질문 의도를 파악하여 가장 관련성 높은 정보를 찾아주는 검색 엔진. 쇼핑몰에서 “파티에 입고 갈 만한 옷”을 검색했을 때, 키워드보다는 스타일과 용도에 맞는 옷을 추천해주는 식이죠. 👗
• 추천 시스템 (Recommendation Systems): 사용자의 과거 행동(시청 기록, 구매 내역)을 임베딩하여, 유사한 관심사를 가진 다른 사용자나 유사한 아이템을 추천해줍니다. “넷플릭스 다음 볼 영화 추천”이나 “유튜브 다음 볼 영상 추천”이 대표적인 예시입니다. 🍿
• 이상 감지 (Anomaly Detection): 정상적인 패턴의 데이터를 임베딩하여 저장하고, 새로운 데이터의 임베딩이 정상 패턴과 멀리 떨어져 있다면 이상(Anomaly)으로 판단합니다. 금융 사기 감지, 네트워크 침입 탐지 등에 활용됩니다. 🚨

2. 🚀 가볍게 시작하는 벡터 DB 3총사 소개!

자, 이제 오늘 살펴볼 세 가지 벡터 DB들을 간략히 소개해 드리겠습니다. 각기 다른 매력을 가지고 있으니, 여러분의 상황에 맞춰 선택하는 것이 중요합니다!

Chroma: 로컬에서 빛나는 인메모리 스타 ✨

• 특징: Python 친화적이고, 매우 가볍게 시작할 수 있는 오픈소스 벡터 임베딩 데이터베이스입니다. 별도의 서버 설치 없이 Python 라이브러리처럼 사용할 수 있어 초기 개발에 매우 용이합니다. 기본적으로 인메모리 모드를 지원하며, 파일 시스템에 데이터를 저장할 수도 있습니다.
• 강점: 압도적인 시작 용이성, 낮은 러닝 커브, 로컬 개발 및 테스트에 최적화.
• 적합한 경우: 개인 프로젝트, 프로토타이핑, 소규모 POC(개념 증명), Python 개발 환경에 익숙한 경우.

Weaviate: 확장 가능한 클라우드 네이티브의 힘 💪

• 특징: AI-네이티브 및 클라우드 네이티브 설계를 특징으로 하는 오픈소스 벡터 검색 엔진입니다. 확장성과 성능에 중점을 두며, 강력한 필터링 기능과 다양한 벡터 검색 알고리즘을 지원합니다. GraphQL API를 통해 데이터를 조작하고 검색할 수 있습니다.
• 강점: 높은 확장성, 풍부한 기능(필터링, 그래프 기능), 클라우드 배포 용이, 활발한 커뮤니티.
• 적합한 경우: 중간 규모 이상의 프로젝트, 프로덕션 환경, 다양한 데이터를 복합적으로 검색해야 하는 경우, 클라우드 환경에 익숙한 경우.

Supabase (pgvector): 익숙함 속의 강력함 🐘

• 특징: Supabase는 Firebase의 오픈소스 대안을 표방하는 BaaS(Backend as a Service) 플랫폼입니다. 이 Supabase의 핵심인 PostgreSQL 데이터베이스에 pgvector라는 확장(extension)을 설치하여 벡터 검색 기능을 추가합니다. 즉, 이미 익숙한 관계형 데이터베이스의 안정성과 기능을 활용하면서 벡터 검색까지 가능하게 됩니다.
• 강점: SQL 기반의 익숙함, 기존 PostgreSQL 생태계 활용, Supabase 플랫폼의 편리한 관리 기능(인증, 스토리지 등), ACID 트랜잭션 보장.
• 적합한 경우: 기존에 PostgreSQL을 사용하고 있거나 익숙한 경우, 관계형 데이터와 벡터 데이터를 함께 관리하고 싶은 경우, 빠른 백엔드 개발이 필요한 경우.

3. 🔍 각 벡터 DB 심층 분석 및 예시

이제 각 벡터 DB에 대해 좀 더 깊이 있게 알아보고, 간단한 예시 코드를 통해 어떻게 사용하는지 살펴보겠습니다.

Chroma: 로컬에서 빛나는 인메모리 스타 ✨

Chroma는 Python 개발자에게 가장 친숙하게 다가갈 수 있는 벡터 DB입니다. pip install 한 줄이면 바로 사용할 준비가 끝납니다.

• 주요 특징:

  • 인메모리 & 파일 시스템 지원: 시작은 인메모리로 가볍게, 필요하면 파일 시스템에 저장하여 영속성을 확보할 수 있습니다.
  • 컬렉션(Collection) 기반: 데이터를 논리적으로 구분하는 ‘컬렉션’ 개념을 사용합니다.
  • Pythonic API: 파이썬 개발자가 직관적으로 사용할 수 있는 깔끔한 API를 제공합니다.
  • 메타데이터 필터링: 벡터 검색과 함께 메타데이터를 기반으로 필터링할 수 있습니다.

• 장점:

  • 설치 및 사용이 매우 간편합니다.
  • Python 개발자와 학습자에게 진입 장벽이 낮습니다.
  • 로컬 개발, 테스트, 소규모 POC에 적합합니다.
  • 별도의 인프라 관리 비용이 들지 않습니다.

• 단점:

  • 대규모 데이터나 고성능 프로덕션 환경에는 적합하지 않을 수 있습니다.
  • 분산 처리나 고가용성 기능은 제한적입니다.
  • Python 생태계에 종속적입니다.

• Chroma Python 예제:

  import chromadb
  from chromadb.utils import embedding_functions
  
  # 1. Chroma 클라이언트 초기화 (인메모리 모드)
  # 디스크에 저장하려면 persist_directory='my_chroma_db' 와 같이 지정
  client = chromadb.Client() # 기본적으로 인메모리
  
  # 2. 임베딩 함수 정의 (OpenAI 임베딩 사용 예시)
  # 실제 사용 시에는 OpenAI API 키 필요 또는 SentenceTransformers 등 로컬 모델 사용
  # 여기서는 예시를 위해 간단한 더미 임베딩 함수를 사용하거나,
  # 실제 모델을 연동하여 사용해야 합니다.
  # from sentence_transformers import SentenceTransformer
  # model = SentenceTransformer('all-MiniLM-L6-v2')
  # embedding_function = lambda texts: [model.encode(text).tolist() for text in texts]
  
  # 예시를 위한 간단한 더미 임베딩 함수 (실제 사용 시에는 적절한 임베딩 모델 사용)
  def dummy_embedding_function(texts):
      # 실제 임베딩 모델을 사용해야 합니다.
      # 예: OpenAIEmbeddingFunction(api_key="YOUR_API_KEY")
      # 또는 SentenceTransformer('all-MiniLM-L6-v2').encode(texts).tolist()
      return [[i * 0.1 + j * 0.01 for j in range(1536)] for i, _ in enumerate(texts)] # 1536차원 더미 임베딩
  
  # Chroma의 기본 임베딩 함수를 사용할 수도 있습니다.
  # default_ef = embedding_functions.DefaultEmbeddingFunction()
  
  # 3. 컬렉션 생성 (또는 기존 컬렉션 불러오기)
  collection_name = "my_documents"
  collection = client.get_or_create_collection(
      name=collection_name,
      embedding_function=dummy_embedding_function # 임베딩 함수 지정
  )
  
  # 4. 문서 추가 (add)
  collection.add(
      documents=[
          "이것은 사과에 대한 문서입니다. 사과는 과일입니다.",
          "바나나는 길고 노란색 과일입니다. 원숭이가 좋아합니다.",
          "서울은 대한민국의 수도입니다. 한강이 흐릅니다.",
          "뉴욕은 미국의 주요 도시입니다. 자유의 여신상이 있습니다.",
          "강아지는 충성스러운 반려동물입니다. 산책을 좋아합니다.",
          "고양이는 독립적인 반려동물입니다. 낮잠을 즐깁니다."
      ],
      metadatas=[
          {"source": "과일백과"},
          {"source": "과일백과"},
          {"source": "도시정보"},
          {"source": "도시정보"},
          {"source": "동물백과"},
          {"source": "동물백과"}
      ],
      ids=[
          "doc1", "doc2", "doc3", "doc4", "doc5", "doc6"
      ]
  )
  print(f"총 {collection.count()}개의 문서가 추가되었습니다.")
  
  # 5. 유사도 검색 (query)
  query_text = "멍멍이" # 강아지와 유사한 의미
  results = collection.query(
      query_texts=[query_text],
      n_results=2, # 가장 유사한 2개 결과 반환
      where={"source": "동물백과"} # 메타데이터 필터링 예시
  )
  
  print(f"\n'{query_text}'에 대한 검색 결과 (source=동물백과):")
  for i, doc in enumerate(results['documents'][0]):
      print(f"  - 문서: {doc}")
      print(f"    거리: {results['distances'][0][i]:.4f}") # 거리가 낮을수록 유사
      print(f"    ID: {results['ids'][0][i]}")
      print(f"    메타데이터: {results['metadatas'][0][i]}")
  
  # 모든 문서에서 "도시"에 대한 검색
  query_text_city = "대도시"
  results_city = collection.query(
      query_texts=[query_text_city],
      n_results=2,
      # where 절 없이 모든 문서 검색
  )
  print(f"\n'{query_text_city}'에 대한 검색 결과 (모든 문서):")
  for i, doc in enumerate(results_city['documents'][0]):
      print(f"  - 문서: {doc}")
      print(f"    거리: {results_city['distances'][0][i]:.4f}")
      print(f"    ID: {results_city['ids'][0][i]}")
      print(f"    메타데이터: {results_city['metadatas'][0][i]}")
  
  # 컬렉션 삭제 (선택 사항)
  # client.delete_collection(name=collection_name)
  # print(f"\n컬렉션 '{collection_name}'이 삭제되었습니다.")

  주의: 위 코드에서 dummy_embedding_function은 실제 임베딩 모델이 아니므로, 정확한 유사도 검색 결과를 얻으려면 sentence_transformers나 OpenAIEmbeddingFunction과 같은 실제 임베딩 모델을 연동해야 합니다.

Chroma는 로컬 개발을 위한 진정한 시작점이 되어줄 것입니다. 🚀

Weaviate: 확장 가능한 클라우드 네이티브의 힘 💪

Weaviate는 벡터 검색을 처음부터 염두에 두고 설계된 데이터베이스입니다. 복잡한 쿼리와 대규모 데이터 처리에 강점을 보입니다.

• 주요 특징:

  • AI-Native 설계: 벡터 검색에 최적화된 아키텍처를 가지고 있습니다.
  • GraphQL API: 직관적이고 강력한 GraphQL 인터페이스를 통해 데이터를 CRUD(생성, 읽기, 업데이트, 삭제)하고 검색할 수 있습니다.
  • 내장 임베딩 모델 통합: OpenAI, CoHere 등 다양한 임베딩 모델을 직접 통합하여 데이터를 로드할 때 자동으로 임베딩을 생성할 수 있습니다.
  • 다양한 검색 기능: 유사도 검색 외에도 필터링, 그래프 검색, 추천 기능 등을 제공합니다.
  • 자동 스케일링 (클러스터 모드): 대규모 데이터와 높은 트래픽을 처리하기 위한 클러스터 모드를 지원합니다.

• 장점:

  • 높은 확장성과 성능으로 프로덕션 환경에 적합합니다.
  • 강력하고 유연한 쿼리 기능(GraphQL).
  • 내장된 임베딩 기능으로 데이터 파이프라인 구성이 편리합니다.
  • 클라우드 배포(Weaviate Cloud) 또는 온프레미스 배포 모두 가능합니다.

• 단점:

  • Chroma에 비해 초기 설정 및 학습 곡선이 다소 높을 수 있습니다 (Docker, GraphQL).
  • 로컬에서 가볍게 시작할 수는 있지만, 진정한 강점은 클러스터 환경에서 나타납니다.
  • 리소스 사용량이 Chroma보다 높을 수 있습니다.

• Weaviate 사용 개념 (Python 클라이언트 예시):

  Weaviate는 보통 Docker를 통해 로컬에서 실행하거나, Weaviate Cloud를 이용합니다. Python 클라이언트를 통해 접속하여 데이터를 추가하고 검색합니다.

  # Weaviate 클라이언트 설치: pip install weaviate-client
  import weaviate
  import json
  
  # 1. Weaviate 클라이언트 연결
  # 로컬 Docker 컨테이너에 연결하는 경우 (사전에 Weaviate Docker 실행 필요)
  client = weaviate.Client(
      url="http://localhost:8080", # 또는 Weaviate Cloud URL
      # auth_client_secret=weaviate.AuthApiKey("YOUR_WEAVIATE_API_KEY"), # 클라우드 사용 시
      # additional_headers={"X-OpenAI-Api-Key": "YOUR_OPENAI_API_KEY"} # 내장 임베딩 사용 시
  )
  
  # 2. 스키마 정의 (데이터 모델 정의)
  # 이 스키마는 'Document'라는 클래스(테이블과 유사)를 정의하고,
  # 'content'와 'source'라는 속성(컬럼과 유사)을 가집니다.
  # vectorizer: "text2vec-openai" (OpenAI 모델로 임베딩 자동 생성)
  # 또는 "text2vec-huggingface" 등
  schema_definition = {
      "class": "Document",
      "description": "문서 데이터",
      "vectorizer": "text2vec-huggingface", # 또는 text2vec-openai 등 (클라이언트 설정에 따라)
      "properties": [
          {
              "name": "content",
              "dataType": ["text"],
              "description": "문서의 내용",
          },
          {
              "name": "source",
              "dataType": ["text"],
              "description": "문서의 출처",
          }
      ]
  }
  
  # 스키마가 없으면 생성하고, 있으면 삭제 후 재생성 (개발 단계에서 편리)
  if client.schema.exists("Document"):
      client.schema.delete_class("Document")
      print("기존 'Document' 클래스 삭제 완료.")
  client.schema.create_class(schema_definition)
  print("새로운 'Document' 클래스 스키마 생성 완료.")
  
  # 3. 데이터 추가 (import)
  data_objects = [
      {"content": "이것은 사과에 대한 문서입니다. 사과는 과일입니다.", "source": "과일백과"},
      {"content": "바나나는 길고 노란색 과일입니다. 원숭이가 좋아합니다.", "source": "과일백과"},
      {"content": "서울은 대한민국의 수도입니다. 한강이 흐릅니다.", "source": "도시정보"},
      {"content": "뉴욕은 미국의 주요 도시입니다. 자유의 여신상이 있습니다.", "source": "도시정보"},
      {"content": "강아지는 충성스러운 반려동물입니다. 산책을 좋아합니다.", "source": "동물백과"},
      {"content": "고양이는 독립적인 반려동물입니다. 낮잠을 즐깁니다.", "source": "동물백과"}
  ]
  
  with client.batch as batch:
      for data_obj in data_objects:
          batch.add_data_object(
              data_obj,
              "Document" # 스키마에서 정의한 클래스 이름
          )
  print(f"총 {len(data_objects)}개의 문서가 추가되었습니다.")
  
  # 4. 유사도 검색 (GraphQL Get 쿼리)
  # query_text에 대한 임베딩을 Weaviate가 내부적으로 생성하여 유사한 문서를 찾음
  query_text = "멍멍이"
  # GraphQL 쿼리 빌더 사용
  result = client.query.get("Document", ["content", "source"]).with_near_text(
      {"concepts": [query_text]}
  ).with_limit(2).with_where(
      {"path": ["source"], "operator": "Equal", "valueText": "동물백과"}
  ).do()
  
  print(f"\n'{query_text}'에 대한 검색 결과 (source=동물백과):")
  if result and "data" in result and "Get" in result["data"] and "Document" in result["data"]["Get"]:
      for doc in result["data"]["Get"]["Document"]:
          print(f"  - 문서: {doc['content']}")
          print(f"    출처: {doc['source']}")
  else:
      print("검색 결과가 없습니다.")
  
  # 모든 문서에서 "도시"에 대한 검색
  query_text_city = "대도시"
  result_city = client.query.get("Document", ["content", "source"]).with_near_text(
      {"concepts": [query_text_city]}
  ).with_limit(2).do()
  
  print(f"\n'{query_text_city}'에 대한 검색 결과 (모든 문서):")
  if result_city and "data" in result_city and "Get" in result_city["data"] and "Document" in result_city["data"]["Get"]:
      for doc in result_city["data"]["Get"]["Document"]:
          print(f"  - 문서: {doc['content']}")
          print(f"    출처: {doc['source']}")
  else:
      print("검색 결과가 없습니다.")

  주의: 위 코드를 실행하기 위해서는 로컬에 Weaviate Docker 컨테이너가 실행 중이거나, Weaviate Cloud 인스턴스에 연결되어야 합니다. 또한 text2vec-huggingface와 같은 모듈이 Weaviate 컨테이너에 구성되어 있어야 합니다.

Weaviate는 일단 세팅해두면 그 강력함에 매료될 것입니다. 🦾

Supabase (pgvector): 익숙함 속의 강력함 🐘

Supabase는 백엔드 서비스를 간편하게 구축할 수 있는 플랫폼이며, 그 핵심은 PostgreSQL입니다. pgvector는 PostgreSQL에 벡터 데이터 타입을 추가하고, 효율적인 벡터 인덱스를 생성하여 유사도 검색을 가능하게 하는 확장 기능입니다.

• 주요 특징:

  • PostgreSQL 기반: 기존의 관계형 데이터베이스 지식을 그대로 활용할 수 있습니다.
  • SQL 인터페이스: INSERT, SELECT, UPDATE 등 익숙한 SQL 명령으로 벡터 데이터를 다룰 수 있습니다.
  • ACID 트랜잭션: 데이터의 일관성과 무결성을 보장합니다.
  • 통합 플랫폼: Supabase는 데이터베이스 외에도 인증(Auth), 스토리지(Storage), 실시간(Realtime) 등 다양한 백엔드 기능을 통합하여 제공합니다.
  • 유연한 스키마: 관계형 데이터와 벡터 데이터를 한 테이블에 함께 저장하여 복합 쿼리를 쉽게 구성할 수 있습니다.

• 장점:

  • PostgreSQL을 이미 사용하고 있거나 SQL에 익숙한 개발자에게 매우 친숙합니다.
  • 관계형 데이터와 벡터 데이터를 동시에 관리해야 하는 복합적인 시스템에 적합합니다.
  • Supabase 플랫폼이 제공하는 편리한 관리 기능으로 백엔드 개발 속도를 높일 수 있습니다.
  • 안정적이고 검증된 PostgreSQL 위에 구축되어 신뢰성이 높습니다.

• 단점:

  • 순수 벡터 DB에 비해 대규모 벡터 전용 검색 성능에서 약간의 오버헤드가 있을 수 있습니다.
  • pgvector 자체는 벡터 검색에 특화된 기능만 제공하므로, 임베딩 생성 등의 로직은 직접 구현해야 합니다.
  • PostgreSQL의 한계 내에서 확장성을 고려해야 합니다 (Supabase는 managed 서비스로 어느 정도 커버).

• Supabase (pgvector) SQL 예제:

  Supabase 프로젝트를 생성하고, pgvector 확장을 활성화한 후, SQL Editor에서 직접 실행해 볼 수 있습니다.

  -- 1. pgvector 확장 활성화 (최초 1회 실행)
  CREATE EXTENSION IF NOT EXISTS vector;
  
  -- 2. 문서 저장 테이블 생성
  -- content: 원본 텍스트
  -- embedding: 1536차원 벡터 (OpenAI text-embedding-ada-002 기준)
  -- source: 문서 출처 (메타데이터)
  CREATE TABLE documents (
      id uuid PRIMARY KEY DEFAULT gen_random_uuid(),
      content TEXT,
      embedding vector(1536), -- 1536은 임베딩 차원수, 사용하는 모델에 따라 다름
      source TEXT,
      created_at TIMESTAMPTZ DEFAULT now()
  );
  
  -- 3. 데이터 삽입 (INSERT)
  -- 실제 사용 시에는 Python 등의 언어로 임베딩 모델을 호출하여 embedding 값을 채워 넣어야 합니다.
  INSERT INTO documents (content, embedding, source) VALUES
  ('이것은 사과에 대한 문서입니다. 사과는 과일입니다.', '[0.1, 0.2, 0.3, ..., 0.05]', '과일백과'), -- 실제 1536차원 벡터
  ('바나나는 길고 노란색 과일입니다. 원숭이가 좋아합니다.', '[0.15, 0.25, 0.35, ..., 0.08]', '과일백과'),
  ('서울은 대한민국의 수도입니다. 한강이 흐릅니다.', '[0.8, 0.7, 0.6, ..., 0.9]', '도시정보'),
  ('뉴욕은 미국의 주요 도시입니다. 자유의 여신상이 있습니다.', '[0.82, 0.75, 0.63, ..., 0.92]', '도시정보'),
  ('강아지는 충성스러운 반려동물입니다. 산책을 좋아합니다.', '[-0.1, -0.2, -0.3, ..., -0.05]', '동물백과'),
  ('고양이는 독립적인 반려동물입니다. 낮잠을 즐깁니다.', '[-0.12, -0.21, -0.33, ..., -0.08]', '동물백과');
  
  -- 4. 벡터 검색을 위한 인덱스 생성 (옵션: 검색 성능 향상)
  -- HNSW (Hierarchical Navigable Small World)는 효율적인 유사도 검색 인덱스입니다.
  -- lists는 인덱스 구축 파라미터로, 데이터 크기에 따라 적절히 조절
  CREATE INDEX ON documents USING ivfflat (embedding vector_cosine_ops) WITH (lists = 100);
  -- 또는 HNSW 인덱스 (더 나은 성능과 유연성)
  -- CREATE INDEX ON documents USING hnsw (embedding vector_cosine_ops);
  
  -- 5. 유사도 검색 (SELECT)
  -- query_embedding: 검색하려는 텍스트의 임베딩 벡터 (예: "멍멍이"의 임베딩)
  -- `` 연산자는 코사인 유사도를 계산합니다. 값이 작을수록 유사합니다.
  -- LIMIT 2: 상위 2개 결과 반환
  -- WHERE: 메타데이터 필터링 예시
  SELECT
      content,
      source,
      1 - (embedding  '[0.1, -0.2, -0.3, ..., -0.05]') AS similarity -- 코사인 유사도 0~1 (높을수록 유사)
  FROM documents
  WHERE source = '동물백과'
  ORDER BY embedding  '[0.1, -0.2, -0.3, ..., -0.05]' -- 쿼리 임베딩과 가장 가까운 순서
  LIMIT 2;
  
  -- 모든 문서에서 "도시"에 대한 검색
  SELECT
      content,
      source,
      1 - (embedding  '[0.8, 0.7, 0.6, ..., 0.9]') AS similarity
  FROM documents
  ORDER BY embedding  '[0.8, 0.7, 0.6, ..., 0.9]'
  LIMIT 2;
  
  -- 테이블 삭제 (선택 사항)
  -- DROP TABLE documents;

  주의: 위 SQL 예시에서 [0.1, 0.2, 0.3, ..., 0.05]와 같은 임베딩 벡터 값은 예시를 위한 더미 값입니다. 실제 사용 시에는 OpenAI, SentenceTransformers 등의 임베딩 모델을 통해 생성된 실제 1536차원(또는 다른 차원)의 벡터를 사용해야 합니다.

Supabase는 데이터베이스 관리의 부담을 줄여주면서, 익숙한 SQL로 AI 기능을 확장할 수 있는 매력적인 선택지입니다. 🐘

4. 🎯 어떤 벡터 DB를 선택해야 할까요? (선택 가이드)

세 가지 벡터 DB 모두 훌륭한 선택지이지만, 여러분의 프로젝트 특성과 요구사항에 따라 최적의 선택은 달라질 수 있습니다. 다음 질문들을 고려하여 결정해 보세요!

가이드라인 요약:

• ⚡️ 초고속 시작, Python 친화적 개발자라면: Chroma를 먼저 경험해보세요. 로컬에서 간단한 AI 기능을 빠르게 구현하고 싶을 때 최고의 선택입니다.
• 📈 확장성과 강력한 기능을 원한다면: Weaviate를 고려해보세요. 프로젝트가 성장할 것이 예상되거나, 대규모 데이터를 처리할 필요가 있다면 Weaviate의 클라우드 네이티브 설계가 큰 도움이 될 것입니다.
• 📊 이미 PostgreSQL을 사용 중이거나 SQL이 익숙하다면: Supabase (pgvector)는 강력한 옵션입니다. 기존 데이터와 벡터 데이터를 통합하여 관리하고 싶을 때 매우 효율적입니다.

마무리하며: 여러분의 AI 여정을 응원합니다! 🌟

오늘은 가볍게 시작하기 좋으면서도 강력한 기능을 제공하는 벡터 데이터베이스 3총사, Chroma, Weaviate, 그리고 Supabase (pgvector)에 대해 자세히 알아보았습니다. 각자의 장점과 단점, 그리고 적합한 활용 시나리오가 다르다는 것을 이해하셨을 겁니다.

AI 기술의 발전은 멈추지 않을 것이며, 벡터 데이터베이스는 이 여정에서 없어서는 안 될 핵심 도구로 자리매김할 것입니다. 이 글이 여러분의 첫 AI 프로젝트 또는 기존 시스템에 벡터 검색 기능을 도입하는 데 실질적인 도움이 되었기를 바랍니다.

가장 중요한 것은 직접 사용해보고, 각 DB의 특징을 몸소 느껴보는 것입니다. 부담 없이 시작해서, 여러분의 아이디어를 현실로 만들어나가시길 응원합니다! 궁금한 점이 있다면 언제든 질문해주세요. 행복한 코딩 되세요! 😊✨ D