Embeddings 与语义搜索

pip install voyageai
export VOYAGE_API_KEY="your-api-key"

import voyageai

client = voyageai.Client()

texts = ["示例文本 1", "示例文本 2"]
result = client.embed(
    texts,
    model="voyage-3.5",
    input_type="document"
)

embeddings = result.embeddings
print(f"嵌入维度: {len(embeddings[0])}")
print(f"前 5 个值: {embeddings[0][:5]}")

import voyageai
import numpy as np

client = voyageai.Client()

# 文档库
documents = [
    "地中海饮食强调鱼、橄榄油和蔬菜。",
    "光合作用将光能转化为葡萄糖并产生氧气。",
    "20世纪的创新以电子技术进步为核心。",
    "河流提供水源、灌溉和水生物种栖息地。",
    "苹果 Q4 财报电话会议定于11月2日下午2点。",
    "莎士比亚的《哈姆雷特》在现代文学中仍然有意义。",
]

# 嵌入文档
doc_embeddings = client.embed(
    documents, model="voyage-3.5", input_type="document"
).embeddings

# 查询
query = "苹果的电话会议什么时候？"
query_embedding = client.embed(
    [query], model="voyage-3.5", input_type="query"
).embeddings[0]

# 找到最相似的文档
similarities = np.dot(doc_embeddings, query_embedding)
top_index = np.argmax(similarities)

print(f"查询: {query}")
print(f"最相关文档: {documents[top_index]}")
print(f"相似度: {similarities[top_index]:.4f}")

import voyageai
import numpy as np
import anthropic

voyage_client = voyageai.Client()
claude_client = anthropic.Anthropic()

documents = [
    "React 是一个用于构建用户界面的 JavaScript 库。",
    "Vue.js 是一个渐进式 JavaScript 框架。",
    "Angular 是一个面向企业的全功能 TypeScript 框架。",
    "Svelte 是一个编译器，创建高度优化的原生 JavaScript。",
]

# 嵌入文档
doc_embeddings = voyage_client.embed(
    documents, model="voyage-3.5", input_type="document"
).embeddings

# 用户查询
query = "哪个框架最适合初学者？"
query_embedding = voyage_client.embed(
    [query], model="voyage-3.5", input_type="query"
).embeddings[0]

# 检索 Top-3 相关文档
similarities = np.dot(doc_embeddings, query_embedding)
top_indices = np.argsort(similarities)[-3:][::-1]
relevant_docs = [documents[i] for i in top_indices]

# 用 Claude 综合回答
response = claude_client.messages.create(
    model="claude-opus-4-6",
    max_tokens=1024,
    system="你是一个 JavaScript 框架专家。",
    messages=[{
        "role": "user",
        "content": f"""基于以下文档：
{chr(10).join(f'- {doc}' for doc in relevant_docs)}

回答：{query}"""
    }]
)
print(response.content[0].text)

# int8 量化（体积缩小 4 倍）
result = client.embed(
    ["示例文本"],
    model="voyage-3.5",
    input_type="document",
    output_dtype="int8"
)

# 二进制量化（体积缩小 32 倍！）
result_binary = client.embed(
    ["示例文本"],
    model="voyage-3.5",
    input_type="document",
    output_dtype="ubinary"
)