支持私有云部署
AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


langchain4j+Chroma小试牛刀

发布日期:2025-04-01 16:31:34 浏览次数: 1542 作者:码匠的流水账
推荐语

探索LangChain4j和Chroma向量数据库的集成示例,实现文本嵌入与存储。

核心内容:
1. 安装Chroma并启动Docker容器
2. 在pom.xml中添加LangChain4j-Chroma依赖
3. 示例代码演示文本嵌入与向量数据库存储过程

杨芳贤
53A创始人/腾讯云(TVP)最具价值专家

本文主要研究一下如何使用langchain4j对接Chroma向量数据库

步骤

安装Chroma

docker run -d \
  --name chromadb \
  -p 8000:8000 \
  -v "$(pwd)/chroma_data:/chroma/chroma" \
  -e IS_PERSISTENT=TRUE \
  -e ANONYMIZED_TELEMETRY=TRUE \
  docker.1ms.run/chromadb/chroma:latest

pom.xml

        <dependency>
            <groupId>dev.langchain4j</groupId>
            <artifactId>langchain4j-chroma</artifactId>
            <version>1.0.0-beta1</version>
        </dependency>

example

public class JlamaChromaExample {

    public static void main(String[] args) {
        String chromaEndpoint = "http://localhost:8000";
        EmbeddingStore<TextSegment> embeddingStore = ChromaEmbeddingStore
                .builder()
                .baseUrl(chromaEndpoint)
                .collectionName("test1_collection")
                .logRequests(true)
                .logResponses(true)
                .build();

        EmbeddingModel embeddingModel = JlamaEmbeddingModel.builder()
                .modelName("intfloat/e5-small-v2")
                .build();

        TextSegment segment1 = TextSegment.from("I like football.");
        Embedding embedding1 = embeddingModel.embed(segment1).content();
        embeddingStore.add(embedding1, segment1);

        TextSegment segment2 = TextSegment.from("The weather is good today.");
        Embedding embedding2 = embeddingModel.embed(segment2).content();
        embeddingStore.add(embedding2, segment2);

        Embedding queryEmbedding = embeddingModel.embed("What is your favourite sport?").content();
        List<EmbeddingMatch<TextSegment>> relevant = embeddingStore.findRelevant(queryEmbedding, 1);
        EmbeddingMatch<TextSegment> embeddingMatch = relevant.get(0);

        System.out.println(embeddingMatch.score()); // 0.8144288493114709
        System.out.println(embeddingMatch.embedded().text()); // I like football.
    }
}

这里使用了Jlama提供的JlamaEmbeddingModel,官方示例的AllMiniLmL6V2EmbeddingModel在mac下会报错ai.djl.engine.EngineException: Unexpected flavor: cpu

输出如下

WARNING: Using incubator modules: jdk.incubator.vector
INFO  c.g.tjake.jlama.model.AbstractModel - Model type = F32, Working memory type = F32, Quantized memory type = F32
WARN  c.g.t.j.t.o.TensorOperationsProvider - Native operations not available. Consider adding 'com.github.tjake:jlama-native' to the classpath
INFO  c.g.t.j.t.o.TensorOperationsProvider - Using Panama Vector Operations (OffHeap)
0.8279024262570531
I like football.

小结

langchain4j提供了langchain4j-chroma模块用于访问Chroma。需要注意的是

  • Chroma无法根据字母数字元数据的大于或小于进行过滤,仅支持整数和浮点数。
  • Chroma的过滤方式并非如下:如果你按“key”不等于“a”进行过滤,实际上会返回所有“key”值不等于“a”的记录,但不会返回没有“key”元数据的记录


53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询