me前沿

懒人每天5分钟—不用ChatGPT也能搞出问答机器人

作者:大狗在海里

背景:

1.国外搞原型基础研究,我们只负责实现快速应用商业变现"赚钱遨游世界买房子"

2.利用huggingface等上的文本(text),audio(语音),video(视频)识别开源模型

3.懒人每天5分钟系列文章:一种套路(embedding model非结构化数据+vectorDB向量数据库),广泛解决用户内容推荐,知识产权甄别侵权,异常侵入检测告警等很广泛场景应用问题

4.”大千世界“皆可向量化

5.因为本人也偷懒没有自己画架构图(Milvus上有很好的例子场景举例),借抛砖引玉解析原理套路疑问。

声明:懒人系列文章插图皆来自Milvus官方网站。如需引用,请标明出处。

懒人每天5分钟—不用ChatGPT也能搞出问答机器人

不用ChatGPT LLM等大模型也能做个对话问答机器人(Question Answering)

1.整理你的问答数据集,此步骤非常基础重要,格式如下:你也可以扩展自己的属性。

懒人每天5分钟—不用ChatGPT也能搞出问答机器人

2.利用embedding(本文是bert模型)将question 向量化标识存储到milvus。mysql挂着id+question+answners。下图借用towhee框架里模型实现QA向量化存储,黄色箭头方向

--此步骤可借用qdrant替换milvus+mysql等

懒人每天5分钟—不用ChatGPT也能搞出问答机器人

3.用户输入问题,转化向量查询milvus 返回相似的question vector的ID,然后将id mapping的answners返回给用户,如上图的下部分黄色箭头

相关内容