百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术分类 > 正文

大模型应用实践:用LLaMA 2.0, FAISS and LangChain实现基于知识问答

ztj100 2025-06-09 07:26 12 浏览 0 评论

在过去的几周里,我一直在试用几个大型语言模型(LLMs)并使用互联网上的各种方法探索它们的潜力,但现在是时候分享我到目前为止所学到的东西了!

我很兴奋地得知元推出了其开源大型语言模型的下一代,LLaMA 2(于2023年7月18日发布),该模型最有趣的部分是,他们将其免费提供给公众用于商业用途。因此,我决定尝试一下它的性能表现。

在这篇文章中,我将分享如何使用Llama-2 -7b-chat模型和LangChain框架以及FAISS库执行类似于聊天机器人的问答任务,这些文档是我从Databricks文档网站在线获取的。

想了解更多好玩的人工智能应用,请关注公众号“机器AI学习 数据AI挖掘”,”智能应用"菜单中包括:颜值检测、植物花卉识别、文字识别、人脸美妆等有趣的智能应用。。


介绍

LLaMA 2模型是使用2万亿个tokens和70亿到700亿参数预训练和微调的,使其成为功能强大的开源模型之一。它有三种不同的模型大小(即7B、13B和70B),与Llama 1模型相比有显著改进,包括在40%更多的tokens上进行训练,具有更长的上下文长度(4k tokens ),并使用分组查询注意力快速推理70B模型。它在许多外部基准测试中超越了其他开源LLMs,包括推理、编码、熟练度和知识测试。


LangChain是一个强大、开源的框架,旨在帮助您开发由语言模型(特别是大型语言模型)提供支持的应用程序。该库的核心思想是我们可以将不同的组件“链接”在一起,以创建围绕LLMs的更高级用例。LangChain由来自多个模块的多个组件组成。

模块:

提示(Prompts):该模块允许您使用模板构建动态提示。根据上下文窗口大小和用作上下文的输入变量,它可以适应不同的LLM类型,例如对话历史记录、搜索结果、先前的答案等。

模型(Models):该模块提供了一个抽象层来连接到大多数可用的第三方LLM API。它有API连接到约40个公共LLMs、聊天和嵌入模型。

内存(Memory):此模块为LLM提供对会话历史的访问权限。

索引(Indexes):索引指的是使LLM能够最佳地与文档交互的方式。此模块包含处理文档的实用函数以及与其他向量数据库集成的集成。

代理(Agents):某些应用程序不仅需要预定的LLM或其他工具的调用链,而且可能需要依赖于用户输入的未知链。在这些类型的链中,有一个具有访问一组工具的代理。根据用户的输入,代理可以决定调用哪个工具(如果有的话)。

链(Chains):对于一些简单的应用程序,单独使用LLM就足够了,但对于许多更复杂的应用程序,需要将LLM链接在一起,或者与其他专家链接在一起。LangChain提供了链的标准接口以及一些通用的链实现,以方便使用。

FAISS(Facebook AI Similarity Search)是一个用于高效相似度搜索和密集向量聚类的库。它可以在标准数据库引擎(SQL)无法或效率低下地搜索多媒体文档(如图像)的情况下进行搜索。它包含了能够在可能不适用于RAM的任意大小的向量集合中进行搜索的算法。它还包含评估和支持代码参数调整。

处理流程

在本节中,我将简要描述流程的每个部分。

初始化模型管道:使用Hugging Face的transformers库为预训练的Llama-2-7b-chat-hf模型初始化文本生成管道。

摄取数据:将任意来源的文本形式的数据加载到文档加载器中。

拆分为块:将加载的文本拆分成较小的块。创建这些文本块是必要的,因为语言模型只能处理有限的文本量。

创建嵌入:将文本块转换为数值表示,也称为嵌入。这些嵌入用于在大型数据库中快速搜索和检索类似或相关的文档,因为它们代表了文本的语义含义。

将嵌入加载到向量存储中:将嵌入加载到向量存储(在这种情况下是“FAISS”)中。与传统数据库相比,向量存储在基于文本嵌入的相似性搜索方面表现出色。

启用记忆功能:将对话历史记录与新问题结合起来,并将它们变成单独的问题对于启用提出后续问题的能力非常重要。

查询数据:使用嵌入在向量存储中搜索存储的相关信息。

生成答案:将独立的问题的相关信息传递给问答链,在那里使用语言模型生成答案。

代码编写

本节中,我将详细介绍代码的每个步骤。

开始使用您可以在Hugging Face transformers和LangChain中使用开源Llama-2-7b-chat模型。但是,您必须首先通过Meta网站请求访问Llama 2模型,并在接受Hugging Face网站上的Meta共享您的帐户详细信息时接受该请求。通常需要几分钟或几小时才能获得访问权限。

注意,您在Hugging Face网站上提供的电子邮件地址必须与Meta网站上提供的电子邮件地址匹配,否则您的请求将无法通过审核。

如果您正在使用Google Colab来运行代码,请按以下步骤操作:在笔记本中转到“运行时”>“更改运行时类型”>“硬件加速器”>“GPU”>“GPU类型”>“T4”。进行推理需要大约8GB的GPU RAM,在CPU上运行几乎不可能。

安装依赖库

Bash
!pip install -qU transformers accelerate einops langchain xformers bitsandbytes faiss-gpu sentence_transformers

初始化Hugging Face pipeline您必须使用Hugging Face transformers初始化一个文本生成管道。该管道需要以下三个必须初始化的内容:

1. LLM,在这种情况下将是
meta-llama/Llama-2-7b-chat-hf。

2. 模型的相应分词器。

3. 停止标准对象。您必须初始化模型并将其移动到支持CUDA的GPU上。使用Colab,这可能需要5-10分钟来下载和初始化模型。

此外,您需要生成一个访问令牌,以便在代码中从Hugging Face下载模型。为此,请转到您的Hugging Face个人资料>设置>访问令牌>新建令牌>生成令牌。只需复制该令牌并在下面的代码中添加它。

Bash
from torch import cuda, bfloat16
import transformers


model_id = 'meta-llama/Llama-2-7b-chat-hf'


device = f'cuda:{cuda.current_device()}' if cuda.is_available() else 'cpu'


# set quantization configuration to load large model with less GPU memory
# this requires the `bitsandbytes` library
bnb_config = transformers.BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type='nf4',
    bnb_4bit_use_double_quant=True,
    bnb_4bit_compute_dtype=bfloat16
)


# begin initializing HF items, you need an access token
hf_auth = '<add your access token here>'
model_config = transformers.AutoConfig.from_pretrained(
    model_id,
    use_auth_token=hf_auth
)


model = transformers.AutoModelForCausalLM.from_pretrained(
    model_id,
    trust_remote_code=True,
    config=model_config,
    quantization_config=bnb_config,
    device_map='auto',
    use_auth_token=hf_auth
)


# enable evaluation mode to allow model inference
model.eval()


print(f"Model loaded on {device}")

管道需要一个分词器,该分词器将人类可读的明文转换为LLM可读的令牌ID。Llama 2.7B模型使用Llama 2.7B分词器进行训练,可以使用以下代码初始化该分词器:

tokenizer = transformers.AutoTokenizer.from_pretrained(
    model_id,
    use_auth_token=hf_auth
)

现在我们需要定义模型的停止条件。停止条件允许我们指定模型何时应该停止生成文本。如果我们不提供停止条件,则模型在回答初始问题后会走一些离题的路线。

stop_list = ['\nHuman:', '\n```\n']


stop_token_ids = [tokenizer(x)['input_ids'] for x in stop_list]
stop_token_ids

您必须将这些停止令牌ID转换为LongTensor对象。

import torch


stop_token_ids = [torch.LongTensor(x).to(device) for x in stop_token_ids]
stop_token_ids

您可以快速检查stop_token_ids中是否出现令牌ID(0),因为没有出现,因此我们可以继续构建停止条件对象,该对象将检查是否满足停止条件 - 即是否生成了任何这些令牌ID组合。

from transformers import StoppingCriteria, StoppingCriteriaList


# define custom stopping criteria object
class StopOnTokens(StoppingCriteria):
    def __call__(self, input_ids: torch.LongTensor, scores: torch.FloatTensor, **kwargs) -> bool:
        for stop_ids in stop_token_ids:
            if torch.eq(input_ids[0][-len(stop_ids):], stop_ids).all():
                return True
        return False


stopping_criteria = StoppingCriteriaList([StopOnTokens()])

您已经准备好初始化Hugging Face管道了。在这里,我们必须定义一些额外的参数。代码中包括注释以进行进一步解释。

generate_text = transformers.pipeline(
    model=model, 
    tokenizer=tokenizer,
    return_full_text=True,  # langchain expects the full text
    task='text-generation',
    # we pass model parameters here too
    stopping_criteria=stopping_criteria,  # without this model rambles during chat
    temperature=0.1,  # 'randomness' of outputs, 0.0 is the min and 1.0 the max
    max_new_tokens=512,  # max number of tokens to generate in the output
    repetition_penalty=1.1  # without this output begins repeating
)

运行这段代码以确认一切正常。

res = generate_text("Explain me the difference between Data Lakehouse and Data Warehouse.")
print(res[0]["generated_text"])

在LangChain中实现Hugging Face管道

现在,您需要将Hugging Face管道实现在LangChain中。您仍然会得到与此处没有进行任何更改相同的输出。但是,这段代码将允许您使用LangChain的高级代理工具、链等与Llama 2一起使用。

from langchain.llms import HuggingFacePipeline


llm = HuggingFacePipeline(pipeline=generate_text)


# checking again that everything is working fine
llm(prompt="Explain me the difference between Data Lakehouse and Data Warehouse.")

使用文档加载器摄取数据

您必须使用WebBaseLoader文档加载器摄取数据,该加载器通过抓取网页收集数据。在这种情况下,您将从Databricks文档网站收集数据。

from langchain.document_loaders import WebBaseLoader


web_links = ["https://www.databricks.com/","https://help.databricks.com","https://databricks.com/try-databricks","https://help.databricks.com/s/","https://docs.databricks.com","https://kb.databricks.com/","http://docs.databricks.com/getting-started/index.html","http://docs.databricks.com/introduction/index.html","http://docs.databricks.com/getting-started/tutorials/index.html","http://docs.databricks.com/release-notes/index.html","http://docs.databricks.com/ingestion/index.html","http://docs.databricks.com/exploratory-data-analysis/index.html","http://docs.databricks.com/data-preparation/index.html","http://docs.databricks.com/data-sharing/index.html","http://docs.databricks.com/marketplace/index.html","http://docs.databricks.com/workspace-index.html","http://docs.databricks.com/machine-learning/index.html","http://docs.databricks.com/sql/index.html","http://docs.databricks.com/delta/index.html","http://docs.databricks.com/dev-tools/index.html","http://docs.databricks.com/integrations/index.html","http://docs.databricks.com/administration-guide/index.html","http://docs.databricks.com/security/index.html","http://docs.databricks.com/data-governance/index.html","http://docs.databricks.com/lakehouse-architecture/index.html","http://docs.databricks.com/reference/api.html","http://docs.databricks.com/resources/index.html","http://docs.databricks.com/whats-coming.html","http://docs.databricks.com/archive/index.html","http://docs.databricks.com/lakehouse/index.html","http://docs.databricks.com/getting-started/quick-start.html","http://docs.databricks.com/getting-started/etl-quick-start.html","http://docs.databricks.com/getting-started/lakehouse-e2e.html","http://docs.databricks.com/getting-started/free-training.html","http://docs.databricks.com/sql/language-manual/index.html","http://docs.databricks.com/error-messages/index.html","http://www.apache.org/","https://databricks.com/privacy-policy","https://databricks.com/terms-of-use"] 


loader = WebBaseLoader(web_links)
documents = loader.load()

使用文本分割器以块形式拆分文本

您必须确保将文本拆分为小块。您需要初始化
RecursiveCharacterTextSplitter并通过传递文档来调用它。

rom langchain.text_splitter import RecursiveCharacterTextSplitter


text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=20)
all_splits = text_splitter.split_documents(documents)

创建嵌入并存储在向量存储中

您需要为每个小文本块创建嵌入,并将它们存储在向量存储(即FAISS)中。您将使用all-mpnet-base-v2句子转换器将所有文本片段转换为向量,同时将它们存储在向量存储中。

from langchain.embeddings import HuggingFaceEmbeddings
from langchain.vectorstores import FAISS


model_name = "sentence-transformers/all-mpnet-base-v2"
model_kwargs = {"device": "cuda"}


embeddings = HuggingFaceEmbeddings(model_name=model_name, model_kwargs=model_kwargs)


# storing embeddings in the vector store
vectorstore = FAISS.from_documents(all_splits, embeddings)

初始化链

您需要初始化
ConversationalRetrievalChain。该链使您能够拥有具有记忆功能的聊天机器人,同时依靠向量存储从您的文档中查找相关信息。另外,您可以在构建链时指定可选参数return_source_documents=True,以返回用于回答问题的源文档。

from langchain.chains import ConversationalRetrievalChain


chain = ConversationalRetrievalChain.from_llm(llm, vectorstore.as_retriever(), return_source_documents=True)

现在,是时候使用自己的数据进行问答了!

chat_history = []


query = "What is Data lakehouse architecture in Databricks?"
result = chain({"question": query, "chat_history": chat_history})


print(result['answer'])

输出:

现在,您已经可以使用强大的语言模型对自己的数据进行问答了。此外,您还可以使用Streamlit进一步开发它成为一个聊天机器人应用程序。

相关推荐

10条军规:电商API从数据泄露到高可用的全链路防护

电商API接口避坑指南:数据安全、版本兼容与成本控制的10个教训在电商行业数字化转型中,API接口已成为连接平台、商家、用户与第三方服务的核心枢纽。然而,从数据泄露到版本冲突,从成本超支到系统崩溃,A...

Python 文件处理在实际项目中的困难与应对策略

在Python项目开发,文件处理是一项基础且关键的任务。然而,在实际项目中,Python文件处理往往会面临各种各样的困难和挑战,从文件格式兼容性、编码问题,到性能瓶颈、并发访问冲突等。本文将深入...

The Future of Manufacturing with Custom CNC Parts

ThefutureofmanufacturingisincreasinglybeingshapedbytheintegrationofcustomCNC(ComputerNumericalContro...

Innovative Solutions in Custom CNC Machining

Inrecentyears,thelandscapeofcustomCNCmachininghasevolvedrapidly,drivenbyincreasingdemandsforprecisio...

C#.NET serilog 详解(c# repository)

简介Serilog是...

Custom CNC Machining for Small Batch Production

Inmodernmanufacturing,producingsmallbatchesofcustomizedpartshasbecomeanincreasinglycommondemandacros...

Custom CNC Machining for Customized Solutions

Thedemandforcustomizedsolutionsinmanufacturinghasgrownsignificantly,drivenbydiverseindustryneedsandt...

Revolutionizing Manufacturing with Custom CNC Parts

Understandinghowmanufacturingisevolving,especiallythroughtheuseofcustomCNCparts,canseemcomplex.Thisa...

Breaking Boundaries with Custom CNC Parts

BreakingboundarieswithcustomCNCpartsinvolvesexploringhowadvancedmanufacturingtechniquesaretransformi...

Custom CNC Parts for Aerospace Industry

Intherealmofaerospacemanufacturing,precisionandreliabilityareparamount.Thecomponentsthatmakeupaircra...

Cnc machining for custom parts and components

UnderstandingCNCmachiningforcustompartsandcomponentsinvolvesexploringitsprocesses,advantages,andcomm...

洞察宇宙(十八):深入理解C语言内存管理

分享乐趣,传播快乐,增长见识,留下美好。亲爱的您,这里是LearingYard学苑!今天小编为大家带来“深入理解C语言内存管理”...

The Art of Crafting Custom CNC Parts

UnderstandingtheprocessofcreatingcustomCNCpartscanoftenbeconfusingforbeginnersandevensomeexperienced...

Tailored Custom CNC Solutions for Automotive

Intheautomotiveindustry,precisionandefficiencyarecrucialforproducinghigh-qualityvehiclecomponents.Ta...

关于WEB服务器(.NET)一些经验累积(一)

以前做过技术支持,把一些遇到的问题累积保存起来,现在发出了。1.问题:未能加载文件或程序集“System.EnterpriseServices.Wrapper.dll”或它的某一个依赖项。拒绝访问。解...

取消回复欢迎 发表评论: