《2023阿里云AIGC与应用部署.docx》由会员分享，可在线阅读，更多相关《2023阿里云AIGC与应用部署.docx（96页珍藏版）》请在三一办公上搜索。
1、2023阿里云AIGC与应用部署卷首语我们身处在智能时代的21世纪，日常生活中无处不见Al的应用，人工智能与传媒业的融合发展也成为内容生产行业的发展趋势。AIGC作为当前新型的内容生产方式，被广泛应用于传媒、电商、影视等行业，帮助提高内容的生产效率和多样性。本书收纳来自张亦驰（怀潜）、丁小虎（脑斧）两位阿里资深工程师和阿里云AnalyticDB.函数计算FC、阿里云大数据Al技术三个技术团队的五篇优秀技术文章，内容涵盖基于大模型的AIGC应用及技术要点和AIGC实际应用案例。通过本书，不仅可以深度体验AIGC在实际应用场景的具体落地能力，手把手教学云产品部署，开启云上实践。还可以了解在大模型的
2、加持下AIGC的多种可能性，帮助内容生产跨越新时代。如果你刚接触AIGC,那么本书为你详细介绍AIGC大模型的意义。如果你己经对AIGC有一定的了解，本书将为你展示大模型云上实践，例如HologreS+大模型、向量数据库+LLM（大语言模型）等。更有模型在线服务PAI-EAS,函数计算FC云产品免费试用，一起来玩转AlGC吧!目录页Hologres+大模型初探！让ChatGPT回W家问题5AnalyticDB(ADB)+LLM:构建AlGC时代下企业专属Chatbot25人类生产力的解放？揭晓从大模型到AIGC的新魔法37玩转AIGC,5分钟函数计算FC部署StableDiffustion服务
3、67赚AIGC,5分钟使用PAI键部署StableDiffusionAl绘画应用84HOIOgres+大模型初探！让ChatGPT回答商家问题阿里巴巴商家服务团队旨在为商家提供智能化的解决方案，致力于帮助商家自助解决问题。主要的产品包括:商家服务大厅：主要通过搜索的方式为商家提供服务，包含了工具、短视频、知识、服务专区等特色内容。同时商家服务大厅以多种形态通过不同渠道为商家提供千人千面的服务。PC版服务大厅:功能最全的PC主站服务大厅，为商家提供多元化的智能解决方案。首页 知识It*JhF商家服务大厅TeOMOXMI全*知识工h*XU延迟发货Ie督OiaiBXflIBflKfteeiH：如何发
4、IC风迟发二备SLifiXVIfie(WtMVR3tKKFlXffifiS)融制似程点此-.(“)介IflIe径m力IlJ(Q家因窿1灾“不可BI力用室.无渣IW候置IfiIlNfHfi户生HK4RIft的尸品.二.无需摺番的al巳尸生变eo将产生制订在平台免费区域内.无需抢番.在免费公告IK定的晚教费的税内取赞磔可./1免费区域公告怠It置.3.巴与酒曼者一X迷，卡送/6发整投诉宣词IiatttfiltXIMBit遑青：K赏时间承德/束核均定时间发货介ie一.NLBI定义焉宝月IHA夏货H同为4J*L备家淳，发货时用交饼格.iii2方式*-值的.知尚妻Ir支付僚商品实际理交为5%30%佟为淳
5、的金.愕品1外，U体Im1投傅n奥m(HiXK蜜昊家竹UHBA实IiiJK文窗T)5、，且F*不i!30元，也不少于5元.*货:货同买事用0品宴1成交RTISg自二.*=.xsannsiR9*tt11*.*qUMHD.MftAd.HI*lttl.思司以，以下方式HUtJKI-.入口ISAftI(我用】ft蓟野庙的司得正饿.点疝右方MlK培家W.修万式1启击卅曾记火石方Yl国结束W(若当前时间星于Ie备免H开始时间，MSfliifrittSWTtS*?；Q方发男？8者，凭Ii示例钉钉商家服务大厅：通过钉钉的方式，为商家提供更加方便、灵活易用的自助服务!千牛服务大厅:在商家千牛工作台上为商家随时随
6、地提供客服服务场景版服务大厅：通过悬浮小球的方式内嵌在商家常用的页面，例如申诉中心，服务触手可达申诉中心*万象：智能问答机器人，以问答的模式帮助商家解决问题。如果商家仍未能解决，可以进一步联系人工，通过在、热线的方式联系客服小二帮助解决问题。亲，我在.阿里万象正在为您期务，急可以输入问题向我提问38雷你想问我想要开淘宝店，怎么做？如何报名品Bl新享（首单礼金）活动？一个莒业执照/一个身份证可以开几个河宝店橘?如何开通信用卡服务？如何加入全球购资质？你是*Hi-我是仔一是阿里为aatm打ia的*能助理，立志帮您嫌大aw?-用叮找暮服.快人一步（小二谓回答）涨知识海宝新疫情豁免R保K政策总体来说，
7、阿里巴巴商家服务团队的主要工作就是围绕智能”和“服务这两个关键词展开,为各个商家提供更加自助的解决问题能力，以此提高对商家的自助服务能力，同时也降低平台服务商家的客服人工成本。在智能服务方面我们团队做了比较多的前沿探索，目前势不可挡的大模型凭借出色的自然语言理解能力，似乎在智能服务这方面大有可为，便萌生了让大模型帮助商家解决问题的想法。我们团队利用ChatGPT在智能答疑机器人场景做了初步的探索，下面是一些实践分享，希望通过这些分享为大家在商家服务、智能客服等场景提供更多的经验和思路。一、基于Fine-tuning的初次探索那么如何让大模型能够回答商家的问题？第一想法就是基于Fine-tuni
8、ng,通过训练微调的方式提升模型垂直领域的能力，让其掌握一些商家服务领域的知识，以具备回答商家问题的能力。1.准备数据在知识库中筛选了一些知识并将它们的内容格式化后，整理成如下格式(jsonline)：prompt:淘宝商家服务大厅，completion:2021年10月商家服务大厅升级,新增活动大促专题XXXXXprompt:单品宝是什么，completion:单品宝是原限时打折的升级工具，可支持XXXXnprompt:宝贝详情页可以添加多少个视频，completion:在发布宝贝页一个宝贝在详情页中只能添加一个视频XXXXprompt:店铺经营主体变更需要先还清淘宝贷款吗，completi
9、on:需耍还清贷款，因为店铺XXXprompt:天猫活动商品价格力严重溢价是什么意思，completion:溢价是指预计普惠成交价高于最低成交价严重溢价的意思是指XXXXprompt:买家退货单号虚假、没有物流信息怎么办,，completion:1.建议您先联系买家，确认下是否存在填错运单号等情况。2.若无法联系上买家，您可xxxxprompt:淘管家，completion:淘管家是1688专业的分销订货平台,在淘管家XXXXnprompt:手淘中猜你喜欢频道如何加入，completion：手淘首页展示的猜你喜欢频道目前无法主动入驻是XXXXXprompt:买家删除了中评/差评，店铺评分(DS
10、R)也会删除吗，completion:若买家自行删除中差评或修改中差评为好评xxxxprompt:淘宝开店收费吗，completion:淘宝开店都是免费，但为xxxx在上述数据中，PromPt字段为商家问题，completion为答案。用这些数据训练后，发现这种简单的一问一答的数据训练效果并不理想，向模型提问时，需要使问题和训练时的prompt保持高度相似时，模型才能够勉强给出较为正确的答案。既然我们需要通过训练的方式提升模型垂直领域的能力，那么这些知识是否集中于某个领域，或者说大模型是否知道它们是否集中于某个领域呢？于是将原来的prompt按照如下方式进行了改写：Prompt:你是淘宝商家智
11、能客服，你聪明、友善，能够帮助商家解决问题。Customer:你是谁？AI：您好，我是淘宝商家智能客服，请问有什么可以帮助你吗？Customer:问题Completion:AI:答案明确A在回答问题时的身份为淘宝商家智能客服”，在【可答问题时需要保持友善的态度，并且明确其目标为帮助商家解决问题；额外给出一个问答样例（One-ShOt）。按照这样的方式，最终的训练数据如下：prompt:你是淘宝商家智能客服，你聪明、友善，能够帮助商家解决问题。XnXnCustomer:你是谁？nAI:您好，我是淘宝商家智能客服，请问有什么可以帮助你吗？nCustomer:淘宝商家服务大厅nAI:,complet
12、ion:2021年10月商家服务大厅升级，新增活动大促专题XXXXnprompt:你是淘宝商家智能客服，你聪明、友善，能够帮助商家解决问题。nnCuStomer:你是谁？nAI:您好，我是淘宝商家智能客服，请问有什么可以帮助你吗？nCustOmer:单品宝是什么、nAI:,completion:单品宝是原限时打折的升级工具，可支持xxxprompt:你是淘宝商家智能客服，你聪明、友善，能够帮助商家解决问题。nnCustomer:你是谁？nAI:您好，我是淘宝商家智能客服，请问有什么可以帮助你吗？nCustomer:宝贝详情页可以添加多少个视频nAI:,completion:,在发布宝贝页一个宝
13、贝在详情页中只能添加一个视频，若您想XXXprompt:你是淘宝商家智能客服，你聪明、友善，能够帮助商家解决问题。nnCustomer:你是谁？nAI:您好，我是淘宝商家智能客服，请问有什么可以帮助你吗？nCustOmer:店铺经营主体变更需要先还清淘宝贷款吗nAI:,completion:需耍还清贷款。因为店铺经营主体变更流程中XXXXprompt:你是淘宝商家智能客服，你聪明、友善，能够帮助商家解决问题。XnXnCustomer:你是谁？nAI:您好，我是淘宝商家智能客服，请问有什么可以帮助你吗？nCustomer:天猫活动商品价格力严重溢价是什么意思、nAI:,completion:溢价
14、是指预计普惠成交价高于最低成交价，严重溢价的意思是指XXXX2.训练在OPenAl目前的模型中只有davinci、curie,babbage和ada,这些GPT-3,0版本的模型可以Fine-tuning适配，但再往后的版本暂不支持。训练的价格如下：Hn-tuning modelsOM*ybetfldtotat11mxM.IirnEofebontrwMMMratRtRVmdoeSOOOO*ClohmSOOOM-XlotaraCum0l0030.KtoicansSOOt2O.1KtokensDwnei$00300Kioiorw01300on可以看到使用训练后的Davinci模型的价格竟然高达0.
15、12美元/1Ktokens0再对比一下最新的GPT-4和GPT-3.5模型就知道它有多贵了:GPT-4Wttfibrod9raiknowMqaanddomainMprttM,GFT-can*owcomp*ninstructionsinnaturalIanQuagaand*owdrf*uMprat*11w*Mhaccuracy.1.hftMaM 8K COrtMtPmm#tSojo3 J 1 QoMnaCoanptettanSOgIKtoChMGPTmoditfoomNdIorMto0uTMortorHw*cofB-35TuoonprEKMmctDttnnrta.1.MmmwbOOQFTKSOj
16、0O3Kloten准备好数据、选择好模型后，便可以开始Fine-tuning了。方法很简单，只需要将文件上传至OPenAl后，再指定文件id和模型后即可对该模型进行训练了，具体的过程可以参照OpenAl官方文档。3 .训练结果使用训练的模型进行测试，Prompt同样采取如下格式：你是淘宝商家智能客服，你聪明、友善，能够帮助商家解决问题。Customer:你是谁？A工：您好，我是淘宝商家智能客服，请问有什么可以帮助你吗？Customer:大概效果如下：hqib测试账号单品宝OpenAI单品宝是原限时打折的升级工具，可支持：SKU级打折、减现、促销价；设置定向人群；设置单品限购（限购件数内买家以优
17、惠价拍下，限购件数，今更多服务4 .训练效果总结Fine-tuning是真的贵啊，加上一开始几次无效的尝试，很快就把免费的18美元的额度花完了，后面只能自己花钱充值了。作为一个纯正的穷哥们，虽然很难受，但也算为自己的兴趣交学费了。-上述基于Fine-tuning的方式效果并不理想，总结了如下几个原因：。训练数据太少。本次训练只提供了100多条数据，对于大模型来说算是九牛一毛了,大模型的训练还需更多优质的数据。训练方式问题。由于在这方面不够专业，在使用OPenAl提供的Fine-tuning接口时，只上传了一个文件，采用默认参数就完成了训练。如果能够使用更加专业的训练方式，比如RLHF(依据人类
18、反馈的强化学习)，那么效果会更好。训练基于GPT-3模型，使用新的模型能有更好的效果。-PrOmPt真的很重要。给出一个好的提示，哪怕大模型不知道这个问题的答案，也能根据提示给出一个乍一看很像模像样的答案。基于Fine-tuning的方式存在另外一个很重要的问题：在商家服务领域，很多知识需要不断更新，时效性较强，需要及时修正大模型中过时的内容，就需要耗费比较多的人力，这又变成了另一个难题。二、基于Embedding的实践在基于Fine-tuning的方式失败后，找到了基于Embeddings的实践方案。首先用一句概括一下这个方法的原理：根据输入问题先通过搜索的方式检索出一些相关信息(Embed
19、ding),再将这些信息作为上下文辅助大模型回答这个问题(Chat)更简单地说，就是一种先搜再问的方式，下面便通过搜(Embedding)和问(Chat)这两个部分来介绍具体过程。1 .基于Embedding的流程介绍Embedding（嵌入），以我这个小白的理解就是将自然语言转化为机器语言，即将我们说的一段话转化为一堆浮点数（向量），这个向量中包含了模型对自然语言含义和特征的理解。对于两个向量，可以用距离来衡量它们的相似度，离的越近的两个向量它们的相似度越高,对应的自然语言文木相似度也就越高。那么我们只需要简单的两步即可:将商家服务知识库中的知识向量化后存入向量引擎；-将问题向量化后到向量引
20、擎中进行检索，即可得到和问题相关的内容。整体流程如下图所示：格式化2 .训练步骤1）内容格式化商家服务大厅中的内容包含如下几类，我们需要关注的是有哪些部分可以参与Embeddingo- 短视频：包含标题、相似问和描述等文本内容。工具：商家服务特色操作类解决方案，如发起投诉、申诉、报备等。包含标题、相似问等文本内容。- 专区：一类业务解决方案的集合。包含标题、相似问、描述等文本内容。- 知识：最常用的解决方案，分两类。文本知识（FAQ）：文本知识，包含标题、相似问、知识内容等文本内容。SOP：操作类知识，通过SOP流程驱动帮助商家解决问题。包含标题、相似问等文本内容。在上面这些内容中，最终选择了
21、知识进行向量化，考虑到以下两点：- 知识绝大部分内容都是文本，可将其最大程度向量化，为后续的向量检索服务；- 知识在商家服务中所有内容的数量占比超过90%,并且也是评价解决率最高的内容类型。格式化的步骤如下：第一步：知识的内容为hlml富文本或markdown,将其处理为纯文本格式，会造成一些内容（如超链）丢失：第二步：对于过长的知识进行人工筛选，如果需要向量化，则将其以每500字符为一段的方式分为多个chunk,每个chunk的内容如下：title:知识标题；tags:相似问1相似问2;content:知识正文内容2）数据向量化通过OPenAl的Embedding接口对格式化后的文本进行向量
22、化，选择最新的text-embedding-ada-002模型，它支持的最大输入为8191个token：MODELGENERATIONTOKENIZERMAXINPUTTOKENSKNOWLEDGECUTOFFV2cl100k_base8191Sep2021V1GPT-2GPT-32046Aug2020它的输出是一个长度为1536的向量（1536个浮点数）：Second-generationmodelsMODELNAMETOKENIZERMAXINPUTTOKENSOUTPUTDIMENSIONStext-embedding-ada-002cl100k_base81911536同时它的得分也更
23、高:MODELROUGHPAGESPERDOLLAREXAMPLEPERFORMANCEONBEIRSEARCHEVALtext-embedding-ada-002300053.9-davinci-*-001652.8*-curie-*-0016050.9-babbage-*-001240504-ada-00130049,0当然了，OPenAIEmbeddingAPl的价格也很美好,只需要0.0004美元/1000tokens!3）基于Hologres的向量存储得到向量后需要进行存储和检索。因为我们在实际业务中有使用Hologres,而Hologres本身也集成了达摩院向量检索引擎PrOXim
24、a,于是我们基于Hologres做了实践，下面是操作步骤:第一步：创建表（详细请参考HolOgreS向量计算PrOXima）hologresbegin;createtableseiIerservice_content_tb(主键idBIGINTz- -内容idcontent_idVARCHAR,- -内容类型typeINTEGER,- -向量(维度1,长度1536)contentFLOAT4check(ARRAY_NDIMS(content)=1andarray_length(content,1)=1536),- -ChUnk索引(标记本条数据是该知识的第几个chunk)idxINTEGER,
25、- -原始文本内容row_contentTEXT,- -租户idbu_idINTEGER)；-因为测试的数据量较少，所以设置表的分片数量为1callset_table_property(seiIerservice_content_tb,shard-countI1);为content字段添加ProXima索引，采用、平方欧式距离，数据量达到IOoO行后构建索引callset_table_property(,sellerservice_content_tb,proxima_vectors，,content:algorithm:Graph,distance_method:llSquaredEucli
26、deann,nbuilder_paramsn:min_flush_pr。Xima_row_c。Unt:1000,);commit;第二步：将数据导入至该表：INSERTINTOsellerservice_content_tb(content_idrtype,content,row_content,idx,bu_id)VALUES(123456789,0,array0工，02,0.3,04,.:float4,title:xxxxx;tags:xxxxxx;content:xxxxxxxx0,3);将知识向量化后，就可以开始进行问答了，整个流程如下图:PromptOPmAIOIM|Qu*y*4tt
27、OpenAl Cmtwdcfengafl*R4)Query向量化用户输入问题后，首先需要对QUery进行向量化。QUery的向量化和上面知识的向量化方法一致，只需要将Query作为入参调用OPenAl的Embedding接口即可。需要注意的是向量化QUery时使用的模型需要和向量化知识时的保持-致，这样才能使向量的维度保持一致，否则无法进行向量检索。5)向量检索得到了QUery的向量后即可在Hologres中检索相关知识。Hologres支持JDBC客户端链接，需要使用42.2.25及以上版本的PostgresJDBCDriver：org.postgresqlostgresql42.2.25.
28、jre6然后配置Hologresss数据源：Bean(name=nHologressDataSourcenrinitMethod=init,destroyMethod=close)publicDruidDataSourcedataSource()DruidDataSourcedruIdDataSource=newDruidDataSource();druidDataSource.SetDriverClassName(*,org.postgresql.Driver*1);CiruidDataSource.setUrl(“jdbc:postgresql:/:/hologres_poc?reWrit
29、eBatChedInserts=true&tCpKeepAlive=true);druidDataSource.setusername(,xxxxxxxxn);druidDataSource.SetPassword(,xxxxxxxx,1);returndruidDataSource;配置完成后即可进行向量检索：根据向量检索淘宝TOPIo最相关的内容SELECTpm_approx_squared_euclidean_distance(content,0l,02,03,04,.,)ASdistancecontent_idztype,idxFROMsellerservicecontenttbWHE
30、REbu_id=3ORDERBYdistanceASC1.IMIT10;更多Hologres的向量检索查询请参考官网文档向量计算Proxima.向量检索结果测试:buld:3,入typesnull,word:买惠M人:M么办,“top*5出6） Prompt构造得到了Query相关的知识，最后一步就是构造Prompt了：role:user,content:你是谁？role:assistant,content:亲您好，我是淘宝商家智能客服,请问有什么可以帮您吗？，role:system,content:你是淘宝商家智能客服，你聪明、友善，可以帮助商家解决问题，请根据下面几段材料回答商家这个问题。
31、请注意，你需要根据商家的问题从下面的材料中尽可能地提取相关信息.，然后对该问题做出回答，答案需要语句通顺、表达完整、格式优美，并且需要给出具体、详细的说明或解决方案。如果下面的材料和问题无关，或者商家和你闲聊，或询问与淘宝商家无关的问题时，请尝试自己回答这个问题。当你无法给出正确答案时请回答：抱歉，我无法回答您这个问题。请再次注意你是淘宝商家智能客服，请站在商家的视角帮助他们解决问题并时刻记住你的身份。下面是相关材料，每段材料中title是材料的标题（主题），COntent是材料的具体内容，这几段材料通过n进行分隔：ntitle:标题1;COntent:内容lntitle:标题2;Conten
32、t:内容2ntitle:标题3;Content:内容3ntitle:标题4;Content:内容4role:user,content:买家骂人怎么办？构造完成后即可通过OPenAl的Chat接口进行对话了。7）训练结果采用gpt-3.5-turbo模型进行问答，temperature参数设置为0.5,效果如下:3.训练效率总结通过测试来看，训练效果还是可以的，这里总结一下基于Embedding的方式的优缺点:优点。知识外化：通过利用上下文提供知识替代用知识训练模型的方式，不存在知识实时性的问题；。可扩展性：由于知识的检索可以通过工程手段实现，可扩展性、可控性相较于训练的方式更强；。易用性强：向
33、量检索可以通过标准SQL表达，上手成本低缺点。上下文变长：由于需要在上下文中提供知识，造成了上下文变得比较长，虽然GPT-4已支持32K个token的上下文，但是成本会变高。模型能力：这种方式相当于为大模型提供了一个有力的外部工具，而模型本身并没有得到训练，模型能力没有得到提升。但这是否算是缺点，还需要打个问号。对面上面的方案，还有可以进步探索的地方： 检索的能力可以进一步增强，具体可以采用如下方法：。对Embedding模型进行训练，增强其对阿里巴巴商家服务和电商领域相关文本语义的理解；。除了语义匹配外，还可以引入其他模块（如文本匹配模块、query改写模块等）提升检索的准确性。 自动化检索
34、。对于商家的问题，并不是所有的问题都需要先进行向量检索，比如“你是谁”、“你能帮我解决什么问题”这类问题。因此可以对商家的问题进一步分类，以减少一些不必要的向量检索过程。 可以丰富检索内容的类型，增强答案的交互性。在本次实践中仅仅引入了知识类型，并且由于格式化问题导致文本中的超链丢失。 Prompt可以进一步优化，temperature参数也可以进行调整，同时将最后的问答模型升级为GPT-4也许会有更好的效果。以上是我们团队基于ChatGPT以及结合HologreS向量检索能力在商家自助服务场景的探索实践，后续我们也将继续基于ChatGPT做更多探索，并尝试应用在生产中，我们希望通过大模型丰富
35、的能力为阿里巴巴千万商家提供最优质的服务！AnalyticDB(ADB)+LLM：构建AIGC时代下企业专属ChatbOt一、为什么Chatbot需要大语言模型+向量数据库？这个春天，最让人震感的科技产品莫过于ChatGPT的横空出世，通过大语言模型(LLM)让人们看到了生成式AI能实现到和人类语言高度相仿的语言表达能力，AI不再遥不可及而己经可以走进人类的工作和生活，这使得沉寂一段时间的Al领域重新焕发了能量，无数的从业者正趋之若鹫地投身于下一个改变时代的机会。据不完全统计，在短短的4个月时间内，美国己经完成了超4000笔的生成式Al的行业融资。生成式Al已经成为了资本和企业都无法忽视的下一
36、代的技术密码，而其对于底层的基础设施能力提供了更高的要求。大模型能够回答较为普世的问题，但是若要服务于垂直专业领域，会存在知识深度和时效性不足的问题，那么企业如何抓住机会并构建垂直领域服务？目前有两种模式：第一种是基于大模型之上做垂直领域模型的FineTUne,这个综合投入成本较大，更新的频率也较低，并不适用于所有的企业；第二种就是在向量数据库中构建企业自有的知识资产，通过大模型+向量数据库来搭建垂直领域的深度服务，本质是使用数据库进行提示工程(ProrTlPtEngineering)0以法律行业为例，基于垂直类目的法律条文和判例，企业可以构建垂直领域的法律科技服务。如法律科技公司HarVey
37、,正在构建律师的副驾驶”(CoPiIotforLaWyer)以提高法律条文的起草和研究服务。将企业知识库文档和实时信息通过向量特征提取然后存储到向量数据库，结合LLM大语言模型可以让Chatbot(聊天机器人)的回答更具专业性和时效性，构建企业专属Chatboto点击原文,观看视频，了解基于大语言模型+AnalyticDBforPostgreSQL（以下简称ADB-PG,内置向量数据库能力）让ChatbOt更好地回答时事问题Demo：GO阿里云瑶池如何让Al聊天机器人解答时事相关问题?本文接下来将重点介绍基于大语言模型（LLM）+向量数据库打造企业专属Chatbot的原理和流程，以及ADB-P
38、G构建该场景的核心能力。AnalyticDBPostgreSQL支持向量数据检索能力，可以支持企业用户一站式搭建Chatbot专属知识库。目前开放1个月【免费试用】规格，点击领取，即刻开启体验！二、什么是向量数据库？在现实世界中，绝大多数的数据都是以非结构化数据的形式存在的，如图片，音频，视频，文本等。这些非结构化的数据随着智慈城市，短视频，商品个性化推荐，视觉商品搜索等应用的出现而爆发式增长。为了能够处理这些非结构化的数据，我们通常会使用人工智能技术提取这些非结构化数据的特征，并将其转化为特征向量，再对这些特征向量进行分析和检索以实现对非结构化数据的处理。因此，我们把这种能存储，分析和检索特
39、征向量的数据库称之为向量数据库。向量数据库对于特征向量的快速检索，一般会采用构建向量索引的技术手段，我们通常说的向量索引都属于ANNS（APPrOXimateNeareStNeighbOrSSearCh,近似最近邻搜索），它的核心思想是不再局限于只返回最精确的结果项，而是仅搜索可能是近邻的数据项，也就是通过牺牲可接受范围内的一点精确度来换取检索效率的提高。这也是向量数据库与传统数据库最大的差别。为了将ANNS向量索引更加方便的应用到实际的生产环境中，目前业界主要有两种实践方式。一种是单独将ANNS向量索引服务化，以提供向量索引创建和检索的能力，从而形成一种专有的向量数据库；另一种是将ANNS向
40、量索引融合到传统结构化数据库中，形成一种具有向量检索功能的DBMS.在实际的业务场景中，专有的向量数据库往往都需要和其他传统数据库配合起来一起使用，这样会造成一些比较常见的问题，如数据冗余、数据迁移过多、数据一致性问题等，与真正的DBMS相比，专有的向量数据库需要额外的专业人员维护、额外的成本，以及非常有限的查询语言能力、可编程性、可扩展性和工具集成。而融合了向量检索功能的DBMS则不同，它首先是一个非常完备的现代数据库平台，能满足应用程序开发人员的数据库功能需求；然后它集成的向量检索能力一样也可以实现专有的向量数据库的功能，并且使向量存储和检索继承了DBMS的优秀能力，如易用性（直接使用SQ
41、L的方式处理向量）、事务、高可用性、高可扩展性等等。本文介绍的ADB-PG即是具有向量检索功能的DBMS,在包含向量检索功能的同时，还具备一站式的数据库能力。在介绍ADB-PG的具体能力之前，我们先来看一下Demo视频中Chatbot的创建流程和相关原理。三、LLM大语言模型+ADB-PG：打造企业专属Chatbot案例-本地知识问答系统对于前面Demo视频结合大语言模型LLM和ADB-PG进行时事新闻点评解答的例子，让1.LM回答通义千问是什么二可以看到，如果我们让LLM直接回答，得到的答案没有意义，因为LLM的训练数据集里并不包含相关的内容。而当我们使用向量数据库作为本地知识存储,让LLM
42、自动提取相关的知识之后，其正确地回答了通义千问是什么。同样地，这种方式可以应用于处理文档，PDF,邮件，网络资讯等等尚未被LLM训练数据集覆盖到的内容。比如：- 结合最新的航班信息和最新的网红打卡地点等旅游攻略资源，打造旅游助手。比如回答下周最适合去哪里旅游，如何最经济实惠的问题。- 体育赛事点评，时事热点新闻点评，总结。今天谁是NBA比赛的MVP。- 教育行业，最新的教育热点解读，比如，告诉我什么是A【GC,什么是StableDiffUSion以及如何使用等等。- 金融领域，快速分析各行业领域金融财报，打造金融咨询助手。- 专业领域的客服机器人.实现原理本地知识问答系统(LOCalQASyS
43、tem)主要是通过结合了大语言模型的推理能力和向量数据库的存储和检索能力。来实现通过向量检索到最相关的语义片段，然后让大语言模型结合相关片段上下文来进行正确的推理得到结论。在这个过程中主要有两个流程:- 后端数据处理和存储流程- 前端问答流程同时其底层主要依赖两个模块:- 基于大语言模型的推理模块基于向量数据库的向量数据管理模块1.ocalQAsystemonLLM&VeCtorStore原理Pwti问立库*/IV erbedcn双本分VLm;.:I OKMaK CXufMI I 3JM* H UMU* Pvt2. Rtrw Plu9in SevwOFrWorURLJsom文 *XErnted
44、dg Model后端数据处理和存储流程上图黑色的部分为后端的数据处理流程，主要是将我们的原始数据求解embedding,并和原始数据一起存入到向量数据库ADB-PG中。这里你只需要关注上图的蓝色虚线框部分。黑色的处理模块和ADB-PG向量数据库。- Steph先将原始文档中的文本内容全部提取出来。然后根据语义切块，切成多个ChUnk,可以理解为可以完整表达一段意思的文本段落。在这个过程中还可以额外做一些元数据抽取，敏感信息检测等行为。- Step2:将这些ChUnk都丢给embedding模型，来求取这些ChUnk的embedding。- Step3:将embedding和原始ChUnk-起存入到向量数据库中。前端问答流程在这个过程中主要分为三个部分L问题提炼部分2.向量检索提取最相关知识3.推理求解部分。在这里我们需要关注橙色部分。单单说原理可能比较晦涩，我们还是用上面的例子来说明。1.ocalOAsystem
