微看书

一文读懂边缘ai平台，真的不难！（第2页）

小主，这个章节后面还有哦，请点击下一页继续阅读，后面更精彩！

2. AI模型层：这里就像是一个模型的大仓库，里面存放着各种各样的AI模型。这些模型就像是不同的工具，能完成不同的任务。比如有图像识别模型，可以识别出图片里的物体是什么；有自然语言处理模型，可以理解你说的话是什么意思。网宿科技的边缘AI平台支持多种主流的AI模型，而且还能对这些模型进行优化，让它们在边缘设备上也能快速、准确地工作。就好比把一把普通的工具打磨得更加锋利，用起来更顺手。

3. AI服务层：这一层就像是一个服务中心，它把AI模型和上层的应用连接起来。它提供了很多服务，比如模型的部署、管理和调用。当你开发一个AI应用的时候，不用自己去操心怎么把模型部署到设备上，也不用烦恼怎么管理这些模型，AI服务层都帮你搞定了。你只需要告诉它你想用哪个模型，它就会帮你把模型调用起来，就像你在餐厅点菜，你只需要告诉服务员你想吃什么，服务员就会帮你把菜端上来。

4. AI应用层：这是最贴近我们用户的一层，各种各样的AI应用都在这一层。比如智能客服，当你在网上购物有问题咨询的时候，智能客服就能快速回答你的问题；还有智能安防系统，可以实时监控小区的安全情况。这些应用都是基于前面几层的能力开发出来的，它们利用边缘AI平台的优势，为我们提供更加智能、便捷的服务。

（二）核心产品矩阵

网宿科技的边缘AI平台有三大核心产品，它们就像是平台的三把利刃，各有各的厉害之处，一起为用户提供强大的AI服务。

1. 边缘AI网关：这可是个很关键的产品，它就像是一个超级智能的管家。它是企业接入全球大模型的智能中枢，通过一个API接口就能对接100 +主流模型，像我们经常听说的文心一言、通义千问、OpenAI等大模型，它都能轻松连接。比如说你是一家企业，你想用文心一言的模型来做智能客服，但是直接对接可能很麻烦，而且还不知道怎么优化多模型协同效率。这时候边缘AI网关就派上用场了，它就像一个翻译官，能把你的需求准确地传达给文心一言模型，还能通过智能路由策略，让不同的模型一起工作得更高效。就好比你要组织一场多人游戏，边缘AI网关能帮你安排好每个人的角色和任务，让游戏顺利进行。

另外，边缘AI网关还内置了很多实用的机制。比如语义缓存，它就像一个小仓库，会把经常用到的语义信息存起来，下次再用到的时候就不用再去大模型那里问了，直接从这个小仓库里拿，速度就快多了。还有安全审核机制，它能保证你使用AI服务的时候不会出现安全问题，就像一个保安，守护着你的数据安全。速率限制机制则可以防止某个用户或者应用过度使用资源，保证整个平台的公平和稳定。有了边缘AI网关，企业不仅能降低运维成本，还能让AI服务更安全、更稳定地运行。

2. 边缘模型推理：这是一个能让AI模型快速工作的产品，就像是给AI模型装了一个加速器。它依托全球GPU资源池与Serverless框架，平台里预置了很多开源模型。这些开源模型就像是已经做好的半成品，企业可以根据自己的需求，对这些模型进行少量的代码适配，就能实现毫秒级的边缘推理。比如说你是一家做智能医疗设备的企业，你想让设备能快速识别病人的X光片里有没有异常。你可以在边缘模型推理平台上找到相关的开源模型，然后稍微调整一下代码，就能让模型在设备上快速运行，在毫秒级的时间内给出识别结果。

而且，边缘模型推理还会用智能流量调度算法来分配算力资源。就像一个聪明的交通指挥员，它能根据不同的任务需求，合理地分配计算资源，让每个任务都能得到足够的算力支持。再配合自动弹性伸缩机制，当任务多的时候，它能自动增加算力；任务少的时候，又能减少算力，这样就能保障服务高可用性的同时，还能让企业随用随付，大大降低成本投入。就好比你开了一家餐厅，客人多的时候就多雇几个服务员，客人少的时候就少雇几个，既不浪费人力，又能保证客人得到好的服务。

3. 边缘AI应用：这是为企业提供的产业升级“工具箱”，里面有各种各样的工具，能帮助企业解决不同的问题。平台开放了AI问答机器人、AI编程助手等垂直应用。比如说AI问答机器人，企业可以把它用在自己的网站或者APP上，当用户有问题的时候，AI问答机器人就能快速回答，就像一个24小时在线的客服，随时为用户服务。AI编程助手则可以帮助程序员更快地编写代码，提高编程效率。

边缘AI应用还集成了RAG（检索增强生成）、联网搜索等十余项组件库。这些组件库就像是一个个小插件，企业可以根据自己的需求选择使用。比如RAG组件库，它可以让AI应用在回答问题的时候，不仅能根据自己已有的知识，还能通过检索相关的信息来给出更准确、更全面的回答。联网搜索组件库则可以让AI应用在需要的时候，连接到网络上搜索更多的信息。企业可以利用这些组件库，快速构建专属的AI解决方案，就像用积木搭建房子一样，根据自己的想法，选择不同的积木，搭建出独一无二的房子。

小主，这个章节后面还有哦，请点击下一页继续阅读，后面更精彩！

三、边缘AI平台的应用场景

边缘AI平台的应用场景非常广泛，几乎涵盖了我们生活和工作的各个领域，下面就给大家介绍几个常见的应用场景。