[IT Home评估室]可以在没有单独的图形卡的情况下

日期:2025-04-01 浏览:

近年来,在AI领域的普及以及对计算强度的不断增长的需求中,市场上主流独立图形卡的计算强度逐渐增加。但是,对于大多数普通用户而言,主机仍然需要考虑价格,可移植性,性能和其他方面。 “核弹级”的图形卡听起来很酷,但是在实际部署中,无论是价格还是用电,都很难称其为“每日”。但是,近年来,随着AI助手的非凡成就,越来越多的用户开始使用AI作为当天的助手,一天到一天的活动和生活。尽管Internet制造商在云中部署的AI服务的阈值较低且易于使用,但它要么受到诸如访问次数之类的策略的限制,要么很难确保在频繁访问中服务器的稳定性。在大型大型模型的开放资源中,例如DeepSeek和Re模型蒸馏带来的电源计算要求的销量,许多“高频用户”开始考虑在当地撤离AI助手。操作大型本地型号似乎在“薄且轻巧的笔记本电脑”中是不公正的,但是随着Intel®Core™Ultra200H处理器的发布和优化,这不仅是可能的,而且即使体验也不错。简要了解该处理器,该处理器采用了混合体系结构设计,其中包括4-6个P型(性能核心),八个电子磁盘(核心效率)和两个LP E-cores(低功率效率核心)。与前几代人相比,多线程性能IS反应高达41%,适用于低晶格AI工作负载。对于大型模型的应用,Intel®Core™Ultra200H系列处理器的GPU结合了XE架构,并且AI计算的功率显着提高。整个系列配备了独立的NPU。 NPU单元最多可提供13个顶部发挥力量。通过与CPU+GPU+NPU计算计算的合作,整个平台具有99个顶部计算的最终功能,并在本文中提到的Intel OpenVino Tool Suito具有本文支持的Intel OpenVino Tool Suito,这也使“ AI在个人PC上的AI局部扩展”也成为可能。 1。理论性能测试本文中使用的笔记本电脑应如下配置,而无需单独的图形卡。用于测试的笔记本是Intel Core Ultra 9 285h处理器,TDP 45W。 CPU-Z单核837.6分,多核10917.1分。 3DMark CPU轮廓标记如图所示。 3DMark Time间谍CPU得分为12395点,图形卡标记为4153点。时间间谍应力测试20轮周期的周期99.8%。 Cinebench R23单核2162点,多核22121点。 2。AI测试1。DeepSeek当地扩张最近DeepSeek应该是许多人的活动和生活中必要的“小帮手”,因为它确实可以带来很多舒适。但另一方面,每个人都应该熟悉以下场景和无助。毕竟,用户数量很大,而且仍在迅速上升。如果您提出正在进行的问题,DeepSeek将不可避免地忙于服务器。这也使DeepSeek最初为我们拯救了我们不可避免地会再次打猎的重要时期。但是,许多人可能对DeepSeek不了解。与传统的AI管理研究框架相比,DeepSeek加强了刺激的技术以提供推理的真正能力,显着提高了数学和逻辑测试的性能,并将不当培训减少了60%,计算计算。此外,模型参数的动态分配是通过MOE架构实现的,结合了多级机制(MLA)机制,同时提高了响应速度,它降低了计算强度的成本。例如,在同一参数下,识别速度提高了40%ETER量表。最重要的是开放的资源模型,因此它很快吸引了具有高尚可且强大的推理能力的全球开发人员,从而产生了技术界裂变的影响。这些好处还通过其他以前的大型模型来区分它们。它只能借助云中的大规模计算服务器功率部署,但它充分希望在个人PC上进行本地扩展。本文提供了两种扩展方法,尤其是Olllama客户端和流动的AIPC助手。前者还有一些部署步骤,但是部署后有很多交互式接口(命令行,浏览器插件和独立应用程序),使用相对灵活地使用;后者是一站式图形操作,安装后也用于固定的独立应用程序(Flowy AIPC助手)中,毫无疑问,但样式是完全固定的。 Maaryou检查教程,并根据您的前提选择Ferences。 1)更新驱动程序,因为本地大型模型的部署需要在开始部署之前使用ARC图形计算模块进行加速,请确保确保图形卡驱动程序是最新版本。只需访问Intel官方网站下载驱动程序管理软件即可。在这里,您将在下面放置链接。下载之前,您必须确认处理器和系统版本的相应版本。下载链接:https://www.intel.cn/content/www/cn/zh/download/785597/785597/intel-arc-risis-xe-lraphics-windows.html被下载,然后下载,然后在下一步中安装,然后遵循最新的说明。 2)英特尔优化版本Olllama+IPEX-LLM部署教程a)模型部署将接下来下载Intel优化的Bersyon Ollama+IPEX-LLM文件。该文件不大,因此您可以将其下载给自己。下载链接:https:// github.com/intel/ipex-llm/releases后续版本可能会更新。安装时,您可以下载相应的最新版本。下载后,解压缩它,然后单击左键以运行start-olama.bat文件。运行后,以下命令行窗口将弹出:请勿关闭此处上方的窗口,并打开新的命令提示符(CMD)窗口。如果找不到CMD,则可以直接搜索到任务栏。打开后,运行以下两个命令。请注意,需要根据将Olllama保存在计算机上的位置进行更改和输入。 CD C \ Change to the location of the file you have decompressed Oslama Run DeepSeek-R1: 7B The two commands the editor wants to enter here is: CD C \ Users\ Home \ Download \ Landrop \ Ollama-0.5.4-Ipex-LLM-2.2.0b20250220-Winollama Run DeepSeek-R1: 7B The last 7B in the second command here referred to the selected model.下面附有不同尺寸的模型文件大小。个人计算机建议您部署14B以下的模型。 CO的记忆编辑器使用的mputer是16GB。选择7B型号以供您参考。输入代码后,启用下载。保持网络开放并耐心等待。下载完成后,模型的部署完成。在这里,您可以在问答框的对话框中输入问题和DeepSeek。您可以立即询问并在本地回答。但是,这种 - 这种连接的方法可能是许多人无法接受的。不用担心,让我们谈谈如何在下一步中将其“ Manice”。 b)如先前的浏览器插件安装文章所述,有三种用于基于Ollama的大型模型的交互式方法,尤其是命令行,浏览器插件和独立应用程序。接下来,让我们谈谈下面的两种方法。使用Edge浏览器和Chrome浏览器的朋友可以发现插件插件将被自动下载和安装,弹出窗口将是正确的。根据浏览器快速您需要每天使用。在从系统资源管理器提出问题之后,我们可以看到弧内核的本地计算模块被要求加速。 c)ChatBox AI客户端安装如果您喜欢浏览器的插件,则不必查看此部分。如果您不使用上述两个浏览器,或者您不喜欢浏览器的联系方式,则还可以选择ChatBox AI作为联系门户。您可以从官方网站下载它。网站的官方地址:https://chatboxai.app/zh#download不大,下载非常快,您可以在下载完成后以各种方式安装它。我不会在这里详细介绍。安装完成后,将其打开并请求选择调整。在此处选择“使用您自己的API密钥或本地模型”。选择Olllama API。该模型的详细设置而无需更改,仅默认设置。选择此内容后,您可以开始说话。提出问题后,您还可以看到本地您已部署的模型仍在调用,并且仍将运行一个核心图形计算模块以进行加速。然后,可以在此处使用Ollama模型的局部扩展和三种交互式方法。您可以根据自己的偏好和需求选择。 3)以前的流动AIPC助手方法,如果您发现的话,还有一个“一站式”,它是扩展图形的全日制扩展方式,即AIPC助手的流程,您可以根据需要选择。首先从官方网站下载流动的AIPC助手。官方网站链接:https://www.flowyaipc.com下载并以各种方式安装。第一次打开它后,您需要在微信中注册并登录QR码。躺在进来后,您可以输入主界面。选择左侧的市场模型,您会发现许多模型可用。在上一篇文章中部署的DeepSeek-r1:7b模型已确定并显示为安装。如果是not -deploy,您可以单击在此处直接下载它。下载完成后,您可以返回主界面以选择模型并开始说话。应该注意的是,除本地模型外,流动的AIPC助手还提供云模型选项。选择时,请注意识别小型前图标以识别本地模型和云模型。下载完成后,询问一个流动的AIPC助手问题。您可以看到Thearc内核图形计算模块也被称为加速。 2.月光本地月光扩展是Monshot开放资源的第一个大型模型,具有16B完整参数和3B激活参数。也就是说,该平台只需要具有3B相应的计算能力即可使用16B的完整性能,从而降低了使用大语言模型的阈值。可以说是AI平等的重要一步。 1)安装和部署环境EX所需的文件可以从github或拥抱的脸下载pansion。 github存储库:https://github.com/moonshotai/moonlighthugging模型库:https://huggingface.co/moony 2)在安装阶段模型后,启动miniforge witch命令命令行。 After starting, run the following code: CD/Create Create -N IPEX-llm Python = 3.11 LibuvConda Active IPEX-LLM After running, (base) at the beginning of the command line will be (iPEX-llm) and then run the following code: PIP Install ModelsCopemodelsCope Download -MODEL MONSHOTAI/MOONIGHIGHT-16B-A3B-AMODEL moonshotai/moongeight-16b-a3b-itthotii --- local_dir/moonlight-16b-a3b-instruct-local_dir/moonlight-16b-a3b-instruct-instruct-local_dir/moonlight/moonlight/moonlight-16b-a3b-instruct-16b-a3b indruct-和Enter confirm and enter确认): -exra -endex -urlhtps://download.pytorch.org/whl/xpu-ihttps://pypi.tuna.tsinghua.edu.edu.edu.cn/simpipipip install tikoken blobfile interma -pre -upgRADE IGEX-LLMPYTHON CONST.PY已完成,在提示时将所有文件复制到双文件。接下来,您可以不运行。首次运行时,大约有10分钟的加热。无需等待它再次运行。运行以下代码:Conda激活IPEX-LLMET SYCL_CACHE_PERSISTENT = 1SET SYCL_PI_LEVEL_ZERO_ZERO_ZERO_USE_IMMEDIATE_COMMANDLISTS = 1PYTHON RUN_MOONLIGHT-16B-A3B bunct.py运行后问一个问题,您可以看到本地GPU计算单元的单位运行。 3。ULProcyon测试Procyon AI是由UL Solutions启动的专业基准测试软件,旨在检查运行AI模型时的计算机或设备的性能。它可以帮助用户通过一系列标准测试在处理AI活动时快速了解硬件资源的效率和使用。它尝试了三个项目:AI文本生成(AI文本生成),AI图像生成(AIIMAGE GERTAN)和AI计算机视觉(AI计算机视觉基准)。 1)四个测试AI文本基准基准上的项目分别得分817、848、798和711分。 2)AI图像生成上的AI生成基准得分为349分。图片可以在约18.6s的形成。 3)AI计算机视觉基准在AI计算机视觉基准上,得分为140分。摘要:通过实际的经验,我们可以看到99个上衣,整个Intel®Core™Ultra200H系列处理器平台,允许在薄和轻笔记本中扩展大型型号,不仅可以实现,而且还具有良好的用户体验。的确,要通过薄薄的笔记本电脑部署Deptseek,记忆力和计算强度的“全血”模型。但是,对于大多数办公室和B情况,少于15B的本地大型大小型号可以满足许多人的日常需求。在此基础上,对于普通用户而言,舒适性,有效性和稳定性的平衡比盲目追逐模型量表更为重要。以上是关于这个的文章。如果您耐心地阅读此书,希望您也可以成功部署自己的“本地AI助手”。

0
首页
电话
短信
联系