您的当前位置:首页 > 探索 > 奔腾2 CPU+128MB内存成功运行Llama大模型:速度还挺快 正文
时间:2025-01-07 09:23:09 来源:网络整理 编辑:探索
12月30日消息,据媒体报道,EXO Labs最近发布了一段视频,展示了在一台26年历史的Windows 98奔腾2 PC上运行大模型LLM)。这台主频350MHz电脑成功启动进入Windows 98
12月30日消息,奔腾据媒体报道,存成EXO Labs最近发布了一段视频,功运展示了在一台26年历史的行L型速Windows 98奔腾2 PC上运行大模型(LLM)。
这台主频350MHz电脑成功启动进入Windows 98系统,大模度还随后EXO启动了基于Andrej Karpathy的挺快Llama2.c定制的纯C推理引擎,并要求LLM生成关于“Sleepy Joe”的奔腾故事,令人惊讶的存成是生成速度相当可观。
EXO Labs的功运这一壮举并非偶然,该组织自称为“民主化AI”而生,行L型速由牛津大学的大模度还研究人员和工程师组成,他们认为,挺快少数大型企业控制AI对文化、奔腾真理和社会的存成其他基本方面是不利的。
因此,功运EXO希望建立开放的基础设施,训练前沿模型,并使任何人在任何地方都能运行它们,这项在Windows 98上的AI演示,展示了即使在资源极其有限的情况下也能完成的事情。
EXO Labs在文章中详细描述了在Windows 98上运行Llama的过程,他们购买一台旧的Windows 98 PC作为项目基础,但面临了许多挑战。
将数据传输到老设备上就是一个不小的挑战,他们不得不使用“老式的FTP”通过古老机器的以太网端口进行文件传输。
编译现代代码以适应Windows 98可能是一个更大的挑战,EXO找到了Andrej Karpathy的llama2.c,可以总结为“700行纯C代码,可以运行Llama 2架构模型的推理”,Karpathy曾是特斯拉的AI主管,也是OpenAI的创始团队成员。
利用这个资源和旧的Borland C++ 5.02 IDE和编译器(以及一些轻微的调整),代码可以被制作成Windows 98兼容的可执行文件并运行,GitHub上有完成代码的链接。
使用260K LLM和Llama架构在Windows 98上实现了“35.9 tok/s”的速度,根据EXO的博客,升级到15M LLM后,生成速度略高于1 tok/s,Llama 3.2 1B的速度则慢得多,为0.0093 tok/s。
好起来了!姆巴佩洲际杯决赛破门,为皇马出战的所有赛事都有进球2025-01-07 09:19
利物浦三叉戟本赛季共出场77次已进43球,效率远超红箭三侠2025-01-07 09:10
霹雳舞世锦赛:刘清漪获女子亚军 中国男子首夺牌2025-01-07 08:54
本赛季欧冠创造机会榜:蒂尔曼21次居首,维尔茨、拉菲尼亚二三位2025-01-07 08:52
[流言板]发挥出色!杰伦2025-01-07 08:41
NBA2016赛季骑士夺冠VS2022年世界杯阿根廷夺冠 哪个含金量更高2025-01-07 08:28
REDMI Turbo 4定档1月2日!首发天玑84002025-01-07 08:13
[流言板]球商超高!巴图姆全场三分2投全中,得到6分5篮板4助攻1盖帽2025-01-07 07:14
莫塔:我们会脚踏实地、竭尽全力,把尤文图斯带到应有的位置2025-01-07 07:06
巨款💰拉特克利夫入主后,已经帮曼联节省了260万英镑开支2025-01-07 06:58
早知道|巴萨5连胜升至欧冠小组积分榜次席2025-01-07 09:20
谁最大跌眼镜?前两届欧冠冠军+上届四强分列20、22、25名2025-01-07 09:01
[流言板]米切尔三分强投落地踩到默里脚倒地,裁判回看后判普通犯规2025-01-07 08:12
意天空:夸尔塔接近重返河床,佛罗伦萨要价800万欧&河床开600万2025-01-07 08:02
谁将成为票王🔥2025旧金山全明星投票通道已正式开启!2025-01-07 07:47
我刚看了徐静雨的视频,赛季刚开始放走克莱勇士王朝再度崛起。鬼才用人科尔多人轮换让老将得到充分休息备战季后赛2025-01-07 07:38
[流言板]平地起惊雷!阿丘瓦快攻接球,迎着防守上演战斧隔扣打成2+12025-01-07 07:16
专家:“一国两制”港澳实践为实现完全统一提供重要借鉴2025-01-07 07:03
洲际杯及前身历史射手榜:C罗7球居首贝尔奔马6球、苏牙梅西5球2025-01-07 07:02
[流言板]不想赢?公牛末节被轰292025-01-07 06:40