金融信息抽取模型对比:传统模型与大模型选型、评测与降本避坑指南
1.1 金融信息抽取任务界定与对比维度 我这些年接触金融信息抽取项目,最大的感受是这个领域的任务边界远比学术论文里写的要模糊。你去问一家券商的技术负责人,他们说的“信息抽取”可能包括从年报里把营收、净...
1.1 金融信息抽取任务界定与对比维度 我这些年接触金融信息抽取项目,最大的感受是这个领域的任务边界远比学术论文里写的要模糊。你去问一家券商的技术负责人,他们说的“信息抽取”可能包括从年报里把营收、净...
聊模型上下文缓存这件事,我踩过的坑比想象中多。刚接触时我以为缓存就是个“省钱开关”,打开就完了。真正做下来才发现,不同厂商嘴里说的“缓存”压根不是一回事。有的人说的是把整段提示词存起来复用,有的人说的...
1.1 消费级显卡运行模型对比的目标、边界与适用人群 我折腾消费级显卡跑大模型这事儿,最开始纯粹是好奇心作祟——家里那张RTX 3060到底能不能跑起来一个像样的7B模型?后来发现,这个问题远比想象中...
这几年我在做边缘AI项目时发现一个特别有意思的现象:同一个模型,同一个芯片,不同的人测出来的效率数据能差出两三倍。有人说这卡能跑到30帧,我拿到手一测只有12帧。问题出在哪?后来我慢慢琢磨明白了,效率...
1. 网页操作智能体能力评测的背景与问题界定 1.1 网页操作智能体的概念、任务边界与典型应用场景 我平时跟团队聊“网页操作智能体”,会先把它说成“能自己动鼠标键盘的AI助手”。它不只是回答问题,它要...
我最近把几台机器上的小模型翻出来重跑,桌面端、边缘盒子、云上容器各放了一版。跑完一圈的感受是,聊“小参数模型”不能只看参数量,模型家族、训练数据、量化方式、推理框架都会把体验拉出差距。我做这份对比,想...
我最近跟几个做AI应用的朋友聊天,发现一个挺有意思的现象。大家演示的时候都在秀模型"会调用工具",可真上了生产环境,抱怨最多的却是"调了但不对"。这两件事差得挺远。我自己也踩过坑,看着模型辛辛苦苦输出...
我常被问“跑一个7B、13B、70B开源模型到底要多少显存”。这个问题没有统一答案,显存占用受很多变量影响。我习惯先搭一个评估框架,把显存拆成几块,再看变量如何放大或缩小。这样做开源模型显存需求对比时...
我最近在帮几个团队做多模态大模型API的选型咨询,聊下来发现一个挺有意思的现象:大家嘴上都在说“成本很重要”,可真到动手算账的时候,十个人里能拿出八套不同的算法。有人只看每百万token的标价,有人把...
我这两年跟不少企业技术负责人聊过大模型落地的事,聊到后面基本都会绕到同一个问题上:到底要不要把模型搬到自己的机房里。这个问题看起来是个技术选型,实际上牵扯的东西特别多,预算、合规、团队能力、业务节奏,...