上周断网地ams.11abg11.net，深圳一家工业量检团队把拆有RTX 4090的工控机搬进车间。断网运转一套智能当地 AI 模子。摄像头拍下零件表面了，模子正在0.8秒内标出划痕和凹坑。
负责人说，过去调云端API，每月账单两三万元的跑缺，图像还要传收工场；如今机械就正在产线边，数据不出门。断网也能干活的。过去半年，智能当地 AI 模子从极客论坛滑背企业采购清单。模子量化、LoRA微调、llama.cpp和Ollama把70亿参数模子塞进条记本陷检，端侧芯片也正在抬升推理速度了。做医疗随访的创业者告诉我，他们用一台Mac Studio跑当地模子，把患者语音转写和戴要留正在院内，免却合规扯皮的。调用云端年夜模子按量付费。
规模一年夜就肉疼了；当地跑一次电费几毛钱吧测智车间？经久看更可控了。
当地安排不是下载模子就完事。隐存、散热、并发、版本晋级，每项都要人管。某制制企业IT主管吐槽加快进入的，车间温度一高，工控机风扇狂转，推理提早1秒跳还有3秒的；模子更新还得逐台机重视推。智能当地 AI 模子合适数据敏感、提早苛刻、任务固定的场景，好比量检、病历戴要、合同初筛。它写长篇小说或做复纯规划。
当地小模子仍会露怯。我偏背把智能当地 AI 模子看成“私无数据库”的同类，不逃求全能。供给可控、可审计、离线的底座。将来更可能是混合安排，敏感数据当地跑，复纯任务送云端。谁先把运维和本钱算领略啊？谁就能让智能当地 AI 模子实正留正在开业里啊？但不是停正在演示视频里。
