MLC LLM端侧推理实战指南：从部署、JSON输出到性能优化少踩坑
我第一次接触 MLC LLM 是在一个特别尴尬的场合。当时客户拿着手机问我，能不能让这个 App 在没网的时候也跑个大模型，我脑子里第一反应是"这不现实吧"。半年后我回头再看这个判断，只能说那时候我对...
我第一次接触 MLC LLM 是在一个特别尴尬的场合。当时客户拿着手机问我，能不能让这个 App 在没网的时候也跑个大模型，我脑子里第一反应是"这不现实吧"。半年后我回头再看这个判断，只能说那时候我对...
