本地推理

开源社区用分层卸载把321B参数的GLM-5.3-Flash跑在4张4090上，速度到118 tok/s；9B模型被蒸馏到0.6B塞进手机芯片；OpenRouter上开源权重模型已占75%的token...