MNN Chat是一款ai模态工具,功能对标Google AI Edge Gallery,能让庞大模型断网运转,利用安卓设备CPU与GPU算力,执行对话、图文生成、视频剪辑及编码任务,全部计算驻留本地,隔绝厂商服务器,数据隐私安全且服务定制自由,堪称掌中百宝箱,可以解析照片与语音,即时绘图、制影、建站,硬件调优充分,响应迅捷,兼容众多流行架构,流量零消耗,私人属性鲜明,前沿技术尝鲜者可直接在本站获取。
MNN Chat软件特色
1、多模态功能集合:内置文本转文字、图片解析、音频听写及文字生图(依托扩散结构)等多种作业类型。
2、CPU推算提速:在安卓端,MNN-LLM的预填阶段速度超出llama.cpp约8.6倍,超出fastllm约20.5倍;逐字解码阶段则分别快出2.3倍与8.9倍。下图对照了llama.cpp与MNN-LLM的实测表现。
3、模型接纳范围广:可载入Qwen、Gemma、Llama(含TinyLlama与MobileLLM)、Baichuan、Yi、DeepSeek、InternLM、Phi、ReaderLM及Smolm等主流厂商的成果。
4、本地离线运转:所有计算均在设备端完成,个人数据不必向外传送,私密性有保障。
MNN Chat软件使用简介
1、从本页免费获取安装包并完成装设后,启动应用,在模型市场页面中查阅全部可用的模型清单。

2、从中点选您所要的某一款大模型,执行下载操作。

3、下载过程结束后,即可直接在应用内开启与模型的问答互动。

4、从侧边栏进入聊天记录区,能够方便地回溯和管理过往的每一条对话内容。

MNN Chat软件应用场景
1、全职能文案与编码助手:它不单能闲谈,更能代笔学术论述、活动策划,甚至直接在移动端写出可实际运行的代码,应对各类文书与编程差事。
2、便携式多媒体工坊:它可作为绘图与视频处理工具。给出指令即可生成画作,或解析视频片段后归纳重点、摘取字幕,也可辅助梳理剪辑方案,完成从文字到图像再到影像的跨形式产出。
3、复合型信息枢纽:相较于功能单一的普通应用,它像一个大型调度中心,可共同解析图片、音频和视频。拍下流程图能转成代码,录入会议录音可生成附带插图的演示大纲。
4、离线高性能工作台:最关键的一点,这些高负荷任务(绘图、视频分析、代码编写)全部在手机本地完成。等于随身携带一个不耗流量、免去月费、反应迅捷的强力工具,随时投入产出。
更新日志
v0.8.2.2版本
1、本次更新要点:
刷新内置MNN运行库,引入最新的CPU线性注意力机制和Arm82 fp16加速途径。
针对思考模式提示词和数组拼接情形,改进分词器与模板渲染的适配性。
给OpenCL和Metal执行线路补上TopKV2后端支持。
2、缺陷修正:
修复安卓端点击“添加本地模型”时偶发的闪退现象。
排除模型载入阶段因mmap权重部分初启导致的进程锁死问题。
对同一模型启动API服务时复用已有的运行会话,防止反复加载造成的无响应或崩溃。