MNN Chat属阿里研发的离线对话应用,功能比肩Google AI Edge Gallery,令巨型模型脱网运行,调用安卓机CPU与GPU算力,完成聊天、图文创作、视频编辑及编程事项,全部运算留在本机,远离厂商服务器,资料保密且服务可自定,堪称掌上宝盒,能识别相片与声音,实时绘画、制片、搭网页,硬件优化到位,反应飞快,适配诸多主流框架,流量零耗费,个人特色突出,前沿技术爱好者可于本站下载。
MNN Chat特色
1、多种感知本领聚合:囊括文字转写、图像解读、声音听录以及由扩散架构支撑的文字绘图等作业门类。
2、中央处理器运算提效:在安卓设备上,MNN-LLM预填环节的速率约达llama.cpp的8.6倍,约达fastllm的20.5倍;逐字解码环节则分别快出2.3倍与8.9倍。下图比对了llama.cpp与MNN-LLM的真实成绩。
3、模型兼容面宽:能装载Qwen、Gemma、Llama(含TinyLlama与MobileLLM)、Baichuan、Yi、DeepSeek、InternLM、Phi、ReaderLM及Smolm等多家厂商的成品。
4、本地脱网运行:全部运算都在设备侧结束,私人资料无需向外递送,隐秘性得到守护。
MNN Chat操作说明
1、从当前页面零成本取得安装包并装好之后,开启程序,在模型集市页里查看所有可选模型名录。

2、从中挑选您想要的那一款大模型,进行下载。

3、下载完毕之后,就能直接在程序里开始与模型的问答来往。

4、从侧栏步入聊天记录区,可以便捷地回看和打理以往的每条对话。

MNN Chat应用场合
1、全能文稿与编码帮手:它不光能闲聊,还能代写学术文章、活动方案,甚至在移动端写出可真正跑起来的代码,应付各种文书与编程任务。
2、随身影音工坊:它可当作绘图与视频处理器具。给出号令就能产出画作,或剖析视频片段后提炼要点、摘录字幕,也可辅助整理剪辑思路,完成从文字到图像再到影像的跨形态输出。
3、复合信息中枢:相比功能单一的寻常应用,它像一个大型调度中心,可一同解析图片、声音和视频。拍下流程图能转成代码,录入会议录音可生成附带插图的演示大纲。
4、脱网高效作业台:最要紧的一点,这些重负荷任务(绘图、视频剖析、代码编写)全部在手机本地完成。等于随身携带一个不耗流量、免去月费、反应迅捷的强力工具,随时投入产出。
更新日志
v0.8.2.2版本
一、本次更新要点:
1、刷新自带MNN运行库,引入最新的CPU线性注意力机制和Arm82 fp16加速途径。
2、针对思考模式提示词和数组拼接情形,改进分词器与模板渲染的适配性。
3、给OpenCL和Metal执行线路补上TopKV2后端支持。
二、缺陷修正:
1、修复安卓端点击“添加本地模型”时偶发的闪退现象。
2、排除模型载入阶段因mmap权重部分初启导致的进程锁死问题。
3、对同一模型启动API服务时复用已有的运行会话,防止反复加载造成的无响应或崩溃。