转跳到内容

【返乡】【开幕】【答题就有勋章】2024年冬季返乡~开幕篇~


推荐贴

8 小时前,furobert说道:

说起来我最近看到个技术实现,是融合模型,拿deepseek的R1和gemini的1206模型合起来用,原理大概就是拿一个模型生成思维链进行逻辑补全后再用另一个模型生成,这样能结合两个模型的优点让逻辑更上一层楼,实现目前效果最好的模型输出,看着可行性挺强的,不知道实际应用起来怎么样

:45080532_SSA(1):说到这个 你之前不是说gemini要出新模型了吗 后续了呢

链接到点评
14 小时前,Kris Dreemurr说道:

:45080532_SSA(1):说到这个 你之前不是说gemini要出新模型了吗 后续了呢

之前有消息说是gemini 2.0 pro exp 0128来着,看名字以为是1月28号出,结果到现在都没见到,不过应该确实是有这个模型了

最近出的就一个gemini 2.0 flash thinking exp 0121,不过thinking系列说是非常容易出现多国语言混用的情况,所以我没用过,也不清楚怎么样

我今天去跟deepseek聊才发现开源社区有个minicpm模型,仅有8B,就支持多模态能力了,甚至量化后还能部署在手机上,我从github官方那边复制了一些介绍过来:

  • 🔥 领先的视觉能力。 MiniCPM-o 2.6 在 OpenCompass 榜单上(综合 8 个主流多模态评测基准)平均得分 70.2,以 8B 量级的大小在单图理解方面超越了 GPT-4o-202405、Gemini 1.5 Pro 和 Claude 3.5 Sonnet 等主流商用闭源多模态大模型。此外,它的多图和视频理解表现也优于 GPT-4V 和 Claude 3.5 Sonnet,并展现出了优秀的上下文学习能力。

  • 🎙 出色的语音能力。 MiniCPM-o 2.6 支持可配置声音的中英双语实时对话。MiniCPM-o 2.6 在语音理解任务(如 ASR 和 STT 等)优于 GPT-4o-realtime,并在语音对话的语义和声学评估中展现了开源模型中最高的语音生成性能。它还支持情绪/语速/风格控制、语音克隆、角色扮演等进阶能力。

  • 🎬 强大的多模态流式交互能力。 作为一项新功能,MiniCPM-o 2.6 能够接受连续的视频和音频流,并和用户进行实时语音交互。在针对实时视频理解、全模态视音频理解、多模态上下文理解的综合评测基准 StreamingBench 中,MiniCPM-o 2.6 取得开源社区最佳水平,并超过了 GPT-4o-202408 和 Claude 3.5 Sonnet

  • 💪 强大的 OCR 能力及其他功能。 MiniCPM-o 2.6 进一步优化了 MiniCPM-V 2.6 的众多视觉理解能力,其可以处理任意长宽比的图像,像素数可达 180 万(如 1344x1344)。在 OCRBench 上取得25B 以下最佳水平,超过 GPT-4o-202405 等商用闭源模型。基于最新的 RLHF-VRLAIF-V  VisCPM 技术,其具备了可信的多模态行为,在 MMHal-Bench 上超过了 GPT-4o 和 Claude 3.5,并支持英语、中文、德语、法语、意大利语、韩语等30多种语言

  • 🚀 卓越的效率。 除了对个人用户友好的模型大小,MiniCPM-o 2.6 还表现出最先进的视觉 token 密度(即每个视觉 token 编码的像素数量)。它仅需 640 个 token 即可处理 180 万像素图像,比大多数模型少 75%。这一特性优化了模型的推理速度、首 token 延迟、内存占用和功耗。因此,MiniCPM-o 2.6 可以支持 iPad 等终端设备上的高效多模态实时流式交互

  • 💫 易于使用。 MiniCPM-o 2.6 可以通过多种方式轻松使用:(1) llama.cpp 支持在本地设备上进行高效的 CPU 推理,(2) int4  GGUF 格式的量化模型,有 16 种尺寸,(3) vLLM 支持高吞吐量和内存高效的推理,(4) 通过LLaMA-Factory框架针对新领域和任务进行微调,(5) 使用 Gradio 快速设置本地 WebUI 演示,(6) 部署于服务器的在线 demo

看着就很nice啊,等之后发展不知道能变成什么样

链接到点评
6 小时前,furobert说道:

之前有消息说是gemini 2.0 pro exp 0128来着,看名字以为是1月28号出,结果到现在都没见到,不过应该确实是有这个模型了

最近出的就一个gemini 2.0 flash thinking exp 0121,不过thinking系列说是非常容易出现多国语言混用的情况,所以我没用过,也不清楚怎么样

:NEKOMIMI_PARADISE_11:这也能鸽了啊
那不打算用用看吗

链接到点评
×
×
  • 新建...

重要消息

为使您更好地使用该站点,请仔细阅读以下内容: 使用条款