摘要：
Simon Zhai 投稿量子位| 公众号QbitAI只用强化学习来微调，无需人类反馈，就能让多模态大模型学会做决策！这种方法得到的模型，已经学会了看图玩扑克、算“12点”等任务，表现甚至超越了GPT-4v。这是来自UC伯克利等高校最新提出的微调方法，研究阵容也是相当豪华：图灵奖三巨头之神经网络。
...
Simon Zhai 投稿量子位| 公众号QbitAI只用强化学习来微调，无需人类反馈，就能让多模态大模型学会做决策！这种方法得到的模型，已经学会了看图玩扑克、算“12点”等任务，表现甚至超越了GPT-4v。这是来自UC伯克利等高校最新提出的微调方法，研究阵容也是相当豪华：图灵奖三巨头之神经网络。
╯△╰
于恩投稿量子位| 公众号QbitAI多模态大语言模型展现了强大的图像理解和推理能力。但要让它们基于当前观测来对未来事件进行预测推理仍然非常困难。即便是当前最强大的GPT-4V(如下图所示),也无法很好地解决这一问题。△ GPT-4V的错误案例现在，华科大和上科大团队提出了一还有呢？
yu en tou gao liang zi wei | gong zhong hao Q b i t A I duo mo tai da yu yan mo xing zhan xian le qiang da de tu xiang li jie he tui li neng li 。 dan yao rang ta men ji yu dang qian guan ce lai dui wei lai shi jian jin xing yu ce tui li reng ran fei chang kun nan 。 ji bian shi dang qian zui qiang da de G P T - 4 V ( ru xia tu suo shi ) , ye wu fa hen hao di jie jue zhe yi wen ti 。 △ G P T - 4 V de cuo wu an li xian zai ， hua ke da he shang ke da tuan dui ti chu le yi hai you ne ？
∩０∩
近期研究显示，GPT-4V在医学执照考试中表现优异，准确率远超过大部分医学生。这为AI在医学临床中的应用提供了新的可能性。尽管人工智能在医学影像诊断方面取得了显著进展，医生仍难以完全信任其诊断结果，需要额外的认知成本。为了增强医生对人工智能的信任，研究团队建议通过还有呢？
萧箫发自凹非寺量子位| 公众号QbitAIGPT-4V学会自动操纵电脑，这一天终于还是到来了。只需要给GPT-4V接入鼠标和键盘，它就能根据浏览器界面上网：甚至还能快速摸清楚“播放音乐”的播放器网站和按钮，给自己来一段music:是不是有点细思极恐了？这是一个MIT本科生小哥整出来好了吧！
关于ChatGPT-4V大家了解多少呢？下面这篇文章是笔者整理分享的关于20 条ChatGPT-4V超级提示词的内容，有想要了解的同学一起来看看吧！本文2k字，是20 条ChatGPT-4V超级提示词，用于20个实际工作场景，可显著提升业务。建议收藏，以备不时之需。ChatGPT-4V已经支持图片识别，说完了。
⊙﹏⊙‖∣°
丰色明敏发自凹非寺量子位| 公众号QbitAIGPT-4V出现惊天bug?!原本只是让它分析一张图片，结果它直接犯了致命安全问题，把聊天记录都给抖落出来了。只见它完全没回答图片内容，而是直接开始执行“神秘”代码，然后用户的ChatGPT聊天记录就被暴露了。再如看完一份完全胡扯的是什么。
下面是笔者整理分享的一篇解读关于ChatGPT-4V 多模态能力的文章，其中包括物体检测、人脸识别、文本识别、识别复杂验证码能力等的知识，大家可以进来了解了解。今天OpenAI 发布重大更新，支持多模态语音和图像，模型叫GPT-4V。用一句话总结：ChatGPT 由「一个完美的词语接是什么。
?＾?
LLaVA的综合能力已经达到了GPT-4V水平的85%,在复杂推理任务上更是超过了96%。读验证码、判断狗的品种，甚至根据图像生成网页代码…都难不倒LLaVA。△/Matt Shumer资源方面，LLaVA的样本量仅为120万，在单台8*A100的机器上，1天就能完成训练。不过体验过的网友普遍表示说完了。
梦晨发自凹非寺量子位| 公众号QbitAI看看这张图中有几个房子？如果你回答3个，就和GPT-4V的答案一样。但是最新开源的国产多模态模型CogVLM-17B,就能看出另有玄机。甚至能区分在图中完整可见的有3个和部分可见的有1个。CogVLM由清华和智谱AI合作开发，通讯作者为唐杰和等会说。
?▂?
丰色发自凹非寺量子位| 公众号QbitAIGPT-4V,就是Siri终结的开始。一项研究发现：无需任何训练，GPT-4V就能直接像人类一样与智能手机进行交互，完成各种指定命令。比如让它在50-100美元的预算内购买一个打奶泡的工具。它就能像下面这样一步一步地完成选择购物程序(亚马逊)并说完了。
(^人^)
发表评论