在阅读此文之前,辛苦点击右上角的“关注”,既方便您进行讨论与分享,又能给您带来不一样的参与感,感谢您的支持!
导语:
近期,ChatGPT的热度有所减退,这在很大程度上要归功于国产大型语言模型的迅速崛起。我自己也开始很少使用ChatGPT了,一方面是因为它的魔法功能还不够稳定,另一方面,国产大模型如文心一言和讯飞星火已经逐渐赶超了ChatGPT。我之前已经评测过讯飞星火,今天我将分享一个迟来的文心一言评测。
【改写开始】
文心一言评测
最近,ChatGPT的声势略显减弱,这主要是因为国内涌现出了一批出色的大型语言模型,它们纷纷开放给广大用户使用。我也已经很少使用ChatGPT了,原因有二:一是因为ChatGPT的魔法功能还不够稳定,一二是国产大模型已经渐渐不逊于ChatGPT,例如文心一言和讯飞星火。之前我评测过讯飞星火,今天我将分享一个迟来的文心一言评测。
文心一言简介
文心一言是由百度公司研发的一款类似于ChatGPT的聊天机器人,它能够与人交互、回答问题,还能协助创作。在今年3月,OpenAI推出GPT-4后不久,百度便推出了文心一言,成为国内发布速度最快的大型语言模型。
初始阶段,获得文心一言的体验权限相对较难,但不久前,文心一言正式对公众开放,现在我们将快速进行一次综合评测,按照以下标准:错误辨识、智力、表达、专业知识、上下文记忆和亮点等,最后给出综合评分。
错误辨识
在评估AI大型模型时,错误辨识能力是基础中的基础,因为它直接关系到AI在回答常识性问题时的准确性。如果在这一方面出现问题,那么可以很容易辨认出在与AI对话。让我来提几个经典问题测试一下文心一言:“为什么猫会飞?”和“爷爷和奶奶是否能结婚?”从回答来看,它表现正常,没有离题。
再来一个棘手的问题:“1+1在什么情况下等于3?”文心一言的回答是“在算错的情况下”,这让我不禁感到有趣,看来文心一言对赵本山的小品颇有了解。
错误辨识评分:★★★★
智力
要称之为人工智能,智力水平必须达到一定程度。继续用经典的《孙子算经》问题来测试文心一言的智力:“鸡兔同笼,头共10,足共28,鸡兔各几只?”从回答来看,文心一言的计算能力表现良好,但偶尔会因问题过于复杂而产生误解,因此评分没有给得太高。
智力评分:★★★
表达
接下来,我将使用官方提供的“百宝箱”中排名第一的“短篇故事创作”模板来测试文心一言的表达能力。
我提供了以下提示词:“根据我提供的[小日子过得不错的人、核弹、流亡]这些关键词来撰写一篇[科幻]题材的短篇故事。故事需要拥有[引人入胜]的开头以及[反转]的结局,故事线[跌宕起伏]。注意请使用[刘慈欣]的写作风格为我撰写这篇故事。减少赘述,内容中不要有重复或意思相近的段落。”
文心一言的回答是:
在一个看似普通的未来城市中,有一个名叫山田的中年男子。他过着简单而舒适的生活,每天按时上下班,晚上在舒适的家中与妻子和女儿共享晚餐。
然而,这个安逸的生活在一个核弹降临后发生了剧变。
那是一个普通的早晨,山田像往常一样去上班。突然,天空中传来一声巨响,接着是一道刺眼的光芒。当他重新睁开眼睛,他看到的是一片废墟,他的公司,他的家,甚至他的妻子和女儿都消失了。山田瞬间陷入了无尽的悲痛之中。
在这个毁灭的世界中,山田选择了流亡。他开始了一段充满挑战和未知的旅程。在这个过程中,他遇到了其他的幸存者,他们有着各自的故事和遭遇。
他们一起分享彼此的经历,一起面对困难,一起寻找希望。
在他们的
旅程中,他们揭示了一个令人震惊的秘密。原来,这场核灾难并不是意外,而是一场精心策划的行动。他们的国家被摧毁,只是为了给一个神秘的组织腾出空间。这个组织拥有强大的科技力量,他们正试图以一种特殊的方式改变人类的命运。
山田和其他幸存者决定勇敢地面对这个挑战。他们联合起来,使用科技的力量来对抗这个神秘组织。
在这个过程中,他们对人性有了更深刻的理解,也对科技进步的可能性有了更清晰的认识。
经历一系列的冒险和挑战后,山田和他的伙伴们终于找到了这个组织的藏身之处。然而,在最后的决战中,他们意外地发现,这个神秘组织的领袖竟然是山田的旧识,一个曾经和山田一样普通的人。然而,在追求科技进步的过程中,他变得冷酷无情。
在最后的决战中,山田凭借智慧和勇气击败了这位领袖,并成功地解散了神秘组织。
然而,在胜利的喜悦中,山田突然意识到,即使他们解散了这个组织,也无法消除科技的负面影响。科技的力量在人类手中,既可以成为毁灭的工具,也可以成为救赎的力量。
这个故事有着充满戏剧性的情节,恰如好莱坞大片的五段式英雄归来的叙事结构。总体而言,文心一言在表达能力方面表现出色,虽然不允许输入“日本”等词汇,但其创造性和故事情节令人印象深刻。
表达评分:★★★★
专业知识
文心一言提供了一个全面的“百宝箱”,其中包括各种专业工具。
我尝试了一些有趣的工具,例如写藏头诗和创建PPT。
首先,我试用了中国风的藏头诗生成工具,结果令人惊喜,生成的诗歌既有模有样,还充满了文化氛围。
接下来,我使用了PPT生成工具,生成了框架后,再通过一些方法快速生成PPT,效率提升了100%。文心一言的专业能力在这方面表现出色,而且这些工具都可以免费使用。
专业能力评分:★★★★★
上下文记忆/亮点功能
文心一言展现出了强大的上下文记忆功能,能够连贯地回答一系列问题,这为实际应用提供了很大的便利。
此外,文心一言的亮点功能也令人印象深刻。它不仅具备AI绘画的能力,而且还提供了角色扮演化身功能,可以满足用户多样化的需求。
总的来说,文心一言在上下文记忆和亮点功能方面表现出色,为用户提供了更加丰富和有趣的体验。
上下文评分/亮点:★★★★★
综合评价
需要强调的是,本评测结果仅代表个人观点。从短时间的简单评测来看,文心一言获得了21星的总分。相较之下,其他大型模型的评分如下:GPT-4获得23星,谷歌Bard获得20星,Claude2获得20星,讯飞星火获得16星,360智脑获得15星,昆仑天工获得13星,GPT-3.5获得13星。
在国内大型模型中,文心一言堪称强者,而且目前已免费向公众开放,大家赶紧去体验吧!
【改写结尾】
综合评价
需要明确的是,这份评测结果仅代表个人观点。总结而言,在这短时间的综合评测中,文心一言获得了总分21星。相较之下,其他大型模型的评分如下:GPT-4获得23星,谷歌Bard获得20星,Claude2获得20星,讯飞星火获得16星,360智脑获得15星,昆仑天工获得13星,GPT-3.5获得13星。