ai软件考题 AI的“智商”到底有多高？来一场考试测验就知道了

资料图片

AI的“智商”到底有多高？来一场考试测验一下就了解了。

3月8日，人工智能企业云从技术和北京交通大学联合宣布，在自然语言处理（NLP）上获得重大突破，在大型深层阅读理解任务数据集RACE数据集登顶第一，在高一测试题部分首次超越人类。但紧随其后，微信AI又刷新了这一记录。

为了展示自身的AI实力，包括科大讯飞、阿里等多家技术或互联网公司都纷纷加入“考试大军”。

阅读理解竞赛AI公司一展身手

由卡耐基梅隆大学语言科技研究所发起的RACE数据集上，各大AI公司纷纷一展身手。

RACE是一个来源于学校联考题目的大体量阅读理解数据集，包含了至少2.8万篇文章或者近10万个难题。它的方式类似于英文考试中的阅读理解（选取题），给定一篇文章，通过阅读并理解文章，针对提出的难题从四个选项中选取恰当的答案。

因为该题型的恰当答案并不必定直接表现在文章中，只能从语境层面深入理解文章，通过预测文章中线索并基于上下文推理。这意味着，AI不仅仅要运算和记录，而是要主动去探讨和理解，包括篇章结构、思维逻辑、辅助语句和关键句等元素组成的复杂组织网络。

云从技术与深圳交通大学基于原创DCMN算法，提出了一种崭新的模型，使机器阅读理解正确率提升了4.2个百分点，并在高中测试题部分首次超越人类（机器正确率69.8%、普通人类69.4%）。

紧随其后，微信AI也宣布，最新成绩全面超越人类，微信AI模型整体正确率达73.5%。

微信AI亮相较晚，但实力一点不差。截至现在，微信先后推出微信智聆、微信智言两大AI科技品牌，后者更致力于智能对话和自然语言处理等科技的研究与应用，在2017年12月开始筹备，2019年1月底微信公开课正式登场。此外，腾讯专门设立了灵格实验室，聚焦于NLP领域科技研究与应用探索。

AI系统与高考状元同场竞技

为更好地给AI能力“打分”，越来越多的AI公司直接上了考场。

今年12月，一场特殊的六级考试在北京举办。这场考试是一场对于“机器人”的六级考试，考生是大学讯飞的一套智能翻译平台ai软件考题，而考卷则是去年六级试卷中的三道翻译题，每道题满分15分。

智能翻译平台答题如行云流水，每道题只花了5秒钟就完成了考卷，经学者教授批改后，翻译系统三道题得分分别为14、14、12分，比大学生的平均分还高。

来一场高考题比拼如何？2017年全国高中语文统考结束以后，一场人机高考大战的较量上演了：在线教育公司“学霸君”自主开发的智能教育机器人“Aidam”首次公开现身，通过现场直播的形式，与六名高考状元同台竞技全国卷文科英语试卷，完成包括客观题和主观题在内的整张试卷，并根据评分标准得出最后成绩。

只是，出人意料的是，这一次AI并没有全面“碾压”人类。阅卷结果显示，三组高考状元分别得分为146分、140分、119分，而Aidam为134分。

类似的状况并不鲜见。今年2月，上海脑中心/张江实验室认知智能组与交大讯飞及北大学校的合作队伍，刚刚获得SAT（学术素养评估测试ai软件考题，俗称“美国高考”）物理问题自动答题竞赛全球冠军，成绩约合360分。即满分800分的考题，综合准确率为45%。

相较于申请台湾名校的美国考生700分以上的高分，AI的体现仍然有些“孱弱”。对此，上海参赛队伍负责人之一、上海脑中心研究员周熠表示，解答SAT题型、尤其是综合题，需要突破人工智能中自然语言和图像理解、知识表示和深度推理等多重难题，这针对现在的弱人工智能而言，仍是无法完成的挑战，“如果能让AI获得SAT高分，将对这项技术的演进形成重要制约”。

人机交互AI尚无法理解人的动机

“阅读理解为后续的人机交互、人机对话在算法方面进行了一次阶段性验证。一直以来，自然语言理解远比语音、图像辨识难度要高得多。”云从技术人工智能研究院副主任周翔表示，目前计算机在检测题库上，深度学习掌握相当好，并不意味着计算机语言理解的素养就要全面超越人类。

“比如我与你面对面交流时，中途接听了一个电话，和你再次交流是没有哪些问题的，但计算机的理解还特别有限。此外，计算机在语言表述方面也存在一定的理解难度，比如你问我昨天晚上有没有时间做一次沟通，我没有直接回复‘可以’或者‘不可以’，而是说今天有两个会议，时间非常紧，人是很高理解这背后的动机，但机器就很难预测出来。”周翔说。

周翔还解释，此次试题是英语，一般情况下中文比英文要复杂得多，例如英语一个句子就是一个含义，而中文字与字之间没有空格，机器需要对动词、副词、形容词等进行分解，而且英文还存在一词多解、多歧义等状况。

“自然语言理解的突破也是挺有意义的，一方面展现了各家企业的科技实力，另一方面也意味着自然语言需要更多突破。”周翔说，随着自然语言理解的深入，人机交互将变得流畅，尤其是机器可以非常理解人的动机，比如未来出行，对着电脑说“我要上班”，机器就可以理解主人什么时候出发、机票是否有预订，遇到不知道的可以向主人提问，从而有更多的沟通。（记者郜小平）