针对围棋程序KataGo漏洞的对抗性技术使业余选手也能轻松取胜

2022-11-09 15:40:21 来源：cnBeta

(相关资料图)

一个由麻省理工学院、加州大学伯克利分校和FAR AI的成员组成的研究小组创建了一个计算机程序，针对KataGo程序中的漏洞，使其能够击败基于AI的系统。他们在arXiv预印本服务器上发表了一篇论文，描述了他们的努力。

2016年，DeepMind项目创建的一个计算机程序首次成功地击败了人类冠军围棋选手。该程序使用深度学习神经网络来学习游戏的运作方式，然后通过简单地与自己对弈，学习如何在越来越高的水平上下棋。

最近，一个名为"KataGo"的类似开源程序向公众发布，它也能打败最好的人类棋手。但是，正如其他研究中所指出的，基于深度学习的程序往往有一个主要的弱点--它们只和它们所训练的数据表现一样好。也就是学习过程中包含漏洞反过来又会导致随后技能上存在漏洞。在这项新工作中，研究人员寻找并发现了KataGo中的一个漏洞。

由于KataGo是按照"正常"的下棋方式进行训练的，因此它在面对那些以看似奇怪的方式下棋的对手时可能会遇到麻烦。研究人员指出，一种对抗性的（奇怪的）下棋方式可能涉及到对棋盘一个角落的特殊下法，采取这种方式会使KataGo认为自己已经过早地赢得了比赛，因为它控制了棋盘的所有其他部分。

KataGo被抓到的漏洞如图,(左)对抗方作为黑棋下；(右)对抗方作为白棋下。KataGo预测自己有很高的获胜概率，而且从某种程度上说，它是对的--在KataGo的角度吃掉对手的大部分棋子，取得胜利会很简单。然而，KataGo在完成确保其领土的工作之前选择不落子，让对手反过来不落子并结束本局。根据围棋的标准规则，Tromp-Taylor（Tromp，2014），这导致了对手的胜利，因为对抗方占领的角落领域可以取得分数，而KataGo方面由于对手的棋子的存在，其没有完全占领的领域没有得到分数。

而围棋的规则之一是，如果一个棋手不落子，另一个也选择不落子，那么游戏就会结束，双方都会计算自己的分数。由于对手在其角落的小范围上已经有得分，而KataGo在不安全的领土上放置了对手的棋子却得不到分数，因此对手得到了更多的分数反而轻松被判胜。

研究人员指出，这种策略只对KataGo有效；对其他人类使用这种策略会导致快速失败，因为他们会凭直觉看到正在发生的事情。他们还指出，他们编写对抗性程序的原因是为了表明人工智能系统仍然存在严重的漏洞--这意味着当它们被用于关键应用时需要非常小心，例如在自动驾驶汽车或扫描癌症图像时。

关键词：人工智能麻省理工学院无人驾驶胜利退出演艺