Facebook今天详细介绍了网络仿真(WES),这是一种构建复杂社交网络的大规模仿真的方法。正如先前报道的那样,WES利用AI技术来训练机器人,以在社交媒体上模拟人们的行为,Facebook表示希望通过它来发现错误和漏洞。
据Facebook称,在面对面和在线的情况下,人们之间的行为和交互方式可能对传统算法的建模提出挑战。例如,人们的行为随着时间的流逝而发生变化和适应,并且从一个地理区域到另一个地理区域都是不同的,这使得很难预测一个人或社区对环境变化的反应方式。
表面上,WES通过自动化成千上万个类似用户的机器人之间的交互来解决此问题。利用在线和离线模拟相结合的方式,通过启发式和监督学习以及强化学习技术来训练机器人,WES提供了一系列模拟特征,这些特征捕获了工程方面的关注点,例如速度,规模和现实性。尽管这些僵尸程序已部署在Facebook数亿行代码中,但它们与真实用户隔离,因此他们只能与自己进行交互(“只读”僵尸程序具有“隐私保护”访问权限)真正的Facebook)。但是,Facebook断言,这种真实的基础设施模拟可确保机器人的行为忠于使用该平台的人们所看到的效果。
WES机器人旨在发挥不同的作用,例如黑客试图访问某人的私人照片。每个方案可能只有少数几个机器人来执行它们,但是系统设计为可以并行运行数千个不同的方案。
伦敦大学学院计算机科学教授,Facebook研究科学家马克·哈曼(Mark Harman)在与记者的电话中解释说:“我们需要训练机器人在某种程度上像真实用户那样工作。”“我们不必让他们为任何特定用途建模,因此他们只需要具有真实用户展示的高级统计属性即可……但是我们得到的模拟结果更加接近真实,更加忠实于实际情况。真正的用户会这么做。”
Facebook指出,WES仍处于研究阶段,尚未在生产中部署。但是在一次实验中,该公司的科学家使用它来创建WW,这是在Facebook生产代码库之上构建的模拟。WW可以生成旨在购买Facebook平台上不允许的物品(例如枪支或)的机器人;试图互相欺骗;并执行诸如进行搜索,访问页面和发送消息之类的操作。WW借助机制设计组件,还可以运行模拟以测试漫游器是否能够违反Facebook的保护措施,从而帮助确定统计模式和产品机制,这些行为可能会使行为更难以违反公司的社区标准。
“评估AI设计的游戏存在类似的问题,即您必须接受不能模拟人类行为的方式,因此要评估游戏,您必须专注于可以衡量的事物,例如平局或平局的可能性。确保没有技能的经纪人总是会击败技能较弱的经纪人,”伦敦玛丽皇后大学(University of London)的AI研究人员,没有参与Facebook工作的AI研究员迈克·库克(Mike Cook)告诉VentureBeat。“让机器人仅漫游网络的副本并按下按钮并尝试进行操作是发现错误的好方法,这也是我们多年来(以某种方式)一直在做的事情,以测试各种规模的软件。”
Facebook对影响力最大的生产错误的分析表明,多达25%是社交错误,其中“至少” 10%可以通过WES发现。为了促进这一方向的研究,该公司最近发起了一项提案征集,邀请学术研究人员和科学家为WES和WW贡献新思想。Facebook表示,迄今为止已经收到了85份意见书。
WES和WW建立在Facebook的Sapienz系统上,该系统每天在公司的移动应用代码库及其SybilEdge假帐户检测器中自动设计,运行和报告成千上万个测试用例的结果。公司的另一个系统-深度实体分类(DEC)-通过AI框架识别数亿潜在的欺诈用户。
但是,Facebook将内容审核工作转移给AI和机器学习的努力充其量是不平衡的。今年五月,Facebook的自动化系统扬言要禁止工作组的组织者在平台上手工缝制面具,以便发表评论或发帖,并告知他们可以将该工作组全部删除。它还将有关大流行的合法新闻文章标记为垃圾邮件。
Facebook将这些失误归因于漏洞,同时承认AI并非万事俱备。同时,它在最新的季度社区标准报告中并未发布-并表示无法估计-仇恨语音检测系统的准确性。(在第一季度删除的960万个帖子中,Facebook表示其软件在用户报告之前检测到88.8%。)
有证据表明,令人反感的内容经常会通过Facebook的过滤器漏出。1月,西雅图大学副教授凯特琳·卡尔森(Caitlin Carlson)发布了一项实验的结果,该实验中,她和一位同事收集了300多个似乎违反了Facebook仇恨言论规则的帖子,并通过该服务的工具进行了举报。最终只有大约一半的职位被删除。
Facebook首席技术官Mike Schroepfer在上一次采访中对VentureBeat表示:“人工智能不能解决每个问题。”“我认为人类将在无限的未来中处于循环中。我认为这些问题从根本上讲是人类的生活和沟通问题,因此我们希望人类能够控制并做出最终决定,尤其是当这些问题发生细微差别时。但是,我们可以使用AI来完成常见任务,数十亿规模的任务,繁重的工作。”