AI监控480万美国学生：审查社交媒体和邮件有敏感信息即通知学校

澎湃新闻 2019-11-02 21:43 大字

郭一璞发自凹非寺

量子位报道 | 公众号 QbitAI

前不久，几家国内企业用计算机视觉，或者脑机接口监控学生上课是否认真的消息刷了屏。

不过，把技术用在监控学生身上，可不是中国企业独一份的。

在美国，有一家名叫Gaggle的公司，正在用计算机视觉+人工双重审查的方法，监控学校里的学生们。

或许是盯着学生认真上课这件事在美国没什么市场，Gaggle的路线和中国公司们不一样，监控的是潜在的学生安全问题和不良行为，因为美国的校园枪击案很严重。

在美国，因为有了Gaggle公司这个系统，1400所学校的480万学生被监控，这家公司声称他们的系统已经挽救了数百人的生命。

Gaggle的监控方案

Gaggle的监控列表里，潜在的安全隐患包括自杀、校园枪击案、强奸猥亵、吸毒等。

在美国，自杀是少年儿童死亡的主要原因之一。Gaggle说，在2018~19学年度，他们的系统阻止了722名学生自杀。而这一数字背后，则是系统监控出来的52000次学生提及自杀，其中有6000次相当严重，系统立即通知了学校。

此外，校园枪击案也是一大监控重点。这个系统已经用在了去年发生校园枪击案的圣达菲（Santa Fe）高中，当时的事件导致8名学生和2名老师死亡。

而具体的监控方式，则是AI+人工。监控内容的入口并非国内常见的摄像头，而是网络邮件和社交媒体信息。

Gaggle的系统接入了接入Google G Suite（谷歌全家桶）和Microsoft 365（微软全家桶），邮件也会被监控，如果学生用学校的邮箱地址注册了Twitter，Facebook和Instagram，那么这些社交媒体账户也会被Gaggle看到。

而Gaggle看到之后，会用先AI后人工的方式来审查。

对于学生们发送内容的文字部分，会和关键词进行对比，而图片则重点判断它是否涉黄。

文字关键词分为三个类别，第一列主要是自杀自残行为的相关词汇，第二列则是伤害他人的词汇，第三列是其他词汇，包含涉黄涉毒等关键词。

△ 来自BuzzFeed News

你会看到其中有包含Lesbian、Gay、Queer等LGBTQ类词汇，Gaggle给出的解释是监控歧视行为。

而机器检查是不一定准确的，因此后面还有第二道人工检查。Gaggle一共有150名人工审查人员，其中125人是“一级安全代表”，24人是“受过培训的专业安全人员”，材料会先给一级安全代表审查，之后交给受过培训的专业安全人员，这些人负责将监控到的危险行为通知学校。

一级安全代表的门槛很低，时薪10美元，是远程外包，不需要什么专业背景。不过工作很轻松，每周只要工作38个小时，这群人每月审核的信息数量超过100万条。

而受过培训的专业安全人员们，Gaggle称这些人拥有法律、心理、通信、卫生管理、教育等专业的学位。

根据监控结果，判断学生可能进行某种危险行为，根据以下规则来判断应该采取怎样的行动，是删帖，还是联系学校、学区或者学生。

审查出的结果中，最轻的是“违规”，就是触犯了上面的关键词，也能是误报；

再严重一级的是“可疑内容”，比如发色情图片，或者网络欺凌，这时学校管理员会收到警报；

最严重的则被称作“可能的学生状况（Possible Student Situation）”，Gaggle说这是对学生安全的直接威胁，比如学生“原创”的色情、暴力、自杀、强奸等内容，出现这种情况，Gaggle会直接把它传送到美国的国家失踪与被剥削儿童中心（National Center for Missing and Exploited Children），这是一个美国国会成立的组织，也是相关儿童失踪等信息的中心数据库。

不过，如果没有这么严重，Gaggle也会采取行动的。他们遵循美国法律中的“三振出局法”，也就是再一再二不再三，如果一个学生连说三遍“Fuck”，学校管理员就会收到警报，说脏话的学生账户权限就会被限制，学生只能去找老师承认错误，请求重新开放权限。

1400所学校在用

目前，Gaggle已经用在了1400所学校，共有480万学生被监控。

Gaggle是直接和美国的学区合作的，目前有17个学区直接合作，这些学区分布在加州、德州、田纳西州、印第安纳州、俄亥俄州、新泽西州、北卡罗来纳州等多个地方。

也就是说，如果学生不想被监控，但是自己所在的整个学区都在监控中，那很难找到一所不受监控的学校了。

不过，虽然是跟学区合作，费用却是要学校掏，Gaggle在一所学校收费超过6万美元。

引来非议

虽然是从学生安全出发的产品，但Gaggle还是受到了很多批评。

一名Gaggle监控之下的学生说，他现在对别人看自己的信息已经习以为常了。

也有人认为这种监控不合法，学生应该享有隐私权。

也有人质疑，担心Gaggle这家公司不会好好处理这些收集上来的信息，万一卖到别处去就麻烦了。