讓facebook束手無策的“兒童色情攻擊”,最近成了眾多中國家長的噩夢。
表面上是兒童動畫片,但伴隨著輕快的音樂,畫面突然就出現了裸露的卡通人物,隨著劇情發展,卡通人物開始被灌腸、虐待,成人看了都會不適。但這些血腥、色情的內容,都被隱含在小豬佩奇、艾沙公主、蜘蛛俠等經典兒童影視作品中。
1月18日,有微博網友舉報,這些經過“二次改編”的不良視頻已在騰訊、愛奇藝等頭部視頻網站上傳播已久。只要搜索“艾沙”、“蜘蛛俠”、“小豬佩奇”等關鍵字,相關視頻就會處于搜索列表的頂部。
不僅是騰訊、愛奇藝,這些視頻幾乎“入侵了”所有帶視頻功能的網站??焓謱Α敦斀洝酚浾弑硎?,該公司也發現了少量相關視頻,目前已采取了屏蔽關鍵詞等措施。
事件的嚴重性引起了相關部門重視,1月22日上午,北京市行政市場執法總隊發布了關于查禁“兒童邪典視頻”工作的緊急通知,要求包括視頻、搜索引擎及游戲在內的機構立刻將其下架,并不得傳播、利用。
內容審核一直是視頻網站的難題。去年年初,類似事件曾讓facebook束手無策。Facebook旗下視頻網站YouTube,突然涌現了大量兒童不宜的動畫。其中以迪士尼動畫片《冰雪奇緣》里艾莎公主的改編視頻傳播最廣。視頻中,艾莎接受了各種開喉嚨、開顱手術,畫面血腥,已被瀏覽了上百萬次。
時隔一年,這波“襲擊”到了中國。1月23日晚,微博在聲明中稱,經過技術偵測,發現存在大規模惡意有組織的上傳行為。而上傳這些內容的賬號都是UGC用戶(原創用戶),部分賬號的訂閱超過數萬,按照這個規模,觀看過的兒童不在少數。這些賬號不僅從外網搬運,有些甚至還上傳了本土制造的不良動畫視頻。
1月22日,全國“掃黃打非”辦公室部署廣東省“掃黃打非”辦公室對涉嫌制作傳播兒童色情視頻的廣州胤鈞貿易有限公司制作傳播涉兒童有害視頻一案依法進行調查。執法部門已要求該公司將其所有相關視頻下線,并依法查封兩處生產經營場所,扣押用于生產經營的專用工具和設備,責令當事人停止生產經營活動。
由于不良視頻的總量大,分布廣,密集上線,變種類型多,騰訊視頻已緊急組建了100人的清理小組,進行24小時排查。
截止目前,騰訊下架涉兒童邪典原視頻1464條,對23萬存疑視頻作批量下架,對53萬余條視頻作撤回復審;封禁惡意賬號621個。而微博則稱已永久封停上傳帳號87個,禁止有害上傳及屏蔽搜索關鍵詞4755個。
多數接受《財經》記者采訪的視頻網站都表示,事件對目前視頻平臺UGC的審核方法、技術手段都提出了新的挑戰。
這些視頻大都出現在幾個月、甚至半年前,但并沒有被察覺。一位業內人士分析說,視頻大都被歸入了親子、少兒、動漫分類,至多被標上“惡搞”標簽。
據了解,大部分視頻網站都采取先機器識別、視頻抽幀再人工復核的審核流程。一位圖像識別專業人士對《財經》記者表示,人工智能可以對一些確定的角色和劇情進行識別,比如人物是否穿衣等,這種情況下,識別率能達90%。
“但小豬佩奇的情況要復雜得多,” 人工智能專家劉鋒對《財經》解釋,“這些內容和劇情不完全跟色情有關,有些甚至涉及到不健康的世界觀,都比簡單的識別色情更難。” 更重要的是,在以往的數據庫中,類似小豬佩奇、艾莎公主這樣的內容從未被認為是恐怖、色情,因而由于缺乏模型訓練,人工智能無從識別。
此外,場景識別是另一個難點。“這些視頻里有人穿著蜘蛛俠服裝,很容易跟cosplay混淆。”另一位專業人士對《財經》表示。
因此,這些視頻很可能在機器識別階段就逃過了審核。要杜絕此類事件的發生,目前難有萬全之策,依然要靠大量的人力投入。
去年“艾沙門”發生后,facebook曾在已有的4500名視頻審核員的基礎上,又緊急額外雇傭了3000名。歷時半年,至2017年 11月才逐漸平息那場兒童色情暴力視頻風波,刪除的視頻超過15萬個。
一位行業人士對《財經》表示,在國內,人工核查部分大部分公司都采取外包的形式,優先審查被舉報的視頻。但現在看來,視頻網站需要更多元的手段和處理方式,包括加強對UGC上傳者的資質認證。
此外,視頻網站的另一個挑戰是,視頻內容審核應該配合人工智能,不斷豐富知識庫,提升圖像識別能力的同時,人工細化視頻判定等級。比如對“不裸露但模擬性交”的情況進行人工標注。