【產(chǎn)業(yè)鏈圖譜 | 人工智能產(chǎn)業(yè)鏈圖譜_人工智能產(chǎn)業(yè)鏈全景圖】

【研究報(bào)告 | 人工智能行業(yè)研究報(bào)告】

　　黑客入侵15萬個(gè)AI攝像頭

　　3月10日消息，一群黑客自曝入侵了美國硅谷初創(chuàng)公司Verkada采集的大量安全攝像機(jī)數(shù)據(jù)，并盜取了15萬個(gè)監(jiān)控?cái)z像頭實(shí)時(shí)視頻。

　　電動(dòng)汽車公司特斯拉、軟件供應(yīng)商Cloudflare也紛紛躺槍，視頻慘遭曝光。一段在特斯拉上海倉庫的被泄露視頻顯示，工人們?cè)谘b配線上工作。

　　黑客號(hào)稱已入侵特斯拉工廠和倉庫的222個(gè)攝像頭。他們不僅能看到Verkada辦公室內(nèi)的視頻，還能獲取這家創(chuàng)企所有客戶的完整視頻檔案、財(cái)務(wù)報(bào)表等其他信息。

　　Verkada成立于2016年，主業(yè)是銷售安全攝像頭，客戶可以通過網(wǎng)絡(luò)對(duì)其進(jìn)行訪問和管理。除了能錄制視頻外，其攝像頭還能利用先進(jìn)的AI視覺技術(shù)，分辨出視頻中的人臉和車輛，并對(duì)其進(jìn)行檢測(cè)和人臉識(shí)別。

　　安全攝像頭和人臉識(shí)別技術(shù)經(jīng)常被用于公司辦公室和工廠內(nèi)部，以保護(hù)公司內(nèi)部信息并防范相應(yīng)威脅。有些公司在將安全攝像頭放在比較敏感的地方時(shí)，可能沒有想到這些視頻，除了被自己的安全團(tuán)隊(duì)使用外，也能被攝像頭廠商查看。

　　在AI如火如荼發(fā)展的同時(shí)，以攝像頭、智能終端等設(shè)備為載體的AI技術(shù)，因頻發(fā)的隱私安全事故而不斷被推至風(fēng)口浪尖。例如在去年2月，美國擁有超30億人臉數(shù)據(jù)的創(chuàng)企Clearview AI也被黑客攻擊，致使整個(gè)客戶名單被盜。

　　一張手寫紙條竟瞞過人工智能?

　　近日，OpenAI的研究人員發(fā)現(xiàn)，他們最先進(jìn)的計(jì)算機(jī)視覺系統(tǒng)可以被簡(jiǎn)單工具所欺騙：只要寫下一個(gè)物體的名稱貼在另一個(gè)物體上，就足以欺騙AI軟件，讓其"眼見不一定為實(shí)"。OpenAI是一個(gè)由諸多硅谷、西雅圖科技大亨聯(lián)合建立的人工智能非營利組織。

　　研究人員做了個(gè)小實(shí)驗(yàn)，用筆在紙上寫下"iPod"這個(gè)單詞，然后將紙貼在一個(gè)青蘋果上，結(jié)果系統(tǒng)沒有識(shí)別出這是個(gè)蘋果，而是將它識(shí)別為"iPod"。

　　OpenAI的研究人員將這些攻擊稱為"排版攻擊"：即使是手寫文字的照片，基于模型強(qiáng)大的讀取文本能力也能夠"欺騙"模型。這類攻擊相當(dāng)于可以欺騙商業(yè)機(jī)器視覺系統(tǒng)的"對(duì)抗性圖像"，但制作起來簡(jiǎn)單得多。

　　對(duì)抗性圖像對(duì)于依賴機(jī)器視覺的系統(tǒng)來說非常危險(xiǎn)。此前有研究顯示，可以通過在路面上貼上某些標(biāo)簽，在沒有警告的情況下成功欺騙特斯拉自動(dòng)駕駛汽車的軟件改變車道。

　　如此重大的攻擊只需要簡(jiǎn)單貼幾個(gè)標(biāo)簽就完成了，對(duì)于如今已經(jīng)廣泛采用人工智能技術(shù)的領(lǐng)域來說是很危險(xiǎn)的，如果這種攻擊用于醫(yī)療、軍事、工業(yè)等領(lǐng)域，那將會(huì)造成非常嚴(yán)重的威脅。

　　與傳統(tǒng)網(wǎng)絡(luò)攻擊存在明顯不同

　　AI的廣泛應(yīng)用帶來了許多安全風(fēng)險(xiǎn)。由技術(shù)性缺陷導(dǎo)致的AI算法安全風(fēng)險(xiǎn)，包括可導(dǎo)致AI系統(tǒng)被攻擊者控制的信息安全問題;也可導(dǎo)致AI系統(tǒng)輸出結(jié)果被攻擊者任意控制的功能安全問題。

　　"與傳統(tǒng)的網(wǎng)絡(luò)安全強(qiáng)調(diào)的保密性、完整性、可用性等信息安全問題(security)相比，AI功能安全問題(safety)存在本質(zhì)不同。"北京理工大學(xué)計(jì)算機(jī)網(wǎng)絡(luò)及對(duì)抗技術(shù)研究所所長閆懷志表示，AI安全更突出功能安全問題，這通常是指人工智能系統(tǒng)被惡意數(shù)據(jù)(比如對(duì)抗樣本數(shù)據(jù))所欺騙，從而導(dǎo)致AI輸出與預(yù)期不符乃至產(chǎn)生危害性的結(jié)果。

　　針對(duì)AI解決方案的網(wǎng)絡(luò)安全攻擊有兩種常見形式：

　　·數(shù)據(jù)中毒：攻擊者有時(shí)會(huì)瞄準(zhǔn)用來訓(xùn)練機(jī)器學(xué)習(xí)模型的數(shù)據(jù)。數(shù)據(jù)中毒是通過操縱一個(gè)訓(xùn)練集來控制模型的預(yù)測(cè)能力，使模型做出錯(cuò)誤的預(yù)測(cè)，比如標(biāo)記垃圾郵件為安全內(nèi)容。

　　數(shù)據(jù)中毒有兩種類型：攻擊ML算法可用性和攻擊算法的完整性。研究表明，訓(xùn)練集中3%的數(shù)據(jù)遭遇數(shù)據(jù)中毒會(huì)導(dǎo)致預(yù)測(cè)準(zhǔn)確率下降11%。

　　通過后門攻擊，一個(gè)入侵者能夠在模型的設(shè)計(jì)者不知情的情況下，在算法中添加入?yún)?shù)。攻擊者用這個(gè)后門使得ML系統(tǒng)錯(cuò)誤地將特定的可能攜帶病毒的字符串識(shí)別為良性。

　　業(yè)界需要制定一個(gè)標(biāo)準(zhǔn)和規(guī)則來保證數(shù)據(jù)的質(zhì)量，美國國家標(biāo)準(zhǔn)與技術(shù)研究院(NIST)已經(jīng)在制定國家規(guī)范以約束AI的可靠性，規(guī)范包含高階的規(guī)則和強(qiáng)調(diào)準(zhǔn)確性、安全性、偏差性、隱私性和可解釋性的技術(shù)要求。

　　·對(duì)抗樣本攻擊：生成對(duì)抗網(wǎng)絡(luò)(GAN)是由兩個(gè)相互對(duì)抗的AI組成，一個(gè)模擬原有的內(nèi)容，另一個(gè)負(fù)責(zé)挑出錯(cuò)誤。通過二者的對(duì)抗，共同創(chuàng)立出與原先高度擬合的內(nèi)容。

　　針對(duì)AI系統(tǒng)實(shí)施對(duì)抗樣本攻擊的這類惡意代碼，常被稱為"AI病毒"。對(duì)抗樣本是指在數(shù)據(jù)集中通過故意添加細(xì)微的干擾所形成的輸入樣本，會(huì)導(dǎo)致模型以高置信度給出一個(gè)錯(cuò)誤的輸出。

　　在現(xiàn)實(shí)世界中，很多AI系統(tǒng)在對(duì)抗樣本攻擊面前不堪一擊。一方面，這是由于AI系統(tǒng)重應(yīng)用、輕安全的現(xiàn)象普遍存在，很多AI系統(tǒng)根本沒有考慮對(duì)抗樣本攻擊問題;另一方面，雖然有些AI系統(tǒng)經(jīng)過了對(duì)抗訓(xùn)練，但由于對(duì)抗樣本不完備、AI算法欠成熟等諸多缺陷，在對(duì)抗樣本惡意攻擊面前，也毫無招架之力。

　　新思科技軟件質(zhì)量與安全部門汽車解決方案架構(gòu)師Chris Clark指出："在大多數(shù)情況下，這使攻擊者將重點(diǎn)放在破壞AI和ML系統(tǒng)的機(jī)密性和完整性的方法上。與其它技術(shù)一樣，AI在底層系統(tǒng)之上運(yùn)行。這個(gè)系統(tǒng)必須能持續(xù)監(jiān)控和緩解網(wǎng)絡(luò)攻擊。"

　　讓AI更加安全可信

　　隨著全球多個(gè)國家都將發(fā)展新一代人工智能提升為國家戰(zhàn)略，產(chǎn)業(yè)需求呈井噴之勢(shì)，人工智能也亟需發(fā)展出安全、可信、可靠與可擴(kuò)展的第三代人工智能技術(shù)。

　　何為第三代人工智能?這一概念最初由中國科學(xué)院院士、清華大學(xué)人工智能研究院院長張鈸提出，指的是在第一代知識(shí)驅(qū)動(dòng)和第二代數(shù)據(jù)驅(qū)動(dòng)相結(jié)合的基礎(chǔ)上，從知識(shí)、數(shù)據(jù)、算法、算力四個(gè)要素所構(gòu)建的全新發(fā)展體系，其目標(biāo)是完全解決計(jì)算機(jī)的智能問題，全面反映人類智能。

　　作為新一輪科技革命和產(chǎn)業(yè)變革的核心驅(qū)動(dòng)力，AI正在疊加釋放歷次科技革命和產(chǎn)業(yè)發(fā)展所積蓄的巨大能量。算法可靠、數(shù)據(jù)安全、應(yīng)用可控的第三代人工智能技術(shù)，將推動(dòng)AI在金融、工業(yè)、安全、新基建等領(lǐng)域的應(yīng)用，挖掘AI產(chǎn)業(yè)的第二增長曲線。

　　來源：控制工程網(wǎng)