鄧永華聽完微微點(diǎn)頭:“一些行業(yè)里確實(shí)會存在這種問題,我是搞網(wǎng)安方向的,
一般這種情況我們關(guān)注的都是如何保護(hù)已上傳的數(shù)據(jù)或者是在數(shù)據(jù)傳輸過程中進(jìn)行更加復(fù)雜的加密算法,
但是數(shù)據(jù)在傳輸過程中,無論加密多強(qiáng),理論上都存在被截獲和破解的風(fēng)險,而且數(shù)據(jù)包越多,傳輸時間越長,風(fēng)險暴露窗口越大,
現(xiàn)在大模型的數(shù)據(jù)量都是巨大的,風(fēng)險也會更大,所以一些保密性強(qiáng)的數(shù)據(jù),現(xiàn)在還是會采用光盤,硬盤這種物理的方式。
不過你這種方法也算是一種新的思路,繼續(xù)吧。”
“老師說的沒錯,AI模型的邊緣部署如果能夠?qū)崿F(xiàn),可以很大程度上規(guī)避這類數(shù)據(jù)安全的問題,讓數(shù)據(jù)可以直接在本地進(jìn)行使用,不用轉(zhuǎn)移。”
周昀將PPT翻到下一頁:“其實(shí)現(xiàn)在已經(jīng)有了不少相關(guān)的研究,但是想要真正實(shí)現(xiàn)讓大模型在手機(jī)這種終端運(yùn)行還有很長一段路要走。”
哪怕是明年年初deepseek公開論文中的蒸餾方法,也達(dá)不到周昀想要的結(jié)果。
其實(shí)憑借他現(xiàn)在變態(tài)的記憶力完全可以復(fù)現(xiàn)出大量還未出現(xiàn)的頂刊論文,包括很多開源的代碼。
但是他不會這么做,計算機(jī)能夠如此快速的發(fā)展,離不開兩個字——“開源”!
如果他真的做了“文抄公”,就相當(dāng)于是剽竊了別人的研究成果,哪怕是前世的周昀都沒有干過這種事情,更別說現(xiàn)在了。
而且,憑他現(xiàn)在的智商,想發(fā)幾篇頂刊,很難嗎?
收回有些發(fā)散的思維,周昀繼續(xù)道:“現(xiàn)有的邊緣 AI部署我總結(jié)為以下三類:
1.模型壓縮,這是最直接也最常用的方法之一,可以理解為將一塊充滿水分的海綿強(qiáng)行擠壓變小,主要的方法一般有量化、剪枝、知識蒸餾,不過這種方法也有一個缺陷,那就是模型的性能會變差。
2.邊緣資源管理與調(diào)度,簡單來說就是智能地分配和優(yōu)化邊緣計算設(shè)備,如服務(wù)器、傳感器、網(wǎng)關(guān)的算力,以高效、低延遲地執(zhí)行 AI任務(wù),但是這種方法會帶來數(shù)據(jù)安全和**問題。
3.適應(yīng)性 AI系統(tǒng),這是我自己定義一種方法,即設(shè)計一種框架,讓大模型能夠自行優(yōu)化,縮小,達(dá)到能夠部署在邊緣設(shè)備的方法,通俗來講就是用AI調(diào)教AI。
這也是我提出的AgileEdge的主要思想。
當(dāng)然,我所說的方法都是軟件層面的,不管怎么設(shè)計,其終究都是受限于物理設(shè)備,
但是在我看來,如今的算法還遠(yuǎn)遠(yuǎn)沒有觸及到現(xiàn)有物理設(shè)備的上限。”
聽到這里,一同參加面試的四位學(xué)生已經(jīng)有點(diǎn)麻了。
滿臉的問號已經(jīng)不足以形容他們的懵逼。
他們腦子里不由得同時發(fā)出靈魂三問:“我是誰?我在哪?我要干什么?”
這還是雙非嗎?
不光是他們,其實(shí)就連邱彥和沈瑞都有些唏噓,雖然暫時周昀還沒有講到具體的算法,
但是光憑前面這些,就能看出來他在AI方面的功底不差,論文估計也沒少看,不然就鄧?yán)蠋焼柕牡谝粋€問題,他就答不出來。
兩人心里不約而同地冒出一個想法:“新來的學(xué)弟,有點(diǎn)狠啊!”
要說現(xiàn)在最淡定的就是鄧永華了,畢竟像周昀這種自帶方向進(jìn)組的學(xué)生他也見過不少。
“AI調(diào)教AI?聽上去確實(shí)挺有意思的,但是想要實(shí)現(xiàn)起來恐怕不是那么容易的吧?”
“沒錯,復(fù)雜的 AI驅(qū)動的決策過程本就是一個“黑盒”,這也是其中最大的難點(diǎn)之一,所以我設(shè)計了這套AgileEdge框架,盡可能地去避免這些問題。”
手指輕敲鍵盤,將PPT翻到下一頁,也是這次匯報的核心內(nèi)容,AgileEdge的框架圖,雖然代碼一行沒有,但是只要邏輯上能夠說服老師就夠了。
“這套框架主要都是基于Attention,也就是Transformer,雖然其存在計算量大的問題,但是毫無疑問,這是現(xiàn)階段所有深度學(xué)習(xí)的核心基礎(chǔ)。
AgileEdge的作用概括來說就是兩個字——打包!PPT上所展示的是AgileEdge最為核心的三個組件,分別是:
感知與狀態(tài)編碼層,它的作用是收集并預(yù)處理來自邊緣環(huán)境的原始、多模態(tài)數(shù)據(jù),
AI協(xié)同優(yōu)化決策引擎,采用分層強(qiáng)化學(xué)習(xí)架構(gòu),實(shí)現(xiàn)大模型的縮小,
執(zhí)行與反饋層,將縮小的大模型打包到相對應(yīng)的邊緣環(huán)境中。
最終達(dá)到AI邊緣部署的目的,理論上來說,無論什么樣的大模型,經(jīng)過這一流程都能被塞到邊緣設(shè)備中。”
鄧永華看著大屏幕上的PPT思考了一會兒,緩緩開口:“我有一個問題,
既然AgileEdge框架具有高度的自適應(yīng)性,它有沒有可能會在運(yùn)行時為了滿足短期性能目標(biāo)而頻繁地對邊緣設(shè)備上的 AI模型進(jìn)行極端壓縮,或者進(jìn)行激進(jìn)的在線剪枝。
這種持續(xù)且可能激進(jìn)的“調(diào)教”行為,長此以往是否會導(dǎo)致模型在未被直接監(jiān)控的復(fù)雜場景或長尾數(shù)據(jù)分布上出現(xiàn)不可預(yù)知的精度漂移甚至災(zāi)難性遺忘?
還有一點(diǎn)就是AgileEdge如何在動態(tài)模型“打包”的過程中,系統(tǒng)性地量化并約束這種潛在的、累積性的精度損失?”
周昀眉頭不自覺微微皺起,這個問題確實(shí)是他的疏忽,這和智商沒有關(guān)系,完全就是科研經(jīng)驗(yàn)上的不足。
但是這并不妨礙他回答,在大腦的高速運(yùn)轉(zhuǎn)下,他就想到應(yīng)對方式:“老師的這個問題我確實(shí)想過,所以我設(shè)計了一個全新的指標(biāo)對打包后的模型進(jìn)行評價,不過因?yàn)檫€沒有完善,所以PPT上沒有展示。”
別問,問就是有,只不過他還沒想出來。
鄧永華也沒追著刨根問底,畢竟還只是一個研零的學(xué)生,沒必要太過嚴(yán)格,就周昀現(xiàn)在的表現(xiàn)來看,他已經(jīng)很滿意了。
最為核心的部分講完了,接下來就是一些實(shí)際應(yīng)用場景的講解,比如工控領(lǐng)域,醫(yī)療領(lǐng)域等等。
“以上就是我的匯報,老師還有什么問題嗎?”
鄧永華搖搖頭:“就先這樣吧,邱彥,沈瑞,你們有什么問題嗎?”其實(shí)問題還是有一些的,但還是那句話,沒必要太過難為新生,現(xiàn)在這種程度已經(jīng)夠了。
身邊兩人聽到自家導(dǎo)師提問,直接被嚇了一激靈,同時搖頭:“沒問題。”
這讓鄧永華深深的看了兩人一眼:“那今天的面試就先到這里,幾位回去等通知吧?”
其實(shí)如果不是考慮到另外四位學(xué)生,他是想直接宣布周昀通過的,但是想了想還是算了。