第二天早上起床,周昀感覺(jué)自己腰上有些酸痛。
“早知道昨天晚上不應(yīng)該勉強(qiáng)的。”
為了保持一個(gè)健康的身體,周昀昨天晚上飯后休息了一會(huì)兒跑步去了。
一下跑了五公里,也許是太久沒(méi)跑了,昨天還沒(méi)什么感覺(jué),現(xiàn)在起床,那叫一個(gè)酸爽。
昨天買(mǎi)的顯示器已經(jīng)到了,吃了個(gè)早飯,就把顯示器取了回來(lái)。
看著27寸的大屏幕,周昀滿(mǎn)意地點(diǎn)點(diǎn)頭。
“這才對(duì)嘛。”
昨天鄧永華已經(jīng)把服務(wù)器的賬號(hào)密碼發(fā)給自己了。
先是下了個(gè)Termius,雖然Windows有自帶的SSH連接工具,不過(guò)他更習(xí)慣Termius,主要是界面看上去比較舒服,年輕人嘛,總是喜歡炫酷一點(diǎn)的界面。
一頓操作之后,成功連接上了服務(wù)器。
服務(wù)器用的Linux系統(tǒng),一般都是沒(méi)有GUI也就是圖形界面的,主要目的是為了減少資源的消耗,而且安全性也更高。
一開(kāi)始用肯定會(huì)覺(jué)得有些別扭,但是用習(xí)慣了之后就會(huì)發(fā)現(xiàn)。
在科研領(lǐng)域,Linux比Windows方便太多了。
在自己電腦上搜索了一下Anaconda官網(wǎng),找到最新版本的下載鏈接,然后直接用wget在服務(wù)器上開(kāi)始下載。
Anaconda是AI領(lǐng)域最常用也可以說(shuō)是必備的工具。
這服務(wù)器的網(wǎng)速還挺快,沒(méi)一會(huì)兒就下好了。
接下來(lái)的流程就很固定了。
創(chuàng)建虛擬環(huán)境,安裝pytorch,安裝各種需要用到的包。
光是裝環(huán)境,他就弄了一個(gè)上午。
順便抽空看了一下服務(wù)器狀態(tài),果然,八張80G的H100,一共640G顯存,雖然不止他一個(gè)人用,但是也剩下一半多,肯定是夠用了。
AgileEdge的流程他心里早就想清楚了,寫(xiě)代碼那就是水到渠成的事情。
而且現(xiàn)在都有AI輔助,核心框架一共幾千行代碼寫(xiě)起來(lái)都不需要一個(gè)小時(shí)。
再加上自己檢查,調(diào)試。
下午五點(diǎn)鐘就搞完了核心框架的所有代碼,這種速度放在幾年前,那是根本不敢想的。
而寫(xiě)代碼只能說(shuō)是整個(gè)科研過(guò)程中最為簡(jiǎn)單的一個(gè)步驟了。
接下來(lái)才是折磨的開(kāi)始。
跑實(shí)驗(yàn)——>調(diào)BUG,這種枯燥的循環(huán)過(guò)程才是真正讓人感覺(jué)心累的環(huán)節(jié)。
周昀在網(wǎng)上找了一個(gè)參數(shù)量在100B左右的大模型,本來(lái)他是打算找個(gè)幾十B的就差不多了。
誰(shuí)知道導(dǎo)師這么給力,資源多了,他也不那么扣扣嗖嗖了。
AgileEdge的主要作用就是將大模型壓縮成小模型然后放到邊緣設(shè)備里。
因?yàn)槭侨詣?dòng)的AI框架,所以其操作流程非常的傻瓜。
只要將邊緣設(shè)備連接到電腦,程序就會(huì)自動(dòng)檢測(cè)其硬件的具體參數(shù),然后經(jīng)過(guò)AgileEdge的壓縮,不斷地優(yōu)化模型,最終形成一個(gè)能運(yùn)行的模型文件。
邊緣設(shè)備周昀暫時(shí)就找了一臺(tái)老的智能機(jī),內(nèi)存只有32G,將手機(jī)插上數(shù)據(jù)線(xiàn)。
運(yùn)行程序。
一個(gè)進(jìn)度條出現(xiàn)在屏幕下方。
【預(yù)計(jì)時(shí)間:17h】
“就知道。”
只要涉及到大模型,實(shí)驗(yàn)的時(shí)間就不會(huì)短,不過(guò)十幾個(gè)小時(shí)也算快了,前世周昀曾經(jīng)一個(gè)實(shí)驗(yàn)跑了兩周,主要就是當(dāng)時(shí)的服務(wù)器實(shí)在太垃圾了。
三天后,周五。
經(jīng)過(guò)幾天的實(shí)驗(yàn),周昀的AgileEdge算是初步能用,但是距離他預(yù)想的性能,還有一些差距。
而且不同的大模型之間,壓縮后的性能也存在較大的差距。
他的想法是在模型壓縮的同時(shí),性能不變,但是現(xiàn)在看來(lái),模型壓縮,性能就一定會(huì)變差,這看上去似乎是一個(gè)無(wú)解的問(wèn)題。
周昀能保證,自己的AgileEdge框架是沒(méi)有問(wèn)題的,不然也不可能實(shí)現(xiàn)模型壓縮,那么有問(wèn)題只可能是模型本身。
大模型本身特殊的架構(gòu),限制了其參數(shù)的數(shù)量。
簡(jiǎn)單來(lái)說(shuō)就是,無(wú)論如何壓縮,其總是會(huì)存在一個(gè)下限,而周昀要做的就是突破這個(gè)下限。
這就不得不對(duì)模型本身進(jìn)行修改。
“看來(lái)之前還是想簡(jiǎn)單了。”
智能化修改大模型架構(gòu),又是一個(gè)不小的工程,就這個(gè)研究,都?jí)虬l(fā)一篇A會(huì)了。
就在周昀思考的時(shí)候,群里彈出一條消息。
【點(diǎn)擊入會(huì)】
要開(kāi)組會(huì)了。
入會(huì)后,周昀第一時(shí)間就是先把自己閉麥。
等人到齊之后,組會(huì)開(kāi)始。
其實(shí)線(xiàn)上的總共就三個(gè)人,其他人都是線(xiàn)下會(huì)議室的,也就是還沒(méi)入學(xué)的新生才有線(xiàn)上組會(huì)這個(gè)待遇了。
“聽(tīng)得到嗎?”鄧永華的聲音響起。
“可以。”×3
“先給大家介紹一下,這三位是咱們組新加入的同學(xué),分別是周昀、邵詩(shī)、常承軒,大家平時(shí)有空可以多多交流。
閑話(huà)不多說(shuō),咱們開(kāi)始吧,邱彥,你先來(lái)?”
接下來(lái)就是漫長(zhǎng)的三個(gè)鐘頭。
在一個(gè)組里,大家的研究方向其實(shí)都不一定一樣,這也就導(dǎo)致了,其實(shí)很多人匯報(bào),其他人都是聽(tīng)不懂的,甚至老師也不一定了解你的研究方向。
這也是為什么周昀非常討厭組會(huì)的原因。
不想聽(tīng)加上聽(tīng)不懂,還要硬控他三個(gè)小時(shí),能喜歡的起來(lái)嗎?
而且還是忍受老師時(shí)不時(shí)的“奇葩提問(wèn)”。
比如:你的研究方向我不懂,但是我想問(wèn)一下你的創(chuàng)新點(diǎn)是什么。
這種問(wèn)題就很容易讓人紅溫,但誰(shuí)讓對(duì)方是你導(dǎo)師呢。
你就必須得和顏悅色的給他解釋。
不過(guò)鄧永華倒是還好,以周昀三個(gè)鐘頭的觀察下來(lái)。
對(duì)于不懂的研究方向,他一般不輕易提問(wèn),而且他主要關(guān)心的是學(xué)生的科研進(jìn)度,如果有進(jìn)度而且研究方向他不熟悉,其實(shí)還是蠻輕松的。
但要是沒(méi)進(jìn)度,再加上他又恰好懂你的研究方向。
那不好意思,一首涼涼送給你。
等到所有學(xué)姐學(xué)長(zhǎng)都匯報(bào)完了之后,終于輪到周昀三人了。
“三位新同學(xué),都有準(zhǔn)備吧?要不周昀你先來(lái)?你上次的那個(gè)研究搞得怎么樣了?還是說(shuō)你要匯報(bào)論文?”
鄧永華對(duì)周昀還是有些期待的,但是這么短的時(shí)間,想要有什么實(shí)質(zhì)性的進(jìn)度估計(jì)很難了。
“好的老師,那我就匯報(bào)一下我的科研進(jìn)度?”
錢(qián)塘大學(xué),會(huì)議室里。
坐在后排的幾個(gè)師兄相互看了看,最終看向邱彥。
“這師弟什么情況?”