你可能聽說過大型語言模型，即能生成類人文本的人工智能系統(tǒng)。但是小型語言模型呢?研究人員正在努力研發(fā)更小型、更緊湊的人工智能系統(tǒng)，以解決人工智能系統(tǒng)對數(shù)據(jù)日益增長的需求所帶來的一系列挑戰(zhàn)。而且，不只是如今新聞報(bào)道中的生成式人工智能模型需要變得更小，那些能夠運(yùn)營工業(yè)設(shè)施、智慧城市或自動駕駛汽車的人工智能系統(tǒng)也需要如此。
大型人工智能模型面臨的挑戰(zhàn)
當(dāng)你使用人工智能(無論是在手機(jī)還是筆記本電腦上)時(shí)，大部分實(shí)際計(jì)算都發(fā)生在數(shù)據(jù)中心。這是因?yàn)樽盍餍械娜斯ぶ悄苣Ｐ驮谟?jì)算上非常耗費(fèi)資源——你的筆記本電腦可能沒有足夠的計(jì)算能力來運(yùn)行查詢。這些人工智能系統(tǒng)還會消耗大量能源。據(jù)說，在生成式人工智能模型中進(jìn)行一次查詢(例如問“生成式人工智能是如何工作的?”這樣一個(gè)問題)所消耗的電量相當(dāng)于一個(gè)燈泡點(diǎn)亮一小時(shí)的電量。
這給人工智能的使用帶來了兩個(gè)挑戰(zhàn)。首先，這引發(fā)了人們對人工智能可持續(xù)性的擔(dān)憂，因?yàn)闉槿斯ぶ悄芄╇姷碾娏σ矔黾訙厥覛怏w排放。
在最近一項(xiàng)針對全球技術(shù)領(lǐng)導(dǎo)者的調(diào)查“The Impact of Technology in 2025 and Beyond: an IEEE Global Study”中，35%的人表示人工智能的實(shí)用性遠(yuǎn)遠(yuǎn)超過其能耗，而34%的人表示人工智能的能耗和實(shí)用性處于良好的平衡狀態(tài)。大約五分之一(21%)的人認(rèn)為人工智能的益處是顯著的，但高能耗仍然是一個(gè)問題，而8%的人認(rèn)為大量的能耗超過了人工智能的益處。
其次，這意味著任何依賴人工智能的事物要么需要更多的電力來運(yùn)行，要么需要連接到數(shù)據(jù)中心。
削減人工智能規(guī)模的前沿技術(shù)正在取得一些成功(https://spectrum.ieee.org/1-bit-llm)。
IEEE會員Jay Shah表示：“這些(技術(shù))耗電量顯著降低，通常在瓦特范圍內(nèi)運(yùn)行，而不是大型數(shù)據(jù)中心系統(tǒng)消耗的千瓦或兆瓦。”
誰需要緊湊型人工智能?
更小、更節(jié)能的人工智能系統(tǒng)可以用于多種應(yīng)用，比如自動駕駛汽車。
Shah說：“就長期可靠性和降低功耗而言，下一代低功耗人工智能加速器對自動駕駛汽車的未來至關(guān)重要。它們能夠?qū)崿F(xiàn)實(shí)時(shí)決策并實(shí)現(xiàn)更緊湊的設(shè)計(jì)。”
同時(shí)，它們對機(jī)器人系統(tǒng)來說也是個(gè)福音，因?yàn)樗鼈儗⒔档蜋C(jī)器人的電力需求。
IEEE高級會員Cristiane Agra Pimentel表示，緊湊型人工智能系統(tǒng)在工業(yè)環(huán)境中也將很有用，在這種環(huán)境中，更小的控制系統(tǒng)可以使工廠流程自動化。
Pimentel說：“在工業(yè)領(lǐng)域使用緊湊型人工智能將越來越適用于機(jī)器操作控制、產(chǎn)品追溯控制和供應(yīng)鏈系統(tǒng)管理。”
小型人工智能存在權(quán)衡取舍
大型語言模型通常適用于多種用途。它們可以協(xié)助撰寫大學(xué)論文，還能幫你構(gòu)建網(wǎng)站。緊湊型系統(tǒng)可以針對特定系統(tǒng)進(jìn)行優(yōu)化。它們可以被設(shè)計(jì)成公司的聊天機(jī)器人或者自動補(bǔ)全計(jì)算機(jī)代碼。
但是，緊湊型人工智能系統(tǒng)目前準(zhǔn)確性較低，因?yàn)樗鼈兺ǔＪ褂幂^少的數(shù)據(jù)。
Shah表示：“考慮到低功耗、更快的推理時(shí)間以及在邊緣設(shè)備上運(yùn)行人工智能的能力等好處，這些權(quán)衡通常是可以接受的。研究人員和開發(fā)人員會繼續(xù)努力提高緊湊型人工智能系統(tǒng)的準(zhǔn)確性，同時(shí)保持其效率優(yōu)勢。”
了解更多：EEE計(jì)算機(jī)協(xié)會最近發(fā)表了一篇關(guān)于小型語言模型的優(yōu)勢和挑戰(zhàn)的深度文章。去看看吧：https://www.computer.org/csdl/magazine/co/2024/08/10632613/1ZgY9z1BTGM。
