原標(biāo)題：漫談詞元（新知）

【現(xiàn)象】人工智能浪潮席卷全球，人工智能大模型成為人們工作與生活的重要幫手。在這場浪潮中，有個概念的曝光度很高——Token，即通常所說的詞元，它是處理文本的最小數(shù)據(jù)單元。國家數(shù)據(jù)局披露了這樣一組數(shù)據(jù)：2024年初，我國日均詞元的消耗量為1000億，而截至2025年9月底，這一數(shù)字已突破40萬億，1年多時間增長了400多倍。指數(shù)級增長的數(shù)字，見證我國人工智能產(chǎn)業(yè)的迅猛發(fā)展、應(yīng)用規(guī)模的快速擴(kuò)大。

【點(diǎn)評】

怎么理解詞元？簡單來說，詞元是人工智能大模型為了高效處理數(shù)據(jù)，把數(shù)據(jù)進(jìn)行拆分后的“最小信息載體”，可以理解為“字/詞片段/符號”等。比如“我愛中國！”，可拆分成“我”“愛”“中國”“！”4個詞元。

如果說互聯(lián)網(wǎng)時代信息傳輸?shù)暮诵亩攘渴恰傲髁俊?，那么人工智能時代，這一關(guān)鍵指標(biāo)正變?yōu)樵~元——用戶輸入的每一個字，模型生成的每一段話、識別的每一幅圖像，都在消耗詞元。

看似很抽象，實(shí)際上，每一次詞元消耗都對應(yīng)著真實(shí)的場景交互——可能是銀行智能客服作出的一筆貸款咨詢，是汽車智能座艙處理的一句語音指令，或是編程助手輸出的數(shù)行復(fù)雜代碼。詞元消耗量爆發(fā)式增長，意味著越來越多人工智能應(yīng)用落地，越來越多個人用戶、企業(yè)客戶在使用智能工具解決問題、提高效率。詞元消耗增長與應(yīng)用落地強(qiáng)綁定的特性，使其成為衡量人工智能產(chǎn)業(yè)景氣度的重要晴雨表。

以長遠(yuǎn)視角觀之，隨著我國人工智能產(chǎn)業(yè)創(chuàng)新活力的不斷釋放，詞元消耗量的增長不僅具有短期爆發(fā)力，還有長期持續(xù)性。

在政策層面，去年印發(fā)的《關(guān)于深入實(shí)施“人工智能+”行動的意見》強(qiáng)調(diào)，“推動人工智能與經(jīng)濟(jì)社會各行業(yè)各領(lǐng)域廣泛深度融合”。比如，人工智能為教育行業(yè)提供“長文本知識梳理”，為電商行業(yè)提供“多輪智能導(dǎo)購服務(wù)”。這些都將為詞元調(diào)用、消耗提供更豐富、更復(fù)雜的場景。

在技術(shù)層面，加快“從0到1”的創(chuàng)新突破、“從1到N”的技術(shù)落地，更智能的人工智能體加速涌現(xiàn)，不僅能拓展發(fā)展空間，還將助力重塑人類生產(chǎn)生活范式，促進(jìn)生產(chǎn)力革命性躍遷。

向更深層次探求，詞元消耗量增長離不開我國在技術(shù)、數(shù)據(jù)供給等方面的扎實(shí)投入，有力印證“創(chuàng)新是第一動力”。

不少人記得，10多年前流量貴且網(wǎng)速慢，“提速降費(fèi)”不僅讓群眾享受到實(shí)打?qū)嵉拿裆ｌ?，也為互?lián)網(wǎng)發(fā)展、數(shù)字經(jīng)濟(jì)繁榮奠定了基礎(chǔ)。從此前單輪對話幾十詞元的“精打細(xì)算”，到如今企業(yè)級應(yīng)用單輪億萬詞元的“從容調(diào)度”，借由技術(shù)進(jìn)步帶來的成本下降，企業(yè)得以大規(guī)模地將人工智能應(yīng)用于更復(fù)雜、更耗能的場景，不斷突破詞元消耗量的增長瓶頸。

加力技術(shù)創(chuàng)新，推動技術(shù)普惠、成果共享，讓更多新技術(shù)從書架走向貨架、從“奢侈品”變成“日用品”，更好驅(qū)動實(shí)體經(jīng)濟(jì)高質(zhì)量發(fā)展、添彩日常生活，這是技術(shù)向善的題中應(yīng)有之義。

高質(zhì)量的數(shù)據(jù)供給是詞元消耗爆發(fā)的“能量源泉”。沒有高質(zhì)量的數(shù)據(jù)，詞元就成了“無源之水”，模型訓(xùn)練和推理會因數(shù)據(jù)失真、殘缺而輸出錯誤結(jié)果，這是產(chǎn)生人工智能幻覺的重要原因。這也啟示我們，推動人工智能技術(shù)創(chuàng)新應(yīng)用，一方面要“固本培元”，持續(xù)深耕關(guān)鍵技術(shù)、加快普及推廣，另一方面需“正本清源”，擰緊新技術(shù)發(fā)展的“安全閥”，加強(qiáng)關(guān)鍵要素供給能力，筑牢安全底座。

本固枝榮，源清流潔。從最小數(shù)據(jù)單元中，我們可以感悟原始創(chuàng)新的重要性，體會技術(shù)應(yīng)用的廣泛性，看到新技術(shù)、新業(yè)態(tài)拔節(jié)生長、突飛猛進(jìn)的浩蕩之勢。