在大模型領(lǐng)域，如何將文本數(shù)據(jù)分解成合適的單元一直是重點研究對象。傳統(tǒng)的分詞方法，如Byte Pair Encoding等，會預(yù)先將文本分割成固定粒度的單元，然后構(gòu)建一個靜態(tài)的詞匯表供模型使用。但這種方法存在諸多局限性，一旦分詞完成，模型在后續(xù)處理中就只能局限于這些預(yù)設(shè)的單元，無法靈活地調(diào)整對數(shù)據(jù)的處理方式和預(yù)測范圍；

另一方面，對于一些低資源語言或者具有特殊字符結(jié)構(gòu)的文本，這種固定分詞方式往往難以有效處理，限制了模型的泛化能力和應(yīng)用范圍。

為了解決這些難題，Meta的研究人員開源了創(chuàng)新架構(gòu)AU-Net，過引入一種自回歸的 U-Net 架構(gòu)，徹底改變了傳統(tǒng)語言模型的分詞和處理模式。AU-Net 能夠直接從原始字節(jié)開始學(xué)習(xí)，動態(tài)地將字節(jié)組合成單詞、詞對，甚至多達四個單詞的組合，形成一種多尺度的序列表示。

開源地址：https://github.com/facebookresearch/lingua/tree/main/apps/aunet

AU-Net的架構(gòu)靈感來源于醫(yī)學(xué)圖像分割領(lǐng)域的 U-Net 架構(gòu)，它是一種自回歸的層次化模型，具有獨特的收縮路徑和擴張路徑。收縮路徑的主要作用是對輸入的字節(jié)序列進行壓縮處理，通過逐步合并字節(jié)來形成更高層次的語義單元，從而提取出文本的宏觀語義信息。

而擴張路徑則負責(zé)將這些壓縮后的高層次信息逐步還原，恢復(fù)到原始的序列長度，并且在這個過程中將高層次的語義信息融入到更細致的局部細節(jié)中，使得模型在不同層次上都能夠捕捉到文本的重要特征。

收縮路徑分為多個階段，每個階段都有其特定的功能和結(jié)構(gòu)。在第一階段，模型直接處理原始字節(jié)。這個階段的維度設(shè)置為 512，包含 3 層。由于字節(jié)級別的序列是最長的，為了保證計算的可行性，模型在這個階段會限制注意力機制的作用范圍，使其僅在一定的窗口內(nèi)進行操作。這樣的設(shè)計既能夠充分利用自注意力機制的優(yōu)勢，又能夠避免因為序列過長而導(dǎo)致的計算負擔(dān)過重的問題。

接下來是第二階段，在這個階段，模型會在單詞邊界處進行池化操作。池化操作是通過選擇特定位置的向量來實現(xiàn)的，這些位置是由預(yù)先定義的分割函數(shù)確定的。分割函數(shù)會根據(jù)單詞的起始位置來選取對應(yīng)的向量，這些向量能夠捕捉到單詞之前的上下文信息。

然后模型將這些向量投影到下一個階段的維度，即 2048 維度，并且這個階段也包含 3 層。通過這種方式，模型能夠?qū)⒆止?jié)級別的信息抽象成單詞級別的語義信息，為后續(xù)的高層次處理提供基礎(chǔ)。

第三階段的池化操作則是在每兩個單詞處進行。這個階段的維度進一步增加到 3072，包含 18 層。在這個階段，模型開始處理更大范圍的語義信息，它不僅僅關(guān)注單個單詞，而是將兩個單詞作為一個整體來進行處理。這種設(shè)計使得模型能夠捕捉到單詞之間的搭配關(guān)系和更復(fù)雜的語義結(jié)構(gòu)，從而更好地理解文本的含義。

擴張路徑的作用是將收縮路徑中壓縮后的高層次信息逐步還原，并且在這個過程中將高層次的語義信息與局部細節(jié)信息進行融合。在擴張路徑中，模型會采用一種稱為多線性上采樣的策略來進行上采樣操作。

模型會將每個粗向量復(fù)制多次，以匹配下一個階段的長度，并且為這些復(fù)制的向量應(yīng)用不同的位置特定線性變換。這種策略使得每個位置的向量都能夠根據(jù)其在序列中的相對位置進行調(diào)整，從而更好地融合高層次的信息和局部細節(jié)。

例如，當(dāng)從每兩個單詞的表示恢復(fù)到單詞級別的表示時，模型會為每個單詞位置生成一個獨特的向量。這些向量不僅包含了來自高層次的語義信息，還能夠根據(jù)單詞的具體位置進行適當(dāng)?shù)恼{(diào)整，以更好地捕捉單詞級別的細節(jié)特征。通過這種方式，模型能夠逐步恢復(fù)序列的長度，并且在這個過程中將高層次的語義信息有效地融入到局部細節(jié)中，從而生成更加準(zhǔn)確和自然的文本。

在擴張路徑中，模型還會利用跳躍連接來傳遞信息。跳躍連接的作用是將收縮路徑中提取到的細節(jié)信息直接傳遞到擴張路徑中的相應(yīng)階段，從而保證在還原過程中不會丟失重要的局部細節(jié)。這些跳躍連接的存在使得模型在不同層次上都能夠同時獲取到高層次的語義信息和局部細節(jié)信息，進一步提高了模型的生成能力和預(yù)測準(zhǔn)確性。

在推理階段，AU-Net 采用自回歸的生成機制。字節(jié)級別的階段會在每一步都保持活躍，而更深層次的階段則根據(jù)池化模式以較低的頻率激活。這種自回歸的生成方式不僅保證了生成文本的連貫性和準(zhǔn)確性，還提高了推理效率。

自回歸生成機制的優(yōu)勢在于它能夠確保模型在每一步生成過程中都能夠充分考慮到前面已經(jīng)生成的內(nèi)容以及深層次的語義信息。通過這種方式，模型能夠生成更加自然和準(zhǔn)確的文本，避免了可能出現(xiàn)的語義不連貫或者語法錯誤等問題。同時，由于更深層次的階段不是在每一步都激活，這大大減少了計算量，提高了推理的速度，使得 AU-Net 在實際應(yīng)用中更加高效和實用。