社交行為是高等哺乳動物重要的本能行為，社交障礙是自閉癥、抑郁癥以及社交焦慮癥等疾病的高度共有病征，社交行為的讀取與解析是研究社交障礙神經環路機制關鍵技術之一。 

　　1月8日，中國科學院深圳先進技術研究院腦所/深港腦科學創新研究院蔚鵬飛研究員團隊在人工智能領域國際頂級期刊《自然 機器智能》(Nature Machine Intelligence) 期刊發表了題為 Multi-animal 3D social pose estimation, identification, and behavior embedding with a few-shot learning framework的論文，發布了神經環路研究領域一項突破性應用技術：針對社交行為研究的小樣本學習計算框架模型Social Behavior Atlas （以下簡稱“SBeA”）。 

　　該技術實現了自由社交動物模型的無標簽、高精度三維姿態估計、零樣本身份識別和精細化社交行為分類，真正解決了精確檢測動物社交行為的多個重要難點，有望為社交行為神經環路機制的研究帶來研究范式上的變革創新。該工作為科技創新2030-“腦科學與類腦研究”重大項目“社交障礙的神經環路機制與干預研究”的實施，提供了重要的精細行為數據分析支撐。 

　　近年來，深度學習技術在傳統行為學研究領域的廣泛應用，促進了計算神經行為學（computational neuroethology）這一新興學科的蓬勃發展，DeepLabCut、SLEAP、MoSeq等AI動物行為追蹤技術正在成為神經科學家的重要研究工具。但是在多目標、自由社交行為的研究領域，盡管上述技術都相繼推出了自己社交行為分析版本，但是在海量數據標注問題、連續追蹤的身份準確性等問題上的技術不成熟，使得目前研究人員仍沒有真正可用的有效工具，社交行為的研究大部分仍停留在傳統三廂行為實驗階段。 

　　上述現有歐美技術的性能首先受制于人工標注數據集的數據量。在社交行為實驗中，無法避免地需要在多種行為實驗范式中使用不同的模式動物，深度學習模型精準與否取決于實驗人員標注的視頻的數量，每一個數據集的準備都需要花費實驗人員數周的時間，極大地降低了實驗效率，限制了上述工具的應用場景。SBeA在自由社交動物的姿態估計、身份識別和行為分類的三個階段，分別針對性地提出了小樣本的數據生成算法、零樣本雙向遷移學習方法和自然結構啟發的無監督社交行為分解聚類策略，有效降低了每個階段的數據標注量。 

　　SBeA的姿態估計小樣本數據生成算法和身份識別零樣本雙向遷移學習方法的設計均受到大腦的工作機制的啟發（圖1）。人類在識別交互的動物時，能 “腦補”動物可能存在的遮擋關系，這一過程為大腦提供大量的新數據。據此所提出的連續遮擋復制粘貼數據算法可以有效合成大量新數據（圖1a），能夠訓練精度更高的模型，獲得更加準確的3D社交姿態估計結果。在非社交場景中，人類能夠通過外表區分每一只動物的身份，也能“腦補”到多動物社交場景，識別每一只動物的身份。受到啟發，SBeA的多動物社交身份識別通過共享不同網絡的知識實現雙向遷移學習（圖1b），借助模型之間的“腦補”，消除了標注數據的過程，并實現了高精度的外表相似動物的身份識別。   

　　多動物社交行為分析最大的難點在于同時區分外觀非常相似的動物。兩只小鼠在自由社交時，區分它們的身份是研究特定疾病造模個體的基礎，然而即使是專業的實驗人員也很難區分每一只的身份。零樣本雙向遷移學習借助人工智能超越人類精度的圖像特征分辨能力，實現了大于90%的自由社交動物身份識別準確率（圖2），推動社交行為研究進入不需要約束動物的自然行為時代，革新社交實驗范式。   

　　動物行為具有類比人類語言的“字母-單詞-語句”結構，社交行為則包含動物與動物之間行為語言結構的交互。根據社交行為的自然結構，將社交行為類比語言進行并行、動態的分解，綜合考量多種社交行為特征進行社交行為的自適應無監督聚類，獲得百余種精細社交行為模塊（圖3）。SBeA不需要提前定義社交行為類別，有利于發現新的、未定義的社交行為差異。SBeA能夠鑒定三箱社交、分區域社交等經典社交實驗范式難以獲得的自由社交行為表型。使用SBeA，鑒定得到孤獨癥小鼠模型和正常小鼠兩兩之間社交的精細行為差異（圖4），孤獨癥小鼠模型缺少的相互理毛、同伴嗅探和增加的原地不動、刻板的同步行為顯示出自然狀態下孤獨癥小鼠模型親社會樣行為的缺失、社交新穎性和運動能力的降低。僅通過社交行為的差異即可分類孤獨癥小鼠社交組和正常小鼠社交組，證明了SBeA具有通過社交行為來識別異常小鼠的能力。   

　　　除了小鼠外，SBeA也適用于計算鳥類和家犬的精準的3D社交姿態、身份和精細社交模塊，具有跨物種應用的潛力（圖5）。家犬部分的工作與中國科學院昆明動物研究所張亞平院士和王國棟研究員團隊、公安部昆明警犬基地李靜團隊合作，在科技創新2030“腦科學與類腦研究”重大項目支持下共同完成。   

　　深圳先進院腦所蔚鵬飛研究員為論文的通訊作者。論文第一作者是深圳先進院腦所在讀博士生韓亞寧，共同第一作者包括碩士生陳可（現就職芯動科技）和助理研究員王云珂（現就職微創醫療）。研究的開展要大力感謝深圳先進院腦所王立平研究員的關懷與指導，同時感謝已畢業博士黃康（現就職深圳一灣生命科技）的積極支持。感謝科技部科技創新2030“腦科學與類腦研究”重大項目、國家自然科學基金委員會、中國科學院青年創新促進會、國家重點研發計劃、中國科學院腦聯結解析與調控重點實驗室和廣東省腦連接圖譜重點實驗室的資助與支持。 

圖1 小樣本連續遮擋復制粘貼數據生成算法 

(a)和零樣本雙向遷移學習方法 (b)示意圖

圖2  外觀相似動物的身份識別準確率>90% 

圖3  自然行為結構啟發的社交行為動態分解和聚類流程圖  

圖4  SBeA鑒定孤獨癥小鼠多種異常的精細社交行為模塊 

圖5  SBeA量化鳥類和家犬的精細社交行為 

文章鏈接