<p>神經網絡是現代人工智能的引擎，但其密集的、數十億參數的架構使其難以理解。我們設計訓練規則，但最終的行為是一團複雜的連接，任何人都難以輕易追蹤。這種不透明性在人工智能滲透到醫療和金融等關鍵領域時，成為一個日益嚴重的負擔。</p>
<p>可解釋性——解釋模型為何做出某個決策的能力——至關重要。雖然像思維鏈這樣的技術通過強迫模型展示其工作過程提供了即時的、儘管脆弱的解釋，但更深層的目標是機械可解釋性：在最細粒度的層面上逆向工程模型的計算。這條道路更為艱難，但承諾提供更穩健的理解。</p>
<p>研究人員現在認為，問題不僅在於任務的複雜性，還在於網絡本身的結構。傳統模型是 “密集型” 的，意味着幾乎每個神經元都連接到成千上萬的其他神經元，造成功能混亂。新的方法通過訓練稀疏神經網絡來顛覆這一局面。</p>
<h2>為更智能的人工智能構建更簡單的電路</h2>
<p>核心創新在於架構約束。通過強制模型絕大多數權重為零，研究人員迫使網絡僅使用其潛在連接的一小部分來實現目標。可以將其視為強迫一個龐大的大都市僅通過少數關鍵高速公路而非所有可能的支路來運作。</p>
<p>最近研究中詳細描述的結果在簡單任務上令人信服。當在算法挑戰上進行測試時——例如正確關閉一個 Python 字符串並匹配引號——得到的稀疏模型包含小而獨立的 “電路”，執行所需的確切邏輯。這些電路對任務既是必要的也是充分的；如果去掉它們，模型就會失敗。</p>
<p>權衡是顯而易見的：在固定模型大小的情況下，增加稀疏性會降低能力，同時顯著提升可解釋性。然而，研究表明了一條前進的道路：在保持高稀疏性的同時，增加 * 總 * 參數數量，使模型既能變得更強大，又能保留更簡單、易於理解的內部機制。這將可解釋性前沿向外推進。</p>
<p>這項工作尚未成為應對 GPT-5 級複雜性的靈丹妙藥。目前的稀疏模型遠小於前沿的大型語言模型，其計算仍然在很大程度上不透明。下一步涉及擴大這些技術，或者開發從已經訓練好的高效密集模型中提取這些乾淨、稀疏電路的方法。如果成功，這項研究提供了一條切實可行的路線圖，朝着構建我們不僅信任輸出，而且從根本上理解其底層機制的人工智能系統邁進。</p>

<p>研究人員正在探索稀疏神經網絡，以提高人工智能的可解釋性。通過減少連接，這些網絡形成更簡單的電路，從而增強理解而不犧牲能力。這種方法可能導致機制透明的人工智能系統，儘管目前的模型規模小於領先的大型語言模型。未來的工作旨在擴展這些技術或從密集模型中提取稀疏電路，為更易理解的人工智能提供了一條路徑</p>

<p>Neural networks are the engine of modern AI, but their dense, billions-of-parameters architecture makes them inscrutable. We design the training rules, but the resulting behavior is a tangled mess of connections no human can easily trace. This opacity is a growing liability as AI infiltrates critical sectors like healthcare and finance.</p>
<div class="lb-trans"><p>神經網絡是現代人工智能的引擎，但其密集的、數十億參數的架構使其難以理解。我們設計訓練規則，但最終的行為是一團複雜的連接，任何人都難以輕易追蹤。這種不透明性在人工智能滲透到醫療和金融等關鍵領域時，成為一個日益嚴重的負擔。</p>
</div><p>Interpretability—the ability to explain why a model made a decision—is paramount. While techniques like Chain of Thought offer immediate, albeit brittle, explanations by forcing models to show their work, the deeper goal is mechanistic interpretability: reverse-engineering the model’s computations at the most granular level. This path is harder but promises a more robust understanding.</p>
<div class="lb-trans"><p>可解釋性——解釋模型為何做出某個決策的能力——至關重要。雖然像思維鏈這樣的技術通過強迫模型展示其工作過程提供了即時的、儘管脆弱的解釋，但更深層的目標是機械可解釋性：在最細粒度的層面上逆向工程模型的計算。這條道路更為艱難，但承諾提供更穩健的理解。</p>
</div><p>Researchers are now betting that the problem isn’t just the complexity of the task, but the structure of the network itself. Traditional models are “dense,” meaning nearly every neuron connects to thousands of others, creating functional chaos. The new approach flips this script by training sparse neural networks.</p>
<div class="lb-trans"><p>研究人員現在認為，問題不僅在於任務的複雜性，還在於網絡本身的結構。傳統模型是 “密集型” 的，意味着幾乎每個神經元都連接到成千上萬的其他神經元，造成功能混亂。新的方法通過訓練稀疏神經網絡來顛覆這一局面。</p>
</div><h2>Building Simpler Circuits for Smarter AI</h2>
<div class="lb-trans"><h2>為更智能的人工智能構建更簡單的電路</h2>
</div><p>The core innovation is architectural constraint. By forcing the vast majority of a model’s weights to zero, researchers compel the network to achieve its goals using only a tiny fraction of its potential connections. Think of it as forcing a sprawling metropolis to function using only a few key highways instead of every possible side street.</p>
<div class="lb-trans"><p>核心創新在於架構約束。通過強制模型絕大多數權重為零，研究人員迫使網絡僅使用其潛在連接的一小部分來實現目標。可以將其視為強迫一個龐大的大都市僅通過少數關鍵高速公路而非所有可能的支路來運作。</p>
</div><p>The results, detailed in recent research, are compelling for simpler tasks. When tested on algorithmic challenges—like correctly closing a Python string with the matching quote mark—the resulting sparse models contained small, isolated “circuits” that performed the exact required logic. These circuits were both necessary and sufficient for the task; remove them, and the model fails.</p>
<div class="lb-trans"><p>最近研究中詳細描述的結果在簡單任務上令人信服。當在算法挑戰上進行測試時——例如正確關閉一個 Python 字符串並匹配引號——得到的稀疏模型包含小而獨立的 “電路”，執行所需的確切邏輯。這些電路對任務既是必要的也是充分的；如果去掉它們，模型就會失敗。</p>
</div><p>The trade-off is clear: for a fixed model size, increasing sparsity reduces capability while dramatically boosting interpretability. However, the research suggests a path forward: scaling up the *total* number of parameters while maintaining high sparsity allows the model to become both more capable and retain simpler, understandable internal mechanisms. This shifts the interpretability frontier outward.</p>
<div class="lb-trans"><p>權衡是顯而易見的：在固定模型大小的情況下，增加稀疏性會降低能力，同時顯著提升可解釋性。然而，研究表明了一條前進的道路：在保持高稀疏性的同時，增加 * 總 * 參數數量，使模型既能變得更強大，又能保留更簡單、易於理解的內部機制。這將可解釋性前沿向外推進。</p>
</div><p>This work isn’t a silver bullet for GPT-5 level complexity yet. The current sparse models are far smaller than frontier LLMs, and much of their computation remains opaque. The next steps involve scaling these techniques or, alternatively, developing methods to extract these clean, sparse circuits from already trained, efficient dense models. If successful, this research offers a tangible roadmap toward building AI systems where we don’t just trust the output, but fundamentally understand the underlying mechanism.</p>
<div class="lb-trans"><p>這項工作尚未成為應對 GPT-5 級複雜性的靈丹妙藥。目前的稀疏模型遠小於前沿的大型語言模型，其計算仍然在很大程度上不透明。下一步涉及擴大這些技術，或者開發從已經訓練好的高效密集模型中提取這些乾淨、稀疏電路的方法。如果成功，這項研究提供了一條切實可行的路線圖，朝着構建我們不僅信任輸出，而且從根本上理解其底層機制的人工智能系統邁進。</p>
</div>

Cracking the Black Box: The Promise of Sparse Neural Networks

- 神經網絡是現代 AI 的核心，但其複雜性導致難以解釋。  
- 研究者通過訓練稀疏神經網絡，提升模型的可解釋性。  
- 未來目標是實現高稀疏性與高能力的平衡，推動可解釋性進展。  

揭開黑箱：稀疏神經網絡的潛力