在生物神經(jīng)系統(tǒng)中，約160億個(gè)神經(jīng)元通過(guò)復(fù)雜的突觸連接網(wǎng)絡(luò)實(shí)現(xiàn)信息傳遞與處理。每個(gè)神經(jīng)元通過(guò)樹(shù)突接收來(lái)自其他神經(jīng)元的電化學(xué)信號(hào)，在胞體內(nèi)整合后，若電位超過(guò)閾值便通過(guò)軸突釋放動(dòng)作電位。這種“全或無(wú)”的放電機(jī)制構(gòu)成了生物信息處理的基礎(chǔ)單元，但其微觀過(guò)程如何通過(guò)數(shù)學(xué)語(yǔ)言精確描述，始終是計(jì)算神經(jīng)科學(xué)與人工智能領(lǐng)域的核心命題。

從20世紀(jì)40年代McCulloch與Pitts提出形式神經(jīng)元模型，到Rosenblatt的感知機(jī)，再到現(xiàn)代深度神經(jīng)網(wǎng)絡(luò)，神經(jīng)元數(shù)學(xué)建模經(jīng)歷了從線性到非線性、從離散到連續(xù)的演進(jìn)。其核心思想可概括為兩個(gè)階段：首先接收多個(gè)輸入信號(hào)并賦予權(quán)重，其次通過(guò)加權(quán)求和與閾值比較產(chǎn)生輸出。以感知機(jī)為例，若神經(jīng)元接收n個(gè)輸入信號(hào)，其凈輸入可表示為輸入向量與權(quán)重向量的點(diǎn)積加上偏置項(xiàng)，這一線性加權(quán)和本質(zhì)上是衡量輸入與權(quán)重方向的對(duì)齊程度。

幾何視角下，線性加權(quán)和可視為輸入向量在權(quán)重向量上的投影與模長(zhǎng)的乘積。當(dāng)輸入與權(quán)重方向一致時(shí)點(diǎn)積最大，正交時(shí)為零，反向時(shí)為負(fù)值。偏置項(xiàng)則通過(guò)平移決策邊界，使分類超平面不再局限于原點(diǎn)，顯著提升了模型表達(dá)能力。然而，單層感知機(jī)僅能處理線性可分問(wèn)題，如邏輯與、或運(yùn)算，對(duì)異或等非線性問(wèn)題無(wú)能為力。這一局限性在1969年被Minsky與Papert數(shù)學(xué)證明，導(dǎo)致神經(jīng)網(wǎng)絡(luò)研究陷入近十年的低谷。

多層前饋神經(jīng)網(wǎng)絡(luò)的實(shí)踐表明，若每層神經(jīng)元僅進(jìn)行線性變換（即激活函數(shù)為恒等函數(shù)），無(wú)論網(wǎng)絡(luò)深度如何，其輸出始終是輸入向量的線性組合。這種結(jié)構(gòu)在函數(shù)空間上與單層線性網(wǎng)絡(luò)等價(jià)，無(wú)法表達(dá)復(fù)雜非線性關(guān)系。引入非線性激活函數(shù)后，網(wǎng)絡(luò)表達(dá)能力發(fā)生質(zhì)變：通過(guò)仿射變換與非線性映射的交替復(fù)合，深層結(jié)構(gòu)得以在特征空間中進(jìn)行層級(jí)化重組。萬(wàn)能逼近定理進(jìn)一步證明，滿足條件的非線性激活函數(shù)（如Sigmoid、ReLU）可使網(wǎng)絡(luò)以任意精度逼近緊致子集上的連續(xù)函數(shù)，這為深度學(xué)習(xí)在圖像識(shí)別、自然語(yǔ)言處理等領(lǐng)域的突破奠定了理論基礎(chǔ)。

原始感知機(jī)采用階躍函數(shù)模擬神經(jīng)元的“全或無(wú)”特性，但該函數(shù)在數(shù)學(xué)優(yōu)化中存在致命缺陷：其導(dǎo)數(shù)在大部分定義域?yàn)榱悖瑢?dǎo)致梯度無(wú)法有效傳播。為解決這一問(wèn)題，Sigmoid函數(shù)作為階躍函數(shù)的光滑近似被引入。該函數(shù)值域?yàn)?0,1)，導(dǎo)數(shù)可表示為函數(shù)值自身的函數(shù)，確保了非零梯度的存在。然而，當(dāng)輸入絕對(duì)值較大時(shí)，Sigmoid進(jìn)入飽和區(qū)，導(dǎo)數(shù)趨近于零，引發(fā)深層網(wǎng)絡(luò)中的梯度消失問(wèn)題。現(xiàn)代深度學(xué)習(xí)因此發(fā)展出更多激活函數(shù)，如tanh、ReLU及其變體。ReLU在正半軸導(dǎo)數(shù)為1的特性，有效緩解了梯度消失，成為卷積神經(jīng)網(wǎng)絡(luò)的默認(rèn)選擇。

神經(jīng)元數(shù)學(xué)模型的發(fā)展軌跡揭示了一個(gè)關(guān)鍵邏輯：其設(shè)計(jì)并非對(duì)生物神經(jīng)元的簡(jiǎn)單復(fù)刻，而是在優(yōu)化理論約束下的計(jì)算抽象。從早期受神經(jīng)科學(xué)啟發(fā)，到被數(shù)學(xué)優(yōu)化驅(qū)動(dòng)脫離生物原型，再到工程實(shí)踐反推對(duì)神經(jīng)機(jī)制的重審視，這一過(guò)程體現(xiàn)了跨學(xué)科融合對(duì)技術(shù)突破的推動(dòng)作用。