附錄二：知覺與決策行為互動觀點的驗證
另請參閱本書「開始當大學生」章「型塑心智問題研究的互動觀點」一節，以及「心理學的漫遊與踐行」章節
1. 錯覺輪廓立體表現與知覺互動觀點驗證
我比較偏向知覺互動觀點(考量高階與低階變項之間的交互作用)，所以剛開始研究具有主觀及認知成分的錯覺輪廓(illusory contour, IC)時，先採低階觀點，再看是否有高階因素介入，請參見附錄一之5。
袁之琦在1986年碩士學位論文中，已發現若將具有錯覺輪廓特性之小方框，嵌入隱藏在隨機點背景圖當中，則在單眼看不清楚錯覺輪廓何在的情況下，透過雙眼立體視覺配對，仍可以看到錯覺輪廓浮出於背景隨機點之前，已顯示出錯覺輪廓可能具有獨立運作功能，亦即不須依附在單眼可見誘發元素之上。當時研究，旨在提出正常人對無單眼線索之IC的3D行為，以與文獻上圖形(2D)辨認不能(visual agnosia)個案的3D行為做一比較，並未明確的從低階神經生理觀點立論，但與下述研究有相輔相成之效。
之後指導研究生(陳瑞雲1991年完成碩士學位論文)，系統性操弄雙眼像差，觀察不同錯覺輪廓在雙眼融合後之三度立體知覺空間「浮沉」行為。該一立體行為的低階運作理論基礎，係依據馮海特的發現。馮海特(Rudiger von der Heydt)曾於1984年指出，在視皮質部第二區(V2) lunate sulcus處，可以找到對錯覺輪廓(如附錄圖1)做特殊反應的細胞，引起很大注意，因為在那個年代對偵測自然物體與真實輪廓的細胞，做神經電生理反應研究，不是很多，現在居然發現還有能對錯覺輪廓做明確反應之神經細胞，確實是第一篇重要論文**。
附錄圖1 錯覺輪廓(IC)圖具有的幾個特性
《IC的產生需要誘發元素、 IC會比背景亮、
IC好像壓在背景上形成單眼重疊的深度線索》
在2D不能獨立存在的IC，可獨立浮沉於3D
真實輪廓偵測有其V1視覺神經運作機制，利用立體圖製作技術，很容易在給予雙眼像差後，於立體視覺空間中上升或下沉。同理，從Rudiger的發現可推論，雖然錯覺輪廓係由周邊真實輪廓線索，所「誘發」「建構」出來的二級或主觀輪廓，但與真實輪廓一樣，在大腦神經層次都有明確神經偵測機制，不同的是在視覺皮質區(V2)發生。
亦即，物理上IC並非獨立存在，但透過主觀建構後，能發展出一種獨立神經表徵。既然兩者同樣具有神經生理實存性，若想辦法直接在錯覺輪廓上(而非誘發IC的周邊真實輪廓線索)動手脚，給予雙眼像差，把它當成像真實輪廓一般處理，應會有同樣浮沉結果才對，縱使雙眼融合立體空間形成後，誘發主觀輪廓的真實輪廓及物體，已經與浮出的IC分處不同空間，亦即浮出的IC就像獨立存在一樣，不再受到誘發元素所處空間的限制。
想到那裡事情就會發生到那裡，實驗結果原則上是跟著走的。
陳瑞雲在1991年提出的實驗結果，認為雖然2D錯覺輪廓並無明確物理邊界，但它在單眼觀看時即可能已啟動獨立的神經表徵(透過V2錯覺輪廓偵測器，產生可供獨立運作的心理表徵)，據此可當為立體視覺運作時的配對元素，而不須等到誘發元素在立體視覺下形成之後，才依照錯覺輪廓形成法則(依照定義，有誘發元素才可能產生錯覺輪廓)，讓錯覺三角形浮現出來。
何以IC在立體視覺中很難下沉
既然IC是一種錯覺，從知覺互動論立場，就有受主觀及高階影響的機會，所以可試著在錯覺三角形及中文字上製作IC，並做比較，以釐清具有意義的字是否會特別對IC的浮沉，產生由上而下之約束作用，並藉此討論高階與低階的互動。附錄圖2是一個樣板，當以左眼看中間圖形右眼看右邊圖形時，由於正像差之故，IC會於雙眼融合後很快上浮；但在負像差製作下，如用左眼看左圖右眼看中間圖形，此時若立體視覺只受雙眼線索(像差)影響，則IC應於雙眼融合後所形成之立體空間中下沉，惟事實上很難下沉。但若將IC改繪製成真實輪廓(real contour，RC；不須經過誘發，本身即有實際輪廓的三角形或圓形)，則施予雙眼像差後，都很容易上升及下沉。
所以IC的主觀單眼重疊線索(平面上或用單眼觀看時，IC有一種壓在背景上的主觀感覺)，應該是其中一個無法下沉的重要原因，因為與物理及生理上的雙眼像差線索互相衝突；惟若改用實際輪廓，則無單眼重疊線索，因此不會與雙眼像差衝突，浮沉皆受低階的雙眼像差掌控。但於中文字背景上製作，是否也會阻擋IC往下沉，就像在雙眼融合後中文字合體成為一道牆，讓IC難以穿透往下沉？
附錄圖2 雙眼融合下的IC浮沉
《直接於IC上給予像差，讓IC在空間中浮沉。因為IC具有單眼深度線索，好像壓在字上，所以若於此圖的IC上給予正像差時(左眼看左邊圖，右眼看右邊圖)，IC容易上升(雙眼與單眼深度線索不衝突)，但在給予負像差時則很難下沉。》
像差的操弄應係最直接影響立體視覺的因素，在過去的大量研究中已屢見不鮮，在中文字上鏤刻IC之後，難以下沉，可能係來自單眼重疊線索(IC看起來壓在背景中文上)，干涉到像差運作之故，它的機制與錯覺三角形的IC浮沉機制可能相同，不見得與中文有何關係。所以花了一些時間來做各種比較操弄，以嘗試驗證究竟難以下沉係來自IC的單眼重疊線索效應，還是來自背景中文字的影響？
大體上難以下沉係來自單眼重疊線索阻擋之故；中文字的影響可能是因為雙眼配對後形成穩定的融合圖形，有助於在給予正像差後上浮，若將IC作到雙眼難以融合的背景上(亦即將左右兩眼的背景中文，設計為能互補融合或難以互補融合)， IC將很難上浮。因此，高階因素可能介入以像差為主的低階立體視覺中，如主觀的單眼重疊線索，與雙眼背景是否可融合成有意義的圖形這類高階因素，都會影響由雙眼像差驅動為主的浮沉結果。這些結果不見得與中文特性有何重大關聯，但利用中文字來當為模式工具，以探討IC在立體視覺下的各種反應，有其概念及實驗上的可操弄特性，對這一系列研究產生很大助益**。
--------------------------------------------------------------------
**von der Heydt, R., Peterhans, E., & Baumgartner, G. (1984). Illusory contours and cortical neuron responses. Science, 224, 1260-1262.
Huang, J. T., Tang, DL., Lin, L., & Yuan, J. C. (2012). The effect of Chinese character background on the formation of illusory contour in depth. Nagoya University: ICPEAL.
(總結雙眼像差與單眼重疊線索之互動證據，討論將錯覺輪廓置放在中文字或隨機圖形之上之下，操作正負像差後所表現出來的3D行為。)
--------------------------------------------------------------------
2. 立體視覺基本定理與知覺互動測試
立體知覺基本定理之測試
我們在1983-2000年期間，做了不少立體視覺研究，並測試David Marr在1982年經典著作Vision書中，所彙總之計算視覺理論，亦即「空間對應假設」及「立體視覺基本假設」，以及可供電腦模擬用的「合作算則」。先有櫻井正二郎、黃淑麗、林麗明等人參與立體視覺基本定理測試，之後利用合作算則做出台灣第一例RDS解構，偵測出其所具有的深度結構及圖形。
假目標問題與雙眼配對機制
當外界物體分別在左眼及右眼網膜上投影，雙眼網膜影像會互相配對，融合成穩定影像，但兩邊應如何配對？若配錯則雙眼會互相競爭，就無法融合出穩定影像，或者融合出與外界物體不一樣的物體(如本為水平橫列四個籃球，變成縱深排列)，這就是「假目標問題」(false-target problem)。是否有什麼限制條件，讓這類錯誤不會發生？
Marr提出正確的雙眼配對，須遵循三項空間對應限制條件：(1)相容性(compatibility)：黑點祇配黑點(左眼影像中黑點不能配到右眼影像中白點)；(2)唯一性(uniqueness)：一點配一點(左眼影像中一個黑點不能同時配上右眼兩個黑點)；(3)連續性(continuity)：配對之像差幾乎在影像上任何地方，除了少數光強度有急遽變化邊界外，皆屬平滑地變化。這套限制條件，稱為「雙眼配對之空間對應假設」。
Marr依此提出「立體視覺基本假設」(Fundamental Assumption of Stereopsis)：「若由具有充分訊息之外界物件左右影像中，抽取出富含物理意義的基本元素並建立對應關係，且該對應滿足上述三個配對限制條件，則它就是物理上正確(physically correct)之對應。」
在該套理論中，立體視覺的存在性來自「雙眼配對之空間對應假設，唯一性則來自「立體視覺基本假設」，但在此架構下發展出來的計算視覺模式，很難考量高階互動效應。附錄圖3是單眼看不出形狀，內藏幾何結構的隨機點立體圖(random-dot stereogram, RDS；人若用雙眼分看左右圖形，融合後會看到小正方形浮出)，Marr利用上述假設，設計出合作算則(cooperative algorithm)，將左右眼影像分別輸入電腦，可以得出與人類立體視覺相同的模擬結果。
附錄圖3 Bela Julesz (1960)的隨機點立體圖(RDS)
《左眼看左圖，右眼看中間圖，融合後可得右圖》
1980年以後可成功模擬出立體視覺的計算理論，除了特定合作算則之外，至少尚有另外五種之多，櫻井另以符合內在神經歷程方式，模擬出人類初期雙眼立體視覺過程。他不採用Marr所提零交叉(zero crossing，這是一種經過計算的邊界亮度變化線索)，而改用不同方位線段，當為配對元素(依此設計出來的隨機點圖稱為隨機線立體圖，RDL)。接著製作三個不同空間頻率濾波後的模組，再以兩類不同的眼動功能(輻向眼動找像差、協調眼動尋找水平方向的配對)，設定計算模組做實際立體模擬，成功解出單眼不可見RDS及RDL，與單眼可見圖形(控制比較組)之內在幾何結構。如上以不同眼動模組擷取影像像差，善用方位訊息，加以統整，而解構出潛藏內容。該一作法應為當時首例(Sakurai & Huang, 1993)。
在進行該一演算之前，袁之琦與櫻井已先後發現，在隨機線立體圖中若邊界之方位像差過大，則不易得到雙眼融合的3D知覺，故邊界方位可能也是初期視覺消息處理的元素，而該項處理應在V1 (已存在有方位柱，orientation column)之後。
由此發現縱使在純低階運作的電腦算則上，也有不少「彈性」作法，分頭並進做出正確辨識。若提高層次到人類視覺的實際辨識，則應有更大彈性才對，不必受限於為機器視覺所設定的立體視覺三大假設。
站在人類視覺立場，還有不少須進一步測試之處，如探討合作算則中三項網膜影像配對限制條件之合理性，重點放在「相容性」之測試。因為「唯一性」與「連續性」該二限制條件，尚屬符合人類知覺之運作，但「相容性」條件看起來限制過多，並不符人類知覺所應具有之彈性。
「相容性」限制條件的測試
如附錄圖4所示，將兩張不重疊且互補圖形，其中一張投射給左眼，另一張投射到右眼，在單眼無法辨識或難以辨識情況下，雙眼分離呈現後仍可成功融合出穩定影像，也能藉由融合後影像辨識出漢字。惟少數幾次嘗試中有參與者雖然成功融合出穩定影像，但仍無法由融合後的影像辨識出該漢字為何。相對於控制組(採用隨機圖形當為材料)，漢字被辨識出來的機會均遠高於控制組。換言之，雙眼融合過程不僅靠由下而上純視覺神經歷程，也需要漢字知識等認知歷程之介入。
附錄圖4 無重疊互補呈現之漢字
綜合而言，當兩眼影像不相容時，確會造成處理速度變慢並降低辨認正確率，但並不會完全阻斷雙眼融合後之正確辨認。當分解成兩半，無法做出單眼辨識時(如附錄圖4b，「懿」；就像隨機點立體圖一樣)，仍可能在雙眼融合後成功辨識，依實驗字本身字頻不同，該一成功比率在17-44%之間；若單眼辨識性較高(如附錄圖4a，「窯」)，融合後成功辨識比率在67-78%之間。若將附錄圖4a、4b給予像差，讓兩眼圖分處不同深度平面，發現亦可跨深度平面融合，做出成功辨識。這些結果都比採用24邊隨機圖形當材料時，要來得好，顯見有高階影響因素在運作。由此看來，「相容性」配對限制條件，尚難以涵蓋雙眼配對上所具有之彈性，高階因素也可能介入互動。
我們另在RDS雙眼圖左右眼對應處，將其內容分別以不同空間頻率呈現，以了解配對相容性之影響。黃淑麗發現在兩眼空間頻率不符合情況下，仍可形成雙眼融合而產生立體視覺，只是處理速度較慢而已，因此配對相容性不符，並未能完全阻斷雙眼融合之產生。
最主要原因應該是立體視覺基本假設，與發展出來之合作算則，雖已儘量模擬人類視覺表現，但其算則以成功做機器辨認為目標，重點是要依據三個假設，做出「物理上正確對應」的立體視覺，不一定需要處處符合人類視覺運作方式，故不必將知覺彈性及高階效應考量在內。
因此，我們這些實驗結果，雖然特殊也算有趣，但理論上應無令人訝異之處，因為計算視覺的剛性運算過程，並未能真正考量到人類知覺彈性。
單眼線索與雙眼像差的拮抗與高低階互動機制
從高階與低階互動角度，可再以「立體雙穩圖形」，說明單眼線索與雙眼像差拮抗過程，以及可能變化。
袁之琦曾在1992年，發現單眼邊界線索能加速雙眼影像之配對，該結果可能係因為有了邊界線索後，可以省掉在一般隨機點立體圖配對上所花定位（alignment）時間之故。立體雙穩圖形則提供了更多深度判斷中，高階歷程涉入之證據。
先在RDS上製作一種具有雙穩(bistable)圖形效果的立體對（如附錄圖5），正像差白色圓環可被看成浮出的平面圓盤，亦可看成在立體空間一直連接到零像差平面之立體圓錐。本實驗操弄單眼黑環內徑大小，以操弄環內可明確配對之點數，並要求受試者判斷黑環內隨機點所在之深度平面。若深度感純依像差訊息運作而定，則當單眼黑環內徑愈大時，環內可明確配對點數愈多，受試者應傾向於判斷原本具零像差特性的黑環內隨機點，會停留在零像差平面，不管他看到的白環是平面圓盤或立體圓錐；反之，當黑環內徑愈小，環內可明確配對點數愈少，則會傾向於判斷環內隨機點，被攫取至與圓盤或立體圓錐一端相同之像差平面。
若深度判斷可受形狀(單眼線索)調節，則當白環被視為平面圓環時，對黑環內隨機點所在平面之深度判斷，可能與看成立體圓錐時，有所不同。實驗結果支持形狀感覺與像差訊息之間有交互作用。當黑環內徑趨大，且看成白色圓盤時，環內隨機點有時會被攫取到正像差平面或圓環上方；但當雙穩現象發生，白環被轉看成立體圓錐時，立體攫取便不易發生，同樣的黑環內隨機點(亦即像差訊息相同)，很清楚都會停留在零像差平面。反之當黑環內徑趨小時，環內隨機點能配對成功比率降低，不管看成圓盤或圓錐，環內隨機點皆被攫取到正像差平面。因此，立體形狀之變化與像差訊息明確度之間，確有交互作用存在，也表示像差計算僅僅是深度判斷中，一種必要的前處理（preprocessing）而已。
附錄圖5 立體雙穩圖形
(唐大崙與黃榮村，1994)
依據計算理論觀點，可明確配對點數愈多，則在雙眼呈現作業下所做深度判斷愈一致，且愈被像差訊息所決定。在上述以像差為主的深度判斷中，卻經常可看到高階效應。該結果值得進一步討論之處在於，當像差訊息不明確時，會受周圍像差值內挿之影響，符合計算理論看法；但當像差訊息轉趨明確時，會在雙穩現象發生時，受到立體形狀變化影響，該結果顯然非計算理論所能解釋，可能涉及高階歷程。形狀對深度判斷的影響，應發生在像差計算之後，因為像差計算以在視覺V1與V2區進行為主，而靜態形狀之處理則在下顳葉區（inferotemporal lobe），故形狀對深度判斷之影響，應已有高階效應介入調 節。
3. 文字與物體的知覺互動測試
前述係在立體視覺基礎上，探討知覺互動可能機制，底下將此邏輯應用到文字與物體知覺上，這是一個更大研究領域，有很多未知且值得注意議題。
A. 中文部件知覺可分離性與漢字聯想依時性可分離假說
由於文字整體結構與組成部件之間的組織或關係，在某些情況下會被削弱，而產生諸如中文部件「知覺可分離性」(perceptual separability)這類現象。我在1984年發現，中文閱讀者在念字時，可能把一個合體字讀成其組成部件，這類知覺分離現象比較會出現在文義脈絡(semantic context)低(文義脈絡：單字<詞<句子)，或字頻低的情況下，在錯覺組合及部件偵測實驗中，也出現部件知覺分離現象 (Huang & Wang, 1992)。如下列對中文單字之各種不同拆解方式(為加速分離，可以將水平字左右成分之間的空隙稍微加大)：
「好→女+子」、
「時→日+寺→士+寸」、
「精→米+青」
若將這些容易分離的字，以單字呈現(好)、放在雙字詞中(好多)、放入句子(好多水果)，將由於長短不同文義脈絡產生由上往下的不同大小約束效應，以阻止分離，實驗結果發現以單字呈現時，知覺分離現象約比放在雙字詞及短句，多出4倍。但若雙字詞文義脈絡品質不良或模糊，則有助於知覺分離，相對於正常呈現的文義脈絡，知覺分離率高出9倍之多。這些結果都反映了一種由下往上與由上往下知覺互動過程。
同樣現象也發生在中文詞聯想上。以「教派」及「市場」為例，「教派」在一百萬個字詞統計中，只出現一次，但「教」出現1225次，「派」出現328次，所以若要求受試者對「教派」做聯想反應時，很快會將該雙字詞解離，而分別對「教」與「派」個別做聯想，若聯想時間夠長，雙字詞解離做個別單字聯想可能性愈高，而且先對第一個組成字做聯想，若還有時間就對第二個字再做聯想；但對「市場」做聯想，則反是，因為該雙字詞是一個詞頻高整合性高的功能單位，比較不會被解離成單字再做聯想。
我將此稱為「中文詞聯想依時性可分離假設」，這是一種與中文單字「知覺可分離性」相似之認知現象，將兩者合看，可發現在單字及雙字詞中，都有知覺與認知解離的過程。
B. 視覺觸覺化後之黏合機制與觸覺模式下的字詞辨識
上面是談漢字從整字如何分解為部分，現在反過來看看如何從部分組合成整字。我在1986年做過一個實驗，將整個漢字，依序拆解出難以辨識且無法發音的筆劃部件，觀察受試者如何做視覺黏合，如附錄圖6。實驗分成1、2、4、8a、8b，亦即整字(1)、兩個部件(2)、四個部件(4)、八個部件(8a與8b)，之後將各個部件，依原字相對位置，黏貼在紙板上，亦即假若紙板是透明的，則疊起來放在一起，可以看到原字。之後將每個黏有部件紙板混合隨機呈現，讓受試者一張一張翻閱，並回答這是什麼字。八個部件呈現方式若是與上相同，亦採隨機混合一張張呈現，稱為8a，八個部件若非隨機混合呈現，而是依照原字筆劃順序呈現，則稱為8b。
這是一種將視覺圖形觸覺化之呈現方式，若將這些部件做成點字版，讓受試者用觸摸方式來辨識，將會是一個有趣的比較研究。
附錄圖6 漢字拆解成部件後的辨識
實驗結果很清楚，如下所示：
(1) 平均錯誤率：0% (1,整字出現)、4.7% (2,分成兩個部件，隨機先後呈現)、11% (4,分成四個部件，隨機先後呈現)、30.6% (8a,分成八個部件，隨機先後呈現)、11.5% (8b,分成八個部件，但依筆劃序先後呈現)。
(2) 平均正確辨識時間：立刻(1)、4秒(2)、8秒(4)、60秒(8a)、36秒(8b)。
卓淑玲與我在1986年，接著做了一個類似實驗：(1) 依筆畫順序在相對位置先後連續呈現；(2) 將所有筆劃分成四個部分，每一部分中筆劃依筆順排列，之後隨機呈現這四個部分；(3) 將漢字在空間上切成四個象限，之後隨機呈現這四個象限。這三個實驗條件材料，都在電腦螢幕上呈現。
實驗結果也很清楚，大約如下：
(1) 平均錯誤率：29% (1)、30% (2)、47% (3)。
(2) 平均正確辨識時間：12.74秒(1)、38.24秒(2)、33.34秒(3)。
若改以壓克力雕出漢字黏在紙板上，就像點字版一般，明眼人不如後天失明者甚多，常常難以辨識出這是什麼漢字。當明眼人將摸到結果描繪在紙上，旁觀者已認出是什麼字時，受試者可能因為不習慣用觸覺方式認字，不容易從觸覺部件描繪中，整合出字的感覺或意識經驗，以致無法清楚意識到這個字為何，有時透過用手模擬描繪部件在空中比劃，才猛然醒覺應為何字。或者實驗者給予一個與該字相關的高聯想字，也可幫助受試者辨認出該字來。
黃明宏與我在1981/1985年，利用將B-G圖形觸覺化方式，發現可以讓識覺失調症患者原有的視覺扭曲，回歸正常，這也是一個視觸覺轉化的相關實驗，可參閱本書「任教台大」一章「懷念大學時代已逝的師友學生」一節。
那段前後幾年時間，我們做了不少這類視觸覺轉換研究，其中一個共同地方，就是將視覺呈現改為觸覺(或模擬觸覺化)方式後，針對同一內容，由同時性處理的視覺，轉換為序列性處理的觸覺，因此剛開始都無法自在輕易地做出深入理解，亦即處理水準(level of processing)不足，以致正確性下降辨識時間延長。
視觸轉換中處理水準不足，也會讓受試者在短時間內，不易抓到整字意識經驗，而難以從所提供之充分部件訊息中，獲致整字辨識。但是視觸覺轉換機制，也有一個特性，就是能讓視覺扭曲現象，經過觸覺化而得以轉正。這些都是滿有意思的結果。
C. 物體複雜度與U型曲線
有一種風行理論「利用物體成分做辨識」(recognition by components, RBC)，認為一般常見自然物體（約有三萬餘件），皆可切割為不受觀測者不同觀點影響的共通幾何子(geons)予以組成，這些基本幾何子數目在24-36個左右，人類物體辨識即基於對這些幾何子及其關係之辨認 (Biederman, 1987)**。
但RBC模式並無法處理類似幾何子診斷性(geon diagnosticity，如兔子耳朵在組成兔子的幾何子中具有較高之診斷性)與物體結構診斷性(structural diagnosticity)問題。就前者而言，RBC模式雖然在實驗安排上，可能已有意迴避且選取不具診斷性的幾何子，來說明一般物體辨識祇需三個左右幾何子(three-geon principle)即可，但RBC模式在理念上並不認為，不同幾何子會因具有不同診斷度，而有不同辨識能力。至於後者，則RBC模式認為幾何子愈多物體愈具消息處理上的冗餘性獲得(redundancy gain)，處理速度愈快，所以不會承認物體辨識速度會因幾何子數目之增加，而呈U形變化。但我們在一系列論文中，皆證實確有上述兩種情形存在。
我們操弄2-15個幾何子物體圖形(附錄圖7)，一般而言幾何子數在4-9個時，越多越有幫助。劉世南與汪曼穎，陸續得出一個物體複雜度U型曲線(附錄圖8；Huang, Wang, & Liou, 1992)，實測值大約與模式預測值走向一致。
附錄圖7 物體的幾何結構及其切割
附錄圖8 不同複雜度圖形的U型辨識曲線
(Huang, Wang, & Liou, 1992)
汪曼穎1993年利用物體診斷度概念，更進一步指出該反應時間U型曲線，主要發生在一些物體總體結構具有高診斷性物體圖形之辨認上，至於低診斷性物體則在辨識錯誤率上，出現U型效應。這些都是RBC模式所無法解釋的(Wang & Huang , 2002)。
有一種常見數學模式，考量有推拉兩種力量在互動，推是往前，拉是往後，就像一個輪子，在一推一拉之間，開始移動開始展開，往下降之後往上爬，就像此處的U型曲線。這是典型一階微分方程式(first-order differential equation)，有兩個獨立存在但又能夠互動(一推一拉)元素，放入方程式求解後，會跑出一個二次成分(quadratic component)，就像一條二次曲線，下了又上，也就是所謂U型曲線。我們嘗試用這種模式，來預測U型曲線如何產生。
我將以上這整個複雜度效應結果，說明給劉英茂老師聽了以後，他馬上說這是一個新的結果。
D. 筆劃複雜度與U型曲線
現在回到文字辨識情境。每個字有不同筆劃數(因之有不同複雜度)，這是一種結構特性，在複雜度與認知容量限制條件下，會以不同方式尋找足以辨識整體之特徵成分(在此就是筆劃)。合理假設當筆劃數少時，不容易一下子找到足夠多可供辨識整字的特徵成分，所以每多一個筆劃訊息，就能增加冗餘性，有助於產生辨識的總體特徵屬性，這是一種拉拔力量；但若筆劃數變多(複雜度增加)，超過關鍵值時，過度增加的筆劃，反而阻礙了選出具有辨識力特徵成分，而干擾到字的辨識速度。只有在筆劃數恰當時，最容易找足最小有效成分組合。
依此，從辨識閾角度來看，若橫坐標為筆劃數縱座標為辨識時間，筆劃數少時每多一個就多一個推動力量，筆劃數超過有效範圍時，反而多一個就多一個往下拉的力量。在這兩種推拉力量互動之下，依上述模式便可得到一條U型曲線。
雖然中文字基本結構成分，不像以幾何子當為物體基本結構成分這麼清楚，但物體結構複雜度U型曲線，似可用在中文複雜度(依筆劃多少定義)了解上。劉英茂老師與葉重新在50多年前，曾想了解漢字複雜度效應，他們發現字筆劃數越多(筆劃數從7.33到18.88)，辨識閾限越高(Yeh & Liu, 1972)**。但在Hue (胡志偉) & Erickson (1988)**實驗中，若聚焦在可以被獨立處理與可容易發音的文字單位，亦即高頻部首或偏旁(radical)，(亦可視為具有不同筆劃複雜度中文單字，選出的平均筆劃數從2.62 到 6.92)，卻是在筆劃數高時，在事後回憶時有較好表現，與RBC主張的一般物體辨識複雜度效應相似。這是兩個互相矛盾的漢字辨識結果，前者好像是說筆劃數越少時，越能衍生出具有特徵可供辨識的成分；後者則是在說當筆劃數越多時，越具有可辨識性。
但這種矛盾性，並非不可化解。若將我們物體辨識實驗結果U型曲線，改用到中文筆劃數實驗上，並將最低點(辨識時間最短或表現最好)設在筆劃數7左右(大約也是附錄圖8曲線底部)，則上述兩個看起來矛盾的實驗結果，可說是分屬U型曲線兩端，因此也許可算解決了一件中文筆劃數效應公案。
--------------------------------------------------------------------
** Biederman, I. (1987). Recognition by components. Psychological Review, 94, 115-147.
Yeh, J. S., & Liu, I. M. (1972). Factors affecting recognition thresholds of Chinese characters. Acta Psychologica Taiwanica, 14, 113-117.
Hue, C. W., & Erickson, J. R. (1988). Short-term memory for Chinese characters and radicals.
Memory & Cognition, 16(3), 196-205.
--------------------------------------------------------------------
我們從立體知覺的網膜配對測試開始，開始擴及到單眼線索與雙眼像差之拮抗，以及高低階互動機制，探討IC的3D行為與立體雙穩圖形，如何呈現出知覺互動現象，並在文字與物體知覺實驗中，觀察這類有趣互動現象。
在後續系統性研究中，黃淑麗、孫慶文、袁之琦、唐大崙、賴惠德等人，參與了神經網路的字詞辨識、不同統計結構下之質地介面、盲點填補與像差擴散機制、錯覺顏色、錯覺組合等類問題，吳昭容、楊文進等人，則參與字詞筆畫差異分析、眼音廣度等類文字知覺研究。
綜合而言，已完成研究主要包括兩大項，一為中文字詞辨識，另一為立體視覺與視覺系統的知覺互動機制，大約已在前面選擇性做了一些簡要描述。
我在53歲辭台大教職以前，與研究生們分別將這些結果，發表在台北、香港、北京、新南威爾斯、名古屋等地舉辦的中國語文認知研討會與ICPEAL(東亞語文研討會)，以及國際認知科學會議(ICCS)。還有在美國舉辦的視覺會議(IOVS)、在牛津大學等地舉辦的歐洲視知覺會議(ECVP)、在比利時由國際心理聯盟(IUPsyS)舉辦之國際心理學大會(ICP)等場所。另外有多篇跨域發表在由台大電機系、電腦視覺學會、與中研院統計所舉辦會議中，葉文綺、吳幸宜、及蔡秋月等幾位研究生都參與了這些盛會。
上述這些首發性研究，大部分都在兩篇總結性評論文章「立體視覺之低階運算與高階調控」(黃榮村、唐大崙、袁之琦、黃淑麗、櫻井正二郎，2011)，以及 "From unit to gestalt: Perceptual dynamics in recognizing Chinese characters" (Huang & Wang, 1992)中，做了大要說明。
撰寫總結性的評論文章
回頭來看這些研究內容，有很多都是優秀學生們與我合作的創意，而且都真正做出來，分別以不同形式發表，但在過去那種環境下，沒來得及好好整理出有系統的英文論文發表，所以後來寫了幾篇總結性評論論文**，來彌補過去之不足。由於這些實驗很多是首發性研究，裡面仍有些未能完整揭露其相關機制，或未完成測試建立模式之處，仍待進一步處理。
--------------------------------------------------------------------
** 1. Huang, J.T., & Wang, M.Y. (1992). From unit to gestalt: Perceptual dynamics in recognizing Chinese characters. In H. C. Chen & O. J. L. Tzeng (Eds.), Language processing in Chinese, 3-35. Amsterdam: North-Holland. (Also appeared in Advances in Psychology, 90 (C), pp. 3-35. (與汪曼穎合著，綜論以前我與研究生們在漢字知覺研究上之一系列結果。)
2. Huang, J. T., Wang, M. Y., & Liou, S. N. (1992). Component diagnosticity and pattern complexity in object recognition. Paper presented at the 25th International Congress of Psychology, Brussels. (首次提出物體複雜度效應U型曲線，並檢討RBC模式之適用性。)
3. Sakurai, S., & Huang, J. T. (1993). A stereo-finding algorithm based on an eye-movement-driven
disparity tuning strategy. Paper presented at the 10th Conference of the Japanese Association of Cognitive Science, Tokyo. (櫻井在簡單細胞層次上，以眼動計算模組首次成功解出單眼不可見RDS，與單眼可見圖形控制組的內在幾何結構。)
4. Chang, H. W., Huang, J. T., Hue, C.W. & Tzeng, O. J. L. (Eds.) (1994). Advances in the study of Chinese language processing, Vol. 1. Taipei: National Taiwan University. (擔任台大心理系主任時，舉辦中文認知層面研究國際會議後出版論文集。)
5. Huang, J.T. (1995). Visual perception in Chinese people. In M.H. Bond (Ed.), Handbook of Chinese Psychology, 15-29. Hong Kong: Oxford University Press. (綜論華人視知覺行為之相關議題。)
6. 黃榮村 (1995)。邊界、輪廓、與物體辨識。華人心理學家學術研討會會議論文，台北市：台大心理學系暨研究所。 (綜論在物體辨識及錯覺輪廓研究上之一系列實驗發現)
7. Wang, M. Y., & Huang, J. T. (2002). The effect of global diagnosticity and complexity on object recognition. Chinese Journal of Psychology, 44(2), 189-210. (提出物體辨識中複雜度效應與U型曲線，以及RBC模式難以處理的物體整體診斷性效應。)
8. Huang, J.T. (2006). Level effect of content consciousness: A re-examination. Invited speech at the Workshop on Brain and Cognition, January 16-20, National Taiwan University, Taipei, Taiwan. (總結明眼人與後天盲人在觸覺模式下辨識中文字詞之不同表現，以及精神病人在視覺及觸覺模式下辨識圖形，產生不同程度知覺扭曲結果，並說明係來自對內容意識訊息處理水準有所不同之故。由於對明眼人而言觸覺並非熟悉之輸入方式，對內容意識上屬於淺層訊息處理，故可能因此減少病人的知覺扭曲，一般人在摸完觸覺字後於紙上描繪若干片段訊息，經過一段時間後，才意識到原來是哪一個字。)
9. Huang, J. T., Tang, DL., Lin, L., & Yuan, J. C. (2012). The Effect of Chinese Character Background on the Formation of Illusory Contour in Depth. Nagoya University: ICPEAL. (與唐大崙、林麗明、及袁之琦合著，總結雙眼像差與單眼重疊線索之互動證據，討論將錯覺輪廓置放在中文字或隨機圖形之上之下，操作正負像差後所表現出來的3D行為，尤其是當IC置放在中文字之上時，只能透過像差上升但無法下沉。)
10. 黃榮村、唐大崙、袁之琦、黃淑麗、櫻井正二郎 (2011)。立體視覺之低階運算與高階調控。中華心理學刊，53卷，1期，1-20。(綜論立體視覺研究上低階與高階互動之一系列實驗驗證)
11. 黃榮村 (2013)。從條件化歷程到條件式推理。中華心理學刊，55卷，3期，245-253。(回顧碩博士論文與條件化理論及認知心理學因時代變化，而產生的辯證關係及互動觀點。)
12. 汪曼穎、葉怡玉、黃榮村 (2013)。台灣認知心理學的應用：從認知研究到科技脈絡裡的人性化設計。中華心理學刊，55卷，3期，381-404。(包括在航空心理學及環境聲學的一些結果與應用)
13. 黃榮村、櫻井正二郎、汪曼穎 (2019)。台灣實驗認知心理學發展選論：以台大心理學系為框架。中華心理學刊，61卷，4期，295-318。(包括討論台大心理系在漢語認知、漢字知覺、視知覺、決策行為研究)
--------------------------------------------------------------------
4. 知覺研究的系統性擴展
人類決策過去一向以理性計算為依歸，因為可在不同選項中找出利益極大值與損失最小值，至於情緒一般被視為與理性極大化計算無關，或甚至成為負面黑暗力量，如1930年代大蕭條與2008年世界金融危機。但達瑪席歐(Antonio Damasio)反其道而行，提出顛覆性看法，在其「笛卡兒的錯誤」(Descartes’ Error)一書中(Damasio, 1994)**，提出「軀體標記假說」(somatic marker hypothesis, SMH)，主張情緒感知係驅動心智運作之首要力量，尤其是在不確定狀態下，其運作影響係透過無意識方式進行。
達瑪席歐等人接著於1994及1997年設計愛荷華賭局作業(Iowa Gambling Task, IGT)**，當為檢驗SMH之關鍵工具，作業中有A、B、C、D四疊牌，各疊中每張牌有一個輸贏值，每疊牌有一個期望值，假設A與B的期望值總體而言為負值(壞牌)，C及D為正值(好牌)，讓受試者玩一百次，每次在四疊牌中選出其中一疊牌。因為事先不知哪一疊是好牌或壞牌，須先以嘗試錯誤方式進行。找了兩批人，一組為正常人，一組為情緒功能受損的腹內側前額葉(ventromedial prefrontal cortex, vmPFC)受損病人，發現前者會慢慢選向好牌，由其膚電反應(SCR)，發現受試者似乎能利用這類與情緒有關之軀體標記(somatic markers)，在無意識中引導趨吉避凶，慢慢在此過程中獲得直覺(hunch)，累積計算，找到正期望值牌組。
研究者以皮膚電阻降低(如流汗或焦慮時)當為指標，說明正常健康人應可發展出無意識性直覺，而做出成功決策。但後者病人組，因為無法產生軀體標記警告訊號，亦即沒有敏感的膚電反應來趨吉避凶，無法發展出無意識直覺，因此只能依賴眼前短期輸贏，傾向選擇其實是負期望值的牌組。
達瑪席歐等人認為在不確定複雜世界中，單靠理性不足以解決問題，因此提出「軀體標記假說」以及IGT賭局作業，說明「情緒」如何以無意識方式正向協助決策者趨吉避凶，並主導其與「理性」之間的分工整合。亦即若情緒運作失衡(如腹內側前額葉vmPFC異常或受損病人)，則無法透過軀體標記(如膚電反應SCR)來協助理性尋找計算出平均值，以致無法找到極大化其利益的牌局選項。
--------------------------------------------------------------------
** Damasio, A. R. (1994). Descartes’ error. New York: Penguin Putnam.
Bechara, A., Damasio, A. R., Damasio, H., & Anderson, S. W. (1994). Insensitivity of future consequences following damage to human prefrontal cortex. Cognition, 50, 7-15.
Bechara, A., Damasio, H., Tranel, D., & Damasio, A. R. (1997). Deciding advantageously before knowing the advantageous strategy. Science, 275, 1293-1295.
--------------------------------------------------------------------
「軀體標記假說」以及IGT測試結果，其實與行為決策學之預期不符，邱耀初與林錦宏認為就行為決策學而言，人在動態不確定決策情境中，若無具體資訊當參考，應難只靠所謂軀體標記的幫助，而自動趨吉避凶的，人會受到輸贏當下情緒所左右，不易就實際選擇結果累計做計算，以致難以意識到並擷取出賭局內部知識結構，來有效發展出符合理性的策略。亦即一般人只能依據短期輸贏頻率選牌，無法採取極大化策略而做出有遠見理性決策，
而且IGT有其內在實驗結構問題，難以當為支持 SMH 之骨幹實驗，因此設計了另外一種SGT作業，以區分出正常受試者究竟是否真可依平均值大小找出好牌組，結果發現甚至連正常人都只能依據短期輸贏頻率選牌，無法採取極大化策略而做出有遠見理性決策，該一結果顯示SMH理論所預測，認為正常人因有良好軀體標記，能夠協助趨吉避凶，而做出理性計算與選擇之說法，並不正確(Chiu et al., 2008; Lin et al., 2009)。我們綜合評論過去IGT實驗，在牌組選擇實驗結果上所出現的計算問題，並另行計算彙總文獻上所呈現之奇異B牌效應(prominent deck-B effect，指正常人反而偏好選擇壞牌B)，來說明SMH及IGT在決策選擇行為上，若干預測錯誤或無法解釋之處(Chiu et al., 2012)。
邱耀初與林錦宏強烈認為在模糊不確定情境下玩賭局，根本難以好好算出平均值來當為決策依據，而係受到賭局結構中輸贏頻率影響。我比較受到互動觀點影響，認為受試者在模糊情境下糊塗混亂一時，剛開始確實會受到輸贏頻率短期影響，但隨著時間過去，若主動找到資訊愈多或提供更多賭局資訊時，受試者會慢慢找出平均長期趨勢，來當為決策依據。這個想法將不確定性消減(uncertainty reduction)概念放進來，當決策情境從模糊不清(decision under ambiguity，缺乏機率及後果之相關訊息)，經過適應、學習、或給予資訊下，轉軌到風險下做決策(decision under risk，有機率及後果之訊息)時，整個訊息處理及計算方式是會改變的，亦即會從被動性短視作風，開始主動蒐集資料，若不確定性消減效應發生，則局中決策者，應可朝平均趨勢方向，做出合乎一般所認知之理性行為出來。這些不同想法及設計，需要一些時間測試，目前邱耀初他們的短視觀點與驗證稍占上風，但我還未認輸，所以合作仍在進行中。
這些想法及論文終於引起國際同行注意，並納為可否證(falsifiable)之對立模式，因此花了幾年時間在期刊上當客座主編，之後結集出版兩本專書**，第三輯則仍在進行中。
--------------------------------------------------------------------
**1. Chiu, Y. C., Lin, C. H., Huang, J. T., Lin, S., Lee, P.L., & Hsieh, J. C. (2008). Immediate gain is long-term loss: Are there foresighted decision makers in the Iowa Gambling Task? Behavioral and Brain Functions, 4(13), 1-10.
2. Chiu, Y.C., Lin, C. H., & Huang, J. T. (2012). Prominent deck B phenomenon: Are decision-makers sensitive to long-term outcome in the Iowa Gambling Task? In A. E. Cavanna (Ed.), Psychology of Gambling: New Research, Chapter 7, p. 93-118. New York: Nova.
3. Lin, C. H., Chiu, Y. C., & Huang, J. T. (2009). Gain-loss frequency and final outcome in the Soochow Gambling Task: A reassessment. Behavioral and Brain Functions, 5(45), 1-9.
4. Huang, J. T., Chiu, Y. C., Lin, C. H., & Duann, J. R. (Eds.) (2018). Twenty years after the Iowa Gambling Task: Rationality, emotion, and decision-making. Lausanne: Frontiers Media. (收錄24篇已審查發表論文)
5. Chiu, Y. C., Lin, C. H., & Huang, J. T. (Eds.) (2022). Iowa Gambling Task, Somatic Marker Hypothesis, and Neuroeconomics: Rationality and Emotion in Decision under Uncertainty.
Lausanne: Frontiers Media. (收錄18篇已審查發表論文)
--------------------------------------------------------------------
綜上，我已在本書正文簡略說明，何以對心智問題研究採取互動觀點，並在附錄一與附錄二中，就人類知覺與決策選擇行為，作選擇性之摘要概述，尚無法涵蓋以前與研究生一起努力之課題及成果，僅只鳥瞰式說些沿路上的好風景。希望有志之士，能在這條路或其他新開拓路上，找出更多有趣之重要發現，讓過去研究與我們曾經的努力，都可以成為他/她們亮麗論述中的註腳，固所願也。
5. 決策行為的短視與遠見以及認知互動觀點