章節導覽

第九章 · 當觀察者走進世界

一開始,AI只是看。

它從設備振動、溫度、電流與維修紀錄裡找規律。

後來它發現:

某一種振動模式,常常出現在軸承故障之前。

公司於是讓系統提早安排保養。

效果很好。

許多原本會發生的故障,真的沒有發生。

問題卻在幾個月後出現。

重新分析資料時,模型發現:

那種過去很危險的振動訊號,現在後面反而很少接著故障。

如果只看新資料,很容易得到一個結論:

這個振動,也許沒有以前想像中那麼危險。

但事實恰好相反。

其中一個關鍵原因,是系統看到訊號之後,安排了提前保養。單靠新的低故障率,無法判定原先的預警規律已經失效。

預測成功,反而消除了證明自己正確的結果。

圖 20|成功的預測,把自己的證據改掉了
圖 20|成功的預測,把自己的證據改掉了

因此,系統必須保留介入的時間、對象、原因與結果;評估預警效果時,也要區分接受保養和未接受保養的資料,並承認兩組可能原本就不完全相同。

這時候,《明思》的問題就不能只停在:

我看到了什麼?

還要加上:

我做過什麼?

這是。

AI根據判斷採取了行動。

接著再看:

世界因為這個行動,發生了什麼變化?

這是。

如果新的結果又進入下一輪判斷,就形成。

最後還要:

我現在看到的世界,有多少已經被我自己改過?

這四個問題一接起來,資料的意義就不同了。

我們很容易把資料想成世界留下的腳印。

但當AI開始行動之後,有些腳印其實是它自己踩出來的。

推薦系統推薦某種內容,人就更容易看到那種內容。

導航系統把大量車輛導向另一條路,下一輪交通資料也會跟著改變。

工廠系統提前調整參數,後面的品質分布也不再是原來那個製程自然會產生的結果。

於是AI不再只是站在世界外面讀資料。

它已經走進去了。

圖 21|資料裡開始混入自己的手印
圖 21|資料裡開始混入自己的手印

所以也必須跟著改。

不能只記:

結果是多少。

模型判斷什麼。

還要留下:

什麼時候介入?

為什麼介入?

介入前看到了什麼?

做了什麼?

介入後哪些結果因此沒有發生?

如果這些歷史被抹掉,下一代模型很可能把「被成功阻止的事情」,誤認成「原本就不會發生的事情」。

這種錯,資料越完整,反而可能學得越漂亮。

《莊子》裡有個很短的故事。

儵與忽覺得混沌沒有七竅,不方便看、不方便聽,便好心替它一天鑿一竅。

七日之後,混沌死了。

這個故事放到這裡,不是在說不要干預。

而是在提醒:

一個看似合理的改善,一旦進入原本運作中的系統,可能連我們用來理解它的條件也一起改掉。

所以成熟的智慧,不只要知道怎麼改變世界。

還要記得:

世界改變之後,自己的尺也可能要重新校。

AI越有能力行動,這個問題就越不能忽略。

因為它每一次成功的介入,都可能改寫下一批資料。

每一次失敗,也可能留下新的結構。

因此,一個真正成熟的AI不能只記得自己看過什麼。

它也必須記得:

自己曾經改變過什麼。

如果AI每一次理解世界,都可能同時改變世界,那麼,當它下一次說「我已經看懂了」時,它看懂的究竟是原來的世界,還是自己參與塑造之後的世界?