可擴展的數據管理：在大型電子商務目錄中保持屬性值的一致性

在電子商務業務中，技術討論常常聚焦於分散式搜尋系統、即時庫存管理或結帳優化等主題。然而，一個經常被低估但具有系統性的重要問題卻隱藏在表面之下：如何可靠地管理與標準化數百萬個SKU的產品屬性。

隱藏的問題：現實中的屬性混亂

屬性是產品發現的基礎。它們控制篩選功能、產品比較、搜尋排名演算法與推薦系統。然而，在實際的產品目錄中，這些值很少具有結構化與一致性。一個簡單的例子：屬性「尺寸」在某個資料集中可能是[“XL”, “Small”, “12cm”, “Large”, “M”, “S”]，而「顏色」則可能是[“RAL 3020”, “Crimson”, “Red”, “Dark Red”]。

孤立來看，這些不一致似乎微不足道。但當這些問題擴展到超過3百萬個SKU，每個SKU擁有數十個屬性時，就會形成一個關鍵的系統性問題。篩選器變得不可預測，搜尋引擎的相關性下降，用戶導航也變得越來越令人沮喪。對於大型電子商務平台的運營者來說，手動清理這些屬性值幾乎是一場操作上的噩夢。

混合式方法：用限制的AI而非黑箱系統

挑戰在於建立一個可解釋、可預測、可擴展且人類可控的系統。關鍵不在於一個難以理解的AI黑箱，而在於一個結合了語言大型模型(LLMs)與確定性規則與控制機制的混合流程。

這個概念結合了智能的語境思考與清晰、可追蹤的規則。系統在必要時能智能行動，但始終保持可預測與可控。

架構決策：離線處理而非即時

所有屬性處理都不是在即時中完成，而是透過非同步背景作業進行。這不是妥協，而是有意的架構決策：

即時管線會導致不可預測的延遲、脆弱的依賴、計算高峰與運營不穩定。而離線作業則提供：

• 高吞吐量：大量資料能在不影響線上系統的情況下處理
• 容錯性：資料處理中的錯誤不會影響用戶流量
• 成本控制：計算可以在流量較低時安排
• 系統隔離：LLM的延遲不會影響產品頁面性能
• 原子一致性：更新具有預測性且無矛盾

在處理數百萬SKU時，將面向客戶的系統與資料處理流程嚴格分離是至關重要的。

屬性處理流程：從原始資料到結構化屬性

第1階段：資料清理與正規化

在應用AI模型之前，每個資料集都經過全面的預處理。這個看似簡單的階段對後續結果的品質至關重要：

• 去除空白字符
• 移除空值
• 去重
• 簡化類別層級的語境

這個清理步驟確保LLM能獲得乾淨且明確的輸入——這是產生一致性結果的基本前提。「垃圾進，垃圾出」的原則在大規模處理中尤為重要。

第2階段：利用LLMs進行智能屬性分析

系統不僅僅是字母排序的分析，而是理解語義語境。服務端會提供：

• 已清理的屬性值
• 帶有層級結構的類別麵包屑
• 屬性類型的元資料

藉由這些語境，模型能理解，例如：

• 「電壓」在電動工具中應以數值解讀
• 「尺寸」在服裝中遵循已知的尺寸序列
• 「顏色」在某些分類中符合RAL標準
• 「材質」在硬體產品中具有語義關聯

模型會返回：排序的值、優化的屬性名稱，以及判定為確定性或語境性排序的分類。

第3階段：確定性備援以提升效率

並非所有屬性都需要AI處理。數值範圍、單位值與簡單分類可由以下方式受益：

• 更快的處理速度
• 可預測的排序
• 降低處理成本
• 完全排除歧義

流程會自動識別這些情況，並應用確定性邏輯，避免不必要的LLM調用，提升效率。

第4階段：人工標記與商家控制

雖然自動化是基礎，但商家仍需對關鍵屬性進行控制。每個類別都可以加上標籤：

• LLM_SORT：模型決定排序
• MANUAL_SORT：商家決定最終排序

這個雙重標籤系統讓人類能做出智慧決策，同時AI負責大部分工作。這也建立了信任，商家在需要時可以進行覆蓋。

資料持久化與同步

所有結果都直接存入Product-MongoDB，成為唯一的運營存儲，用於：

• 排序後的屬性值
• 優化的屬性名稱
• 類別專屬的排序標籤
• 產品相關的排序元資料

集中式資料管理方便檢查、覆蓋與重新處理類別。

與搜尋系統的整合

排序完成後，標準化的屬性值會同步到搜尋解決方案：

• Elasticsearch：用於關鍵字搜尋
• Vespa：用於語義與向量搜尋

確保：

• 篩選器按邏輯順序呈現
• 產品頁面展示一致的屬性
• 搜尋引擎能更精確地排名
• 用戶能直觀地瀏覽類別

實務轉換：從混亂到結構

流程將混亂的原始值轉換為一致且可用的序列：

這些範例展現了語境思考與明確規則如何產生易讀、邏輯清晰的序列。

實務影響與商業成果

這套屬性管理策略的實施帶來了可衡量的成果：

• 超過3百萬SKU的屬性排序一致性
• 透過確定性備援實現數值排序預測性
• 商家持續控制，透過手動標記選項
• 更乾淨的產品頁面與更直觀的篩選
• 搜尋相關性與排名品質提升
• 用戶信任度提高與轉換率上升

這不僅是技術上的成功，也直接影響用戶體驗與商業指標。

核心結論

• 混合流程優於純AI系統，在大規模應用中，限制與控制至關重要
• 語境化提升LLM的準確性顯著
• 離線處理是不可或缺的，確保吞吐量、容錯與資源預測
• 人類覆蓋機制建立信任與操作接受度
• 資料品質是基礎：乾淨的輸入帶來可靠的AI結果

總結

屬性管理與標準化表面上看似微不足道，但在數百萬產品的規模下，卻是一個真正的工程挑戰。結合基於LLM的思考、可追蹤的規則與操作控制，能將一個隱藏但關鍵的問題轉化為可擴展、易維護的系統。這提醒我們，許多商業成功來自於解決那些看似「無聊」的問題——那些容易被忽視、卻在每個產品頁面上都會出現的問題。