Edge runtime 改進

我們讓 edge runtime 更輕量且更好觀測。

效能

• Xavier 等級裝置的冷啟動時間降低 23%。
• 串流回應為聊天補全的預設輸出。

可靠性

• 低頻寬網路下加入 backpressure 控制。
• 優化暫時性儲存錯誤的重試策略。

工具

• unieai deploy --edge 會直接顯示 GPU 溫度與降頻提醒。