介紹
我們的目標是將AR技術整合到倉庫系統中，利用其作為開創性人機界面的潛力，開發了一款多用戶的設施規劃軟體，無縫結合虛擬物體與現實世界。
情景前提
我們有一個現有的倉庫系統，配備有傳送帶和兩種不同產品的貨架。為了優化倉儲，我們計劃增加一個新的貨架。我們的系統使用虛擬貨架來模擬儲存過程。在模擬之前，我們可以調整了各種因素和新貨架的位置，以找到最佳組合。
系統有兩位用戶: 一名操作員負責搬運產品，另一名廠房經理負責監督佈局並調整參數。兩者都使用HoloLens 2。經理啟動模擬，而操作員則使用手推車運輸產品。這種設置使我們能夠模擬人因因素對系統的影響。
Demo Video
總覽
專案基本資料
平台
HoloLens 2
工具
Unity, Photon, MRTK, Vuforia
團隊
3 名
時長
5 個月
我的工作
程式設計、軟體設計
我的工作
我在專案中負責的工作
《混合現實中的設施規劃與模擬》是一個為期5個月的專案，團隊由3名成員組成。我擔任程式設計和軟體設計，設計並實現了軟體功能，另外兩名成員負責實驗結果的數據分析。
系統流程
系統如何運作
選擇分工
在第一場景中，操作員和廠房經理選擇各自的角色。在第二場景中，通過Photon Network連接，他們共享相同的虛擬空間。兩位用戶保持在同一房間位置非常重要，以維持場景的一致性。當沒有操作員時，經理還可以選擇“僅經理”模式，讓他們能夠處理佈局規劃和產品轉移任務。
.png)
廠房經理
經理準備
經理使用影像追蹤來定位現有設備並將虛擬貨架引入場景。增強現實的尺規在佈局規劃過程中提供精確度。隨後，經理通過管理面板配置模擬參數。一旦準備完成，經理會通知操作員並啟動模擬。
經理監控
經理負責監控模擬和實時評估。如果出現過多錯誤或操作錯誤等問題，經理可以迅速停止模擬，以便對參數或設備位置進行必要的調整。
評估
在每次模擬後，經理會評估並將結果與之前的運行進行比較。經過多次迭代和調整，經理根據操作員帶來的人因因素和評估結果優化系統。
操作員
操作員等待
操作員必須等待經理啟動模擬。
操作員搬運
操作員的任務是將產品移動到手推車並在經理設定的時間內搬運到相應的貨架上。手推車上的影像目標用於追蹤其位置。如果系統無法跟蹤影像，將自動根據操作員的相對位置調整手推車的位置。
測試情景
測試情景
測試結果
結論
為了滿足工業需求，我們的系統開發了一個混和實境的環境，融合了真實和虛擬設備。它幫助經理進行設施規劃，模擬流程並提供評估。通過整合多個HoloLens 2設備並加入操作員，我們有效地複製了人因因素在倉庫系統中的影響，這是大多數設施規劃軟體無法達成的。
改進
學期結束後進一步改進
更真實的手部動作
我們改善了操作員的手勢，將搬運產品的動作從輕觸轉變為更精確的抓取和放置物品的過程。這一改進更接近真實的人類轉移過程。
優化建議
.png)
該系統不僅計算評估結果，還能根據結果和經理設定的數值提供調整的建議，幫助優化倉庫系統。
操作員反饋
在模擬過程中，操作員可以通過系統向經理提供反饋，報告如瓶頸或人為錯誤等問題。經理隨後可以評估是否有必要暫停模擬。
原點修正
.png)
如果任一用戶的起始點發生移動，影響到虛擬物體的位置，兩位用戶都可以通過菜單上的「重置起點」按鈕來重設坐標，同時保持在場景的進入點。