每天，在家庭，車輛，工作場所和公共場所，許多人都使用帶光滑玻璃觸摸屏和無處不在的按鈕的人機界面（HMI）。COVID-19病毒的傳播和嚴重程度不斷提高，使人們越來越擔心與其他多個人觸摸相同的按鈕或屏幕。大流行突然改變了對替代接口的需求，以減少對物理接觸的需求。

目前還不完全了解病毒是如何傳播的。然而，最近的一項研究表明，SARS-CoV-2可能在玻璃、塑料和鋼等表面上存活兩到三天。這使得在工作場所、零售店和醫(yī)院環(huán)境中，實現(xiàn)人類與機器交互的無接觸替代品變得更加重要。

引入觸摸控制

工業(yè)物聯(lián)網(wǎng)（IIoT）實現(xiàn)了制造和智能機器通信的自動化，但仍有一些時候人類必須與機器交互。為了減少細菌和病毒的傳播，我們需要傳統(tǒng)按鈕或觸摸屏控制的非接觸式替代品。

許多用戶都熟悉家庭或車輛中的語音助手應用。然而，這種類型的語音控制在嘈雜的生產(chǎn)設施、活躍的戶外環(huán)境或說話的人群中是不可靠的。對于這些情況，可以將語音和手勢結合起來，給出一個適應性更強、更穩(wěn)健的多模態(tài)無觸摸界面。

對于語音或視覺控制的系統(tǒng)，機器必須快速可靠地區(qū)分故意的用戶指令和隨機或無意的輸入。例如，只有當用戶有意做出這種反應時，機器才應該打開，而不是僅僅因為一個人站在它附近說話。機器視覺系統(tǒng)可以識別手勢，如手部動作、點頭、揮腳和指點。解讀肢體語言可以成為機器對人類操作者的可見輸入做出反應的一種更自然的方式。

基于手勢的解決方案開發(fā)

開發(fā)基于手勢的解決方案的第一步是確定系統(tǒng)必須識別和解釋哪些手勢類型。例如，用戶是只用手交流，還是全身運動？對于視覺系統(tǒng)來說，手指的運動會比整個身體更容易捕捉到嗎？整個身體可能會被衣服或其他隨身攜帶的物品部分遮?。?/p>

手勢復雜度也是重要的設計參數(shù)。例如，開門可能只需要一個手勢，但調(diào)整環(huán)境控制或改變生產(chǎn)線可能需要一系列復雜的手勢。

最后，移動速度和環(huán)境條件也會起到重要作用，例如，當照明水平較低或太亮時。了解所有這些因素有助于確定所需攝像機傳感器的數(shù)量和類型、視野、焦距以及檢測和解釋手勢所需的分辨率。

此外，還建議提供一個備用接口，如語音控制或物理觸摸屏，以防用戶無法使用手勢方法。對于工業(yè)環(huán)境中的安全關鍵功能，應用軟件可能需要進行功能安全評估和認證，如針對工業(yè)系統(tǒng)的IEC61508。

把概念變成現(xiàn)實

了解手勢，環(huán)境和攝像頭類型后，我們必須獲取或建立手勢識別機器學習模型。圖1的左側顯示了將手勢示例轉(zhuǎn)換為推理引擎所需的步驟，該引擎實際上是識別手勢的算法。TensorFlow，ONNX和Pytorch是用于此目的的一些常用工具。

只有現(xiàn)在我們才能確定合適的硬件和軟件。手勢識別系統(tǒng)通常建立在工業(yè)級嵌入式平臺上，從連接到通用計算核心的單個智能攝像頭，到為多核處理器提供高度優(yōu)化視覺和機器學習加速器的多個攝像頭傳感器。圖1顯示了手勢識別系統(tǒng)的兩種選擇，推薦用于更簡單系統(tǒng)的i.MXRT微控制器平臺，以及用于更復雜或更快響應手勢和視覺系統(tǒng)的NXPi.MX8MPlus應用處理器。

立體視覺攝像頭可以使用MIPI-CSI、USB或以太網(wǎng)連接以及音頻輸入，識別語音和聲音發(fā)生器，以提供音頻用戶反饋。顯示面板還可以向用戶提供直觀的指示和反饋，并且可以在非接觸式控制發(fā)生故障或?qū)⒉皇褂玫那闆r下包含備用觸摸屏。

最快的方法是利用現(xiàn)有的嵌入式平臺和工具箱。例如，ToradexApalisi.MX8EmbeddedVisionStarterKit是一種工業(yè)級單板解決方案，基于NXPi.MX8應用程序處理器，結合AlliedVisionsensor，它利用AmazonWebServices（AWS）開發(fā)工具完成對象識別任務。該工具集可以收集手勢示例，并將其傳輸?shù)紸WS工具中，以訓練手勢識別模型。然后，可以將生成的推理引擎加載回同一個工具包中，以識別手勢并通知機器如何響應。

結論

隨著對非接觸式用戶界面需求的增加，機器視覺系統(tǒng)將大受歡迎。這種需求存在于廣泛的應用程序中，包括零售、智能建筑、醫(yī)療保健、工業(yè)和娛樂。

在工業(yè)和制造環(huán)境中，無接觸控制不僅可以保證用戶的安全，而且可以改善人類與機器的交互方式?，F(xiàn)有的硬件和軟件子模塊可用于構建成本效益高的基于手勢的控件，這些控件具有響應性和可靠性，從而開創(chuàng)了一個無接觸用戶界面的新時代，這將有助于行業(yè)在新的常態(tài)下繼續(xù)發(fā)展。