首頁
產品係列
行業應用
渠道合作
新聞中心
研究院
投資者關係
技術支持
必威體育主頁
| En
 
  當前位置:首頁 > 新聞資訊 > 機器人知識 > 機器人多模態視覺語言導航技術解析  
 

機器人多模態視覺語言導航技術解析

來源:算法邦      編輯:創澤      時間:2022/4/21      主題:其他   [加盟]

計算機視覺(CV)和自然語言處理(NLP)早先是兩個較為d立的研究L域。CV 重點關注如何用計算機代替人眼對目標完成識別、跟蹤、測量等任務,對圖像進行處理;NLP 則研究計算機如何處理、運用自然語言,包括語言生成、問答、對話等任務。近年來,以深度神經網絡為代表的機器學習和模式識別技術被廣泛應用於 CV 和 NLP L域,取得了目前先進的效果。

近年來,研究者們試圖將動作控製也引入到「視覺-語言」任務的框架中。吳琦將此類任務命名為 V3A(Vision, Ask, Answer, Act),在給定視覺輸入後,我們希望機器能夠提出問題、回答問題、並通過和人以及機器之間的語言交流執行某些動作。

例如,「Vision+Ask」的任務包含視覺問題生成、根據問題生成查詢、圖像描述等;「Vision+Answer」的任務包含視覺問答、視覺對話等;「Vision+Act」的任務包含指稱表達、視覺對齊(visual grounding)、語言引導的視覺導航、具身視覺問答、具身指稱表達等。




  



基於康複機器人內部傳感器的運動功能評價方法

基於康複機器人內部傳感器識別記錄訓練過程中的運動學參數,能夠實時定量評估不同的運動模式,還能夠掌握患者是否主動參與訓練等情況

優必選科技副總裁龐建新:麵向智能機器人的視覺感知與理解

智能機器人視覺方麵的工作,主要體現在感知、理解、學習及推理4個方麵,涉及到目標檢測、目標追蹤、人體姿態估計、人臉識別、行為識別、推理等技術

優必選專家丁宏鈺深入講解大型仿人機器人整機構型

從大型仿人機器人整機構型國內外研究現狀入手,圍繞機器人整機構型、關節運動特點、伺服驅動器、減速器、仿真平台等方麵進行深度講解,最後就大型仿人機器人整機構型未來發展趨勢給出自己的見解

個性化的人機交互

HRI的MTL可以使機器人更輕鬆,更智能地與新用戶進行交互,即使使用諸如RL這樣的數據密集型方法,也可以避免社交交互失敗的不利影響。MTL和多模態ML已用於自動識別自閉症譜係障礙(ASD)兒童

淺談服務機器人的潛在危險

服務機器人潛在危險有:電擊、與能量有關的危險、著火、與熱有關的危險、機械危險、輻射、化學危險等

視頻搜索太難了!阿裏文娛多模態搜索算法實踐

視頻搜索是涉及信息檢索、自然語言處理(NLP)、機器學習、計算機視覺(CV)等多領域的綜合應用場景

野外自主農作物探測機器人Robotanist使用擴展卡爾曼濾波器(EKF)方法融合MTI等傳感器信息

驅動係統由4個200W無刷直流電機構成,通過50:1的空心軸減速機可以最高達2m/s的速度在玉米、高粱等農作物的地裏前進

Jupiter由四輪獨立轉向的底盤和UR5機械臂組成通過SSD網絡檢測目標物體

通過2D激光雷達信息采用Hector SLAM實現機器人對地圖的感知和自主導航規劃,通過頂部的RGB-D相機采集目標物體深度和RGB圖像信息

移動式操作機器人平台Personal Robot 2可模擬開門、打台球和畫畫

機器人的學習分為三個部分的軌跡預測包括示教者的手部運動軌跡、示教者的身體移動軌跡以及被操作物體的運動軌跡

仿人操作機器人Cosero配備7自由度機械臂裝有Kinect相機實現對目標環境的3D感知

Cosero是德國波恩大學的Sven Behnke團隊根據家庭環境中的日常操作任務而研製的一款仿人操作機器人基於深度學習方法的目標姿態估計和RGB-D SLAM等感知測量

傳感器麵臨時代新機遇,未來發展將呈現哪些趨勢

機器人、無人機、自動駕駛汽車等加快落地,智慧城市深入建設,更是為傳感器產業帶來了難以估量的龐大機遇

中國移動室內定位白皮書

中國移動聯合產業合作夥伴發布《室內定位白皮書》,對室內定位產業發展現狀及麵臨的挑戰,深入分析了垂直行業的室內定位需求,並詳細闡述了實現室內定位的技術原理, 及室內定位評測體係
 
資料獲取

服務機器人在展館迎賓講解
新聞資訊
== 資訊 ==
» 機器人應用的趨勢:垂直化、工藝化、多樣化
» 協作機器人的中國市場格局:初具雛形,未完
» 中國協作機器人市場前景:高速穩步增長,未
» 協作機器人市場的發展曆程:起步期、調整期
» 機器人的安全解決方案:力感知方案,輕量化
» 機器人的視覺解決方案:2D視覺和 3D
» 協作機器人與人形機器人的發展關係:應用領
» 2025年中國協作機器人產業發展藍皮書,
» 機器人工作站的安全規範及標準:安全防護空
» 機器人工作站的功能要求和環境條件:機器人
» 智能服務機器人的導引方式:固定路徑導引方
» 自動導引機器人係統的組成:驅動係統 導航
» 智能機器人是多傳感器信息融合係統,使用位
» 機器人的視覺傳感技術,從二維圖像中理解和
» 機器人的工件識別傳感器:接觸識別、采樣式
 
== 機器人推薦 ==
 
迎賓講解服務機器人

服務機器人(迎賓、講解、導診...)

智能消毒機器人

智能消毒機器人

機器人底盤

機器人底盤

 

商用機器人  Disinfection Robot   展廳機器人  智能垃圾站  輪式機器人底盤  迎賓機器人  移動機器人底盤  講解機器人  紫外線消毒機器人  大屏機器人  霧化消毒機器人  服務機器人底盤  智能送餐機器人  霧化消毒機  機器人OEM代工廠  消毒機器人排名  智能配送機器人  圖書館機器人  導引機器人  移動消毒機器人  導診機器人  迎賓接待機器人  前台機器人  導覽機器人  酒店送物機器人  雲跡科技潤機器人  雲跡酒店機器人  智能導診機器人 
版權所有 © 必威主頁     中國運營中心:北京·清華科技園九號樓5層     中國生產中心:山東日照太原路71號
銷售1:4006-935-088    銷售2:4006-937-088   客服電話: 4008-128-728

Baidu
map