avav588con,最近2019中文免费字幕在线观看,欧美一道本一区二区三区,九九热在线观看,经典好看免费AV

移動(dòng)版

當(dāng)前位置:智慧城市網(wǎng)資訊中心品牌專欄

新發(fā)產(chǎn)品更多
佳都科技中央研究院多模態(tài)大模型TransCore-M 發(fā)布!MMBench高居第二
2023年12月05日 10:03:55來(lái)源:佳都科技點(diǎn)擊量:37614
導(dǎo)讀近日,在上海人工智能實(shí)驗(yàn)室發(fā)布的多模態(tài)大模型榜單 MMBench 中,來(lái)自佳都科技中央研究院的TransCore-M超過(guò)LLaVA、mPLUG-Owl2、Qwen-VL-Chat 等 20 余個(gè)來(lái)自世界一流大學(xué)和業(yè)界大廠的多模態(tài)大模型,分別在 4 個(gè)榜單中都高居第二。目前,TransCore-M 的模型和推理 demo 已在 huggingface 開(kāi)源,并開(kāi)放體驗(yàn)。
  【智慧城市網(wǎng) 品牌專欄】近日,在上海人工智能實(shí)驗(yàn)室發(fā)布的多模態(tài)大模型榜單 MMBench中,來(lái)自佳都科技中央研究院的TransCore-M超過(guò)LLaVA、mPLUG-Owl2、Qwen-VL-Chat 等 20 余個(gè)來(lái)自世界一流大學(xué)和業(yè)界大廠的多模態(tài)大模型,分別在 4 個(gè)榜單中都高居第二。目前,TransCore-M 的模型和推理 demo 已在 huggingface 開(kāi)源,并開(kāi)放體驗(yàn)。
 
  △MMBench榜單(其一),MMBench是上海AI lab和南洋理工大學(xué)聯(lián)合推出的基于ChatGPT的全方位多模能力評(píng)測(cè)體系,其它榜單詳情請(qǐng)見(jiàn)文末。
 
  模型架構(gòu)與訓(xùn)練
 
圖片
  TransCore-M 采用預(yù)訓(xùn)練和指令微調(diào)兩種訓(xùn)練策略,來(lái)提升模型的多模態(tài)能力:
 
  l預(yù)訓(xùn)練階段:凍結(jié)視覺(jué)模塊(Visual Encoder)和語(yǔ)言模型(PCITransGPT),使用大量圖文數(shù)據(jù)將圖像和文本知識(shí)進(jìn)行對(duì)齊;
 
  l指令微調(diào)階段:構(gòu)造多樣性的文本和多模態(tài)聯(lián)合數(shù)據(jù),保持視覺(jué)模塊凍結(jié),將視覺(jué)對(duì)齊模塊和語(yǔ)言模型進(jìn)行全參微調(diào),使得模型能夠具備更豐富的多模態(tài)理解能力。
 
  交通行業(yè)能力
 
  技術(shù)上,佳都科技布局視覺(jué)模型多年,自 2015 年開(kāi)始加強(qiáng)在人臉識(shí)別、視頻大數(shù)據(jù)領(lǐng)域的技術(shù)投入,2017 年成立中央研究院,開(kāi)展數(shù)據(jù)和智能中臺(tái)建設(shè),2019年推出城軌智慧運(yùn)營(yíng)系統(tǒng)華佳 Mos,2020 年開(kāi)始研發(fā)基于數(shù)字孿生技術(shù)的 AR(增強(qiáng)現(xiàn)實(shí))引擎,將多維信息和 3D 虛擬界面融合。
 
  應(yīng)用場(chǎng)景方面,佳都長(zhǎng)期深耕智慧大交通主賽道,積累了深厚的智慧交通行業(yè)項(xiàng)目經(jīng)驗(yàn)和數(shù)據(jù)優(yōu)勢(shì)。一類是直接與視覺(jué)感知有關(guān),主要是前端的采集智能設(shè)備,另一類是交通場(chǎng)景,包括車站客流分析、行車圖優(yōu)化、應(yīng)急調(diào)度指揮、智能運(yùn)維、智能安檢,信號(hào)燈調(diào)優(yōu)、交通擁堵分析、綜合樞紐與公交客流分析導(dǎo)向等。
 
  通過(guò)將以往的經(jīng)驗(yàn)和數(shù)據(jù)沉淀為行業(yè)資產(chǎn),多模態(tài)大模型深度融合了豐富的領(lǐng)域知識(shí),結(jié)合高質(zhì)量的專業(yè)語(yǔ)料庫(kù),確保模型具有卓越的理解和判斷能力。
 
  點(diǎn)擊huggingface 主頁(yè)中的 demo 鏈接后,用戶僅需上傳圖片,即可與TransCore-M 進(jìn)行對(duì)話。
 
  示例1:交通視覺(jué)描述
 
圖片
  示例2:交通違規(guī)檢測(cè)
 
圖片
  示例3:路況檢測(cè)
 
圖片
  示例4:異常事件檢測(cè)
 
圖片
  示例5:異常事件檢測(cè)
 
圖片
  榜單排名情況
 
關(guān)鍵詞 智慧城市佳都科技
相關(guān)閱讀更多
版權(quán)與免責(zé)聲明:

凡本網(wǎng)注明“來(lái)源:智慧城市網(wǎng)”的所有作品,均為浙江興旺寶明通網(wǎng)絡(luò)有限公司-智慧城市網(wǎng)合法擁有版權(quán)或有權(quán)使用的作品,未經(jīng)本網(wǎng)授權(quán)不得轉(zhuǎn)載、摘編或利用其它方式使用上述作品。已經(jīng)本網(wǎng)授權(quán)使用作品的,應(yīng)在授權(quán)范圍內(nèi)使用,并注明“來(lái)源:智慧城市網(wǎng)”。違反上述聲明者,本網(wǎng)將追究其相關(guān)法律責(zé)任。

本網(wǎng)轉(zhuǎn)載并注明自其它來(lái)源(非智慧城市網(wǎng))的作品,目的在于傳遞更多信息,并不代表本網(wǎng)贊同其觀點(diǎn)或和對(duì)其真實(shí)性負(fù)責(zé),不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。其他媒體、網(wǎng)站或個(gè)人從本網(wǎng)轉(zhuǎn)載時(shí),必須保留本網(wǎng)注明的作品第一來(lái)源,并自負(fù)版權(quán)等法律責(zé)任。

如涉及作品內(nèi)容、版權(quán)等問(wèn)題,請(qǐng)?jiān)谧髌钒l(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系,否則視為放棄相關(guān)權(quán)利。

正在閱讀:佳都科技中央研究院多模態(tài)大模型TransCore-M 發(fā)布!MMBench高居第二
我要投稿
  • 投稿請(qǐng)發(fā)送郵件至:(郵件標(biāo)題請(qǐng)備注“投稿”)afzhan@foxmail.com
  • 聯(lián)系電話0571-87756384
智慧城市行業(yè)“互聯(lián)網(wǎng)+”服務(wù)平臺(tái)
智慧城市網(wǎng)APP

功能豐富 實(shí)時(shí)交流

智慧城市網(wǎng)小程序

訂閱獲取更多服務(wù)

微信公眾號(hào)

關(guān)注我們

抖音

智慧城市網(wǎng)

抖音號(hào):afzhan

打開(kāi)抖音 搜索頁(yè)掃一掃
i

視頻號(hào)

AF智慧城市網(wǎng)

視頻號(hào)ID:sphF7DOyrojJnp8

打開(kāi)微信掃碼關(guān)注視頻號(hào)

小紅書(shū)

智慧城市

小紅書(shū)ID:2537047074

打開(kāi)小紅書(shū) 掃一掃關(guān)注
反饋