隨著深度學(xué)習(xí)在多個(gè)人工智能的細(xì)分領(lǐng)域日趨成熟化和規(guī)?；?，多模態(tài)融合正成為人工智能研究新的熱點(diǎn)方向和趨勢(shì)。近期，汽車之家人工智能算法團(tuán)隊(duì)在今年TextCaps任務(wù)中CIDEr獲得了98.59分的成績(jī)，名次僅次于微軟，斬獲全球亞軍。
TextCaps是Facebook發(fā)布的一個(gè)大型的圖像閱讀理解任務(wù)，該項(xiàng)比賽囊括了圖像識(shí)別、圖像描述、圖像字幕等多個(gè)圖像領(lǐng)域最前沿的任務(wù)，一經(jīng)宣布就吸引了眾多國(guó)內(nèi)外的學(xué)術(shù)專家以及科研團(tuán)隊(duì)參加。汽車之家代表隊(duì)在眾多來(lái)自全球的算法團(tuán)隊(duì)角逐中脫穎而出，在所有參加團(tuán)隊(duì)中排名第二、國(guó)內(nèi)參加團(tuán)隊(duì)中排名第一，充分展現(xiàn)了汽車之家在高科技研究中攻堅(jiān)克難的匠心精神。
Text-Caption是一個(gè)涉及圖像中視覺(jué)信息和文字信息的多模態(tài)任務(wù)，其目的是對(duì)一張圖片生成一句涵蓋其所有信息的文字描述。它不僅需要利用模型去理解圖片的內(nèi)容，還需要用自然語(yǔ)言去表達(dá)它們之間的關(guān)系，需要參賽者在CV(Ocr、Object Detection)、NLP(Text Generation)、Model Fusion等領(lǐng)域都具備很高的專業(yè)知識(shí)，具有很高的挑戰(zhàn)性。
基于公司的海量數(shù)據(jù)，汽車之家人工智能算法團(tuán)隊(duì)在語(yǔ)音、視覺(jué)、NLP等技術(shù)方向均積累了大量的應(yīng)用經(jīng)驗(yàn)，并基于人工智能多模態(tài)技術(shù)的領(lǐng)先優(yōu)勢(shì)賦能公司數(shù)據(jù)產(chǎn)品研發(fā)，在知識(shí)庫(kù)構(gòu)建、培訓(xùn)系統(tǒng)開(kāi)發(fā)和智能生成等場(chǎng)景中廣泛應(yīng)用。以智能培訓(xùn)平臺(tái)為例，該平臺(tái)旨在滿足主機(jī)廠新車發(fā)布后培訓(xùn)經(jīng)銷商銷售能力的需求，結(jié)合汽車之家和平安集團(tuán)的數(shù)據(jù)及技術(shù)優(yōu)勢(shì)，將人工智能多模態(tài)技術(shù)應(yīng)用于智能陪練、防作弊、問(wèn)答機(jī)器人3大場(chǎng)景模塊。
隨著公司創(chuàng)新業(yè)務(wù)的大力發(fā)展，越來(lái)越多的場(chǎng)景需要人工智能技術(shù)的加持，例如視頻資源的結(jié)構(gòu)化分析、視頻/圖片中文本知識(shí)結(jié)構(gòu)化提取存儲(chǔ)、通話中的語(yǔ)義理解等。汽車之家將科技軟實(shí)力作為公司數(shù)字化的基石，其技術(shù)團(tuán)隊(duì)在多模態(tài)方向的技術(shù)積累與突破，不僅為公司的“生態(tài)化”戰(zhàn)略推進(jìn)打造技術(shù)護(hù)城河，同時(shí)為公司創(chuàng)新業(yè)務(wù)發(fā)展與賦能行業(yè)數(shù)字化轉(zhuǎn)型提供了堅(jiān)實(shí)后盾。