2023年語言與(yu) 智能競賽設置了大語言模型評估、視頻語義(yi) 理解兩(liang) 大賽題,獲勝隊伍將分享總額13萬(wan) 的獎金,並將在第八屆“語言與(yu) 智能高峰論壇”舉(ju) 辦技術交流和頒獎。
2023語言與(yu) 智能競賽
中國計算機學會(hui) 和中國中文信息學會(hui) 2016-2022年成功舉(ju) 辦了七屆“語言與(yu) 智能高峰論壇”,邀請了國內(nei) 外學術界和工業(ye) 界的知名專(zhuan) 家學者,共同探討語言與(yu) 智能領域的新發展和新技術。
語言與(yu) 智能技術競賽是該論壇下,由百度公司、中國計算機學會(hui) 自然語言處理專(zhuan) 委會(hui) 和中國中文信息學會(hui) 評測工作委員會(hui) 聯合承辦的評測比賽。曆屆競賽組織了閱讀理解、人機對話、語義(yi) 解析、信息抽取等評測任務,覆蓋自然語言處理和人工智能領域的重要前沿課題,極具挑戰。競賽對於(yu) 推進相關(guan) 技術研究及智能搜索、智能推薦、智能交互等人工智能應用發展具有重要意義(yi) 。
2023年語言與(yu) 智能競賽將繼續設立來源於(yu) 真實應用需求的任務,並基於(yu) “千言”中文開源數據集提供大規模中文數據集。本屆競賽設置了大語言模型評估、視頻語義(yi) 理解兩(liang) 大賽題,希望為(wei) 研究者提供學術交流平台,進一步推動語言理解和人工智能領域技術研究和應用的發展。獲勝隊伍將分享總額13萬(wan) 的獎金,並將在第八屆“語言與(yu) 智能高峰論壇”舉(ju) 辦技術交流和頒獎。
任務設置
競賽共設置2項熱門任務,兼具挑戰性和實用性,具體(ti) 介紹如下:
序號 |
任務名稱 |
任務簡介 |
1 |
大語言模型評估 |
從(cong) 通用人工智能發展與(yu) 應用的角度,對大語言模型進行係統性、可量化的評估體(ti) 係建設。 |
2 |
視頻語義(yi) 理解 |
讓機器對視頻進行內(nei) 容分析與(yu) 理解。在感知內(nei) 容分析的基礎上,融合知識、語言、視覺、語音等多模信息,結合知識計算與(yu) 推理,為(wei) 視頻生成相應的語義(yi) 標簽。 |
大語言模型評估:大語言模型(LLM)正在各行各業(ye) 中引發持續不斷的討論和應用熱潮,但傳(chuan) 統NLP任務的評估方法難以對大模型能力進行完整刻畫與(yu) 客觀衡量,無論業(ye) 界還是學術界都亟需新的評估思路和評估方法。通過構建全麵客觀的評估體(ti) 係,一方麵協助應用者深入了解LLM在不同場景下的適應性和局限性,打造安全可控的LLM應用;另一方麵協助研發者發現LLM的問題與(yu) 缺陷,找到優(you) 化方向,助力LLM迭代升級,持續提升模型的使用價(jia) 值。本次競賽希望參賽者能夠從(cong) 自身對LLM的理解出發,設計獨特新穎的評估體(ti) 係,對大語言模型的底層能力(如記憶、推理、常識理解等)或專(zhuan) 項能力(如文本創作、知識問答、代碼生成等)進行係統性、可量化的評估,深入考察模型的能力的同時提升業(ye) 界對於(yu) LLM的理解。
視頻語義(yi) 理解:在移動互聯網、大數據的時代背景下,互聯網上的視頻數據呈現爆發式增長,作為(wei) 日益豐(feng) 富的信息承載媒介,視頻的深度語義(yi) 理解是諸多視頻智能應用的基礎,具有重要的研究意義(yi) 和實際應用價(jia) 值。傳(chuan) 統基於(yu) 感知的視頻內(nei) 容分析缺乏語義(yi) 化理解能力,而充分利用知識圖譜的語義(yi) 化知識並結合多模態學習(xi) 和知識推理技術,有望實現更深入的視頻語義(yi) 理解。知識增強的視頻語義(yi) 理解任務,期望融合知識、NLP、視覺、語音等相關(guan) 技術和多模態信息,為(wei) 視頻生成刻畫主旨信息的語義(yi) 標簽,從(cong) 而實現視頻的語義(yi) 理解。本評測任務以互聯網視頻為(wei) 輸入,在感知內(nei) 容分析(如人臉識別、OCR識別、語音識別等)的基礎上,期望通過融合多模信息,並結合知識圖譜計算與(yu) 推理,為(wei) 視頻生成多知識維度的語義(yi) 標簽,進而更好地刻畫視頻的語義(yi) 信息。
獎項設置
競賽的每個(ge) 任務將分別評出一等獎、二等獎、三等獎和優(you) 勝獎。主辦方中國計算機學會(hui) (CCF)和中國中文信息學會(hui) (CIPS)將為(wei) 獲獎者提供榮譽證書(shu) 認證,百度公司將為(wei) 獲獎者提供共總額13萬(wan) 元獎金和參會(hui) 交流讚助。
賽題1:大模型能力評估
一等獎:10000元+榮譽證書(shu)
二等獎:5000元+榮譽證書(shu)
三等獎:3000元+榮譽證書(shu)
優(you) 勝獎: 定製紀念品+榮譽證書(shu)
賽題2:視頻語義(yi) 理解
一等獎:20000元+榮譽證書(shu)
二等獎:15000元+榮譽證書(shu)
三等獎:10000元+榮譽證書(shu)
優(you) 勝獎:5000元+榮譽證書(shu)
時間安排
2023/05/17:報名開始:賽題1開始提交,賽題2開放訓練數據集和初賽測試集下載,並開放提交入口和初賽排行榜;
2023/08/07:報名截止,兩(liang) 賽題初賽提交截止;
2023/08/08:複賽啟動:賽題1開放複賽結果提交入口,賽題2開放複賽測試集下載和排行榜;
2023/08/18北京時間23:59:複賽提交截止;
2023/08/30:競賽結果公布,接收賽題2係統報告和論文;
2023/9-2023/10:賽題2論文提交截止日期(具體(ti) 時間另行通知);
2023/11:在“語言與(yu) 智能高峰論壇”上交流和頒獎。
注冊(ce) 報名
關(guan) 於(yu) 2023語言與(yu) 智能競賽的任務詳情和報名方式,請見官網:https://lic2023.ccf.org.cn
競賽已於(yu) 2023年5月17日正式開啟報名通道,在此,誠邀學術界和工業(ye) 界的研究者和開發者參加本次競賽!
注:報名並最終提交有效結果的隊伍,成員均將獲得1件大賽定製T恤(多任務不重複領取)。
評論已經被關(guan) 閉。