原題目：中新安康|復旦年夜學團隊研發AI年夜模子 助視障者“看見”世界
中新網上海3月2日電 (記者 陳靜)只需一枚攝像頭和一對耳機，畫面可以或許被轉化成說話，刻畫場景、提醒風險，讓視障者出行更平安、生涯更便捷……記者2日得悉，在復旦年夜學天然說話處置試驗室(FudanNLP)師生的盡力下，基于多模態年夜模子“復旦·眸思”(MouSi)為視障者量身打造的“聞聲世界”APP上線，將成為視障人士的生涯助手與智能管家。
2023年上半年，復旦年夜學天然說話處置試驗室發布了開闢MOSS對話式年夜型說話模子，被稱為中國版的GPT，僅用半年時光多模態模子“眸思”問世。據先容，“眸思”和基于文本的MOSS分歧，它可以或許懂得并辨認圖片內在的事務，努力于成為視障者的一雙“眸”。
基于“眸思”，“聞聲世界”APP為視障者日常生涯需求量身打造街道行走形式、不受拘束問答形式和尋物形式。在街道行走形式中，“眸思”如一位忠誠的向導。紅綠燈、十字路口、妨礙物……它能細致掃描途徑情形，提醒潛伏風險，陪同視障者平安通行“看不見”的漫漫長路。
在不受拘束問答形式中，“眸思”則像一位貼心的伴侶，走進博物館、藝術館、公園……捕獲周圍氣象的每個細節，用聲響構建豐盛的生涯場景，傳遞每一處日常之美。在尋物形式中，“眸思”將成為一名靠得住的管家，被變動位置過的枴杖、最愛口胃的牛奶……它可以讓視障人士找尋日常物講授場地件變得輕松。
復旦年夜學天然說話處置試驗室張奇傳授說：“人工智能成長一日千里，科技應當要轉變更多人的生涯，盼望‘眸思’可以或許輔助視障人士走落發門，讓他們可以測驗考試更多任務，為人生書寫更多能夠。”據先容，該項目標主導者都是“初出茅廬”的先生們，在組內腦筋風暴會上，年青學子總能提出首創性設法，可以或許找到另辟門路的處理措施。
自往年9月以來，共享會議室復旦年夜學天然說話處置試驗室繚繞GPT4-v復現多模態年夜模子，對焦點要害點展開研討，盼望晉陞單項義務的正確率和強化年夜模子的進修。為了更好地感觸感染視障者的難處，團隊成員模仿真正的情境，蒙眼摸索視障者“暗中”世界。他們約請視障人士參加，進一個步驟摸清真正的而詳細的需求。1對1講授
在基于幾億張圖片練習出“眸思”年夜模子基本上，針對視障者提出的各類需求，團隊又用上萬張圖片停止特別樣本練習，使“眸思”具有可以或許適配更多場景的才能。據流露，本年上半年，團隊將聯合AR進級APP內的定位精度細化至亞米級別。下半年，團隊盼望將“眸思”進級為基于錄像的判講座場地斷。今朝，更多形式正在開闢中，好比，瀏覽形式、講解形式等。
據清楚，團隊打算與NGO組織、智算中間和硬件廠商等展開一起配合，努力于讓視障者不花錢應用產物和相干辦事。估計本年3月“聞聲世界”APP將完成第一輪測試，在中國一、二線城市和地域同步開啟試點，根小我空間據算力安排情形停止推行。(完)