IT快讯网 7 月 8 日消息,苹果与哥伦比亚大学的研究团队开发出了一项名为 SceneScout 的 AI 原型系统,旨在为盲人及低视力群体(BLV)提供街景导航辅助。
该系统结合苹果地图(Apple Maps)API 与多模态大语言模型(基于 GPT-4o 内核),生成定制化环境描述。IT快讯网注意到,相关论文已经发表在预印平台 arXiv 上(未经同行评审)。
核心功能:
路线预览(Route Preview):
预判行程中的道路状况:人行道质量、交叉口、公交站特征等
虚拟探索(Virtual Exploration):
开放场景响应:根据用户需求(如“临近公园的安静居住区”)提供方向指引
该系统可通过模拟行人的视角,解读可见内容,并输出结构化文本(短 / 中 / 长),适配读屏软件。
据介绍,SceneScout 在测试阶段招募了 10 名视障用户(多具备科技行业背景),结果显示:
72% 的 AI 生成描述准确
虚拟探索模式获高度评价(用户称其可替代传统信息获取方式)