请走这边：“Oko”如何利用 AI 让过马路更无障碍

“Oko”充分证明了简约的力量。 这款荣获了 2024 年 Apple 设计大奖的“多元包容”奖项以及 2024 年 App Store 大奖的“文化影响力”奖项的获奖作品“Oko”，利用了人工智能通过触觉、音频和视觉反馈提醒失明或弱视用户信号灯的状态 (例如“通行”、“禁止通行”等)，帮助他们在人行通道上通行。App 能够在当下就让用户更有信心。它的简洁 UI 背后是视觉效果和 AI 工具的强大融合。对于一个在发布前没有任何 iOS 或 Swift 开发经验的团队来说，这是一项令人惊叹的成就。 “我们得到最好的反馈是，‘这一切变得好简单，再也不复杂了’，听到这样的反馈真是太好了”，“Oko”的三名位于比利时的创始人之一 Vincent Janssen 说。“我们选择这个设计方向，是因为我们原本就只会这样做。幸好也是正确的选择。” App 基本资料 左起：Willem Van de Mierop、Michiel Janssen 和 Vincent Janssen 是“Oko”的三名联合创始人。App 的名称意为“眼睛”。 Oko 获胜类别： 多元包容 开发团队： AYES BV 兼容平台： iPhone 团队规模： 6 人 过往荣誉： 2024 年 App Store 大奖的“文化影响力”奖项获奖作品；App Store 编辑精选 Learn more about Oko Download Oko from the App Store 对于 Janssen 以及联合创始人 (兄弟 Michiel 和老友 Willem van de Mierop) 而言，“Oko”(意为“眼睛”) 是疫情期间的激情之作。三人都曾攻读计算机科学并主修 AI 方向，而且在家乡安特卫普工作多年。但到了 2021 年初，三人开始不安于现状。“我们都有全职工作”，Janssen 说，“但周末非常无聊。”但他们也明白，这种程度的不安和他们一位患有弱视的老友根本无法相提并论。Janssen 注意到，随着秋冬季节的到来，这位老友受到的影响更大了。 “我们能越来越真切地感觉到，他比其他人更孤立无助”，Janssen 说，“在比利时，我们可以出去散步，但必须独自一人或与家人同行 — 就是说，他不能由志愿者或向导陪同出去。作为 AI 工程师，这让我们开始思考，‘关于自动驾驶汽车的故事那么多，我们能不能打造一个类似的图像或视频系统来帮用户指路，让他们在公共场所能够畅通无阻地通行？’” 我只在几年前打开过 Xcode…三次？但除此之外，我们没有任何 iOS 或 Swift 方面的经验。 “Oko”创始人 Vincent Janssen 三人开始构建原型，它由微型电脑、3D 打印材料和小型便携式扬声器组成，扬声器还是从 Janssen 兄弟的父亲那里借来的。如今，Janssen 称之为“简陋硬件”，类似于带摄像头的小型电脑。但它让这个团队和他们的朋友 (现在是他们的主要测试者了) 能够把原型带出门，充分测试和挖掘技术的潜力。AI 能识别行人信号灯的状态吗？它能在多远的距离上检测到“禁止通行”标志？它在刮风、下雨或下雪时的表现如何？只有一个办法可以知道。“我们出去走了很长时间”，Janssen 说。 虽然 AI 和硬件在道路测试中表现出色，但在硬件的规格和可用性方面出现了问题，团队开始意识到软件能够带来更好的解决方案。他们三人都没有任何构建 iOS App 的经验，这是一道难以逾越的障碍。“我只在几年前打开过 Xcode…三次？”Janssen 说，“但除此之外，我们没有任何 iOS 或 Swift 方面的经验。” “Oko”通过交互式地图以及音频、视觉和触觉反馈，帮助用户在人行通道上通行。 于是，那个夏天，团队将重心转向软件领域，他们辞去了全职工作，通过教程、视频和可靠的网络搜索结果专心学习 Swift。他们很快便明确了核心理念：构建一个简单 App，让它依靠摄像头、地图 SDK 和强大的 AI 算法，帮助用户在城市中畅通无阻地通行。“如今，我们的 App 已经变得稍微复杂了一些，一开始它基本上就是打开摄像头源和 Core ML 模型来处理图像”，Janssen 说，并指出最初的模型是从 Python 移植过来的。“幸运的是，各种工具让转换非常顺利。”(“Oko”的 AI 模型在设备本地运行。) 随着软件的逐渐成型，需要进行更多的现场测试。团队联系了比利时境内以无障碍为导向的组织，组建了一个由 100 名左右的测试员组成的团队来“共同开发这款 App”，Janssen 说。最初的反馈包括：虽然“Oko”最初设计为以横向模式使用，但几乎所有人都喜欢以纵向模式来拿手机。“坦白说，我也一样”，Janssen 说，“但这意味着我们需要重新设计整个程序。” 在他们的家乡 (比利时的安特卫普)，“Oko”团队在一次评审会议上探讨原型。 其他更改包括修改音频反馈以更逼真地模拟现实世界中的现有声音以及满足添加更多视觉反馈的请求。这次经历相当于立时获得了一次关于无障碍的实际培训。“我们发现自己很快就学会了旁白和触觉反馈”，Janssen 说。 这个项目进展得非常快 — “Oko”于 2021 年 12 月在 App Store 中发布，这距离三人提出构想还不到一年时间。“在一些设计上，我们确实花费了一些时间，例如确保 UI 不会被阻塞，尤其是因为我们并没有完全理解用 Swift 编写的代码”，Janssen 笑着说，“但最终 App 能够按预期完成各种操作。” 我们发现自己很快就学会了旁白和触觉反馈。 “Oko”创始人 Vincent Janssen 无障碍社群注意到了这款 App。在接下来的几个月里，“Oko”团队继续扩大其触及的用户群 — Michiel Janssen 和 Van de Mierop 前往美国，与无障碍组织会面，并亲身体验美国的街道交通和行人模式。不过，在 App 不断扩展的同时，团队仍然坚持以简约为本。事实上，Janssen 表示，他们探索并最终放弃了一些扩展构想，包括一个旨在帮助用户寻找和搭乘公共交通的构想，它会让人感觉这款 App 有点过于复杂。 如今，“Oko”团队有 6 人，包括一组负责处理更高级 Swift 事务的开发者。“发布大约一年后，我们收到了关于增加更多功能和提升速度的反馈，我们需要找到比我们更擅长 Swift 的人员”，Janssen 笑着说。与此同时，最初的三人现在正在学习商务、营销和扩张方面的知识。 从核心上讲，“Oko”是简单 App 也能发挥不凡表现的优秀典范。“它仍在不断完善中，我们每天都在学习”，Janssen 说。换而言之，还有很多的路要走。 Meet the 2024 Apple Design Award winners “关于设计的幕后故事”是一个系列栏目，探索 Apple 设计大奖入围作品和获奖作品背后的设计实践和设计理念。在每个故事中，我们将跟随这些获奖 App 和游戏的开发者和设计师们走进幕后，了解他们如何将非凡的奇思妙想变为现实。