跳到正文
热点事件持续更新

OpenAI发布LifeVal日常任务基准并公布模型得分

4 篇报道4 个报道来源2 小时前更新

先了解这件事

AI 综述

OpenAI 发布 LifeVal 基准,用来衡量模型能否替用户完成日常事务,覆盖照护、健康、教育、家庭事务、个人理财、购物和政府服务等场景。OpenAI 称,该基准的设计源自数千名 ChatGPT 用户的反馈,并基于美国时间使用调查等两项大型研究,另新增 3995 名受访者的代表性调查,以确定用户最需要帮助的领域。 OpenAI 称,过去一年已用 LifeVal 衡量和改进模型处理这些任务的能力,最新模型在多项任务上得分很高,GPT‑6 Astra 在部分任务上达到 100%。IT之家报道称,LifeVal 目前仍主要是 OpenAI 的内部评估,外界尚未获得完整任务集、评分代码或可独立复现的排行榜。 Rohan Paul 在 X 上给出的另一组数字是:GPT‑6 Astra 在日常任务上得分为 80.6%,不到 9 个月前 GPT‑5.2 的得分为 49.3%。这组数字与 OpenAI 所说的“部分任务达到 100%”统计口径不同,报道未说明两者的关系。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月3日
  1. IT之家·人工智能
    OpenAI 发布 LifeVal 基准:测试 AI 完成幼儿园报名、报税等日常事务的能力

    OpenAI 于 11 月 2 日发布新基准 LifeVal,用来衡量 AI 模型能否真正帮普通人完成日常事务,覆盖照护、健康、教育、家庭行政、个人财务、购物和政府服务等场景。公开示例中,为孩子找幼儿园得分 93.1%,组织防洪志愿者 98.0%,为糖尿病家长准备膳食计划 90.4%。该基准目前仍主要是 OpenAI 的内部评估,外界尚未获得完整任务集、评分代码或可独立复现的排行榜。

  2. Rohan Paul
    OpenAI 发布 LifeVal 日常任务基准

    OpenAI 发布了 LifeVal,一个测试 AI 模型能否替人们完成日常事务的基准。 GPT-6 Astra 在日常任务上得分 80.6%,而不到 9 个月前 GPT-5.2 的得分为 49.3%。 LifeVal 的任务涵盖照护、健康、教育、金融、购物和家庭行政事务,从预约车辆年检到在预算内订购清真食品杂货。

  3. OpenAI
    OpenAI 推出 LifeVal 日常任务基准

    要让 AGI 惠及全人类,它应当帮助人们完成对他们最重要的日常事务。因此我们构建了 LifeVal,这是一个新基准,其设计源自数千名 ChatGPT 用户的反馈,反映了他们最希望个人助理提供帮助的领域——从寻找托儿服务,到获取政府服务,再到管理个人财务。 在过去一年里,我们一直用 LifeVal 来衡量并改进我们的模型处理这些日常任务的能力。 https://openai.com/index/lifeval/

11月2日
  1. OpenAI:官网动态
    OpenAI 推出 LifeVal 评测,衡量 AI 在日常任务上的进展

    OpenAI 构建了 LifeVal 评测,覆盖照护、健康、教育、家庭事务、个人理财、购物和政府服务等日常任务,用于追踪模型过去一年在日常任务上的表现。该评测基于美国时间使用调查等两项大型研究,并新增 3995 名受访者的代表性调查来确定用户最需要帮助的领域。OpenAI 称最新模型在多项 LifeVal 任务上得分很高,GPT‑6 Astra 在部分任务上达到 100%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。