×

Google AI Edge Gallery:在手机端离线体验生成式 AI

Google AI Edge Gallery:在手机端离线体验生成式 AI
显示 1 Google AI Edge Gallery概览 2 Google AI Edge Gallery核心功能 2.1 离线推理 2.2 灵活切换模型 2.3 多模态交互 2.4 性能监测 3 Google AI Edge Gallery技术亮点 3.1 Google AI Edge 平台 3...
  • 17小时前
  • Google AI Edge Gallery概览

    Google AI Edge Gallery 由 Google AI Edge 团队开源的在手机端离线体验生成式 AI,主打“下载即用、离线运行”的生成式 AI 体验,源代码托管在 GitHub 并已收获上万颗 Star。安装 APK 后,所有推理计算均在本地完成,无需持续联网。当前支持 Android,iOS 版本处于准备阶段。

    Google AI Edge Gallery核心功能

    离线推理

    模型加载完毕后,可断网使用,对隐私和时延极为友好。

    灵活切换模型

    应用内置 Hugging Face 浏览器,可一键下载或导入自定义 LiteRT .task 模型,方便对比不同 LLM 的表现。

    多模态交互

    • Ask Image:上传图片即可提问,支持识别、描述和问题求解。
    • AI Chat:多轮对话,适合日常问答与头脑风暴。
    • Prompt Lab:内置摘要、改写、代码生成等单轮指令范例,便于快速实验。

    性能监测

    实时展示 TTFT、解码速度与整体延迟,帮助开发者评估端侧部署成本。

    Google AI Edge Gallery技术亮点

    Google AI Edge 平台

    Gallery 基于 Google AI Edge 提供的低代码 API 构建,覆盖文本、视觉与音频通用任务。

    LiteRT 运行时

    LiteRT 承袭 TensorFlow Lite,专为手机硬件加速而优化,并计划取代 TF Lite 成为官方唯一维护的端侧运行时。

    LLM Inference API

    同名 API 允许在 Android/iOS 上完全离线执行大语言模型,为 Gallery 的聊天与 Prompt Lab 功能提供底层能力。

    Hugging Face 生态

    Google 与 Hugging Face 深度集成,用户可下载 Gemma、Qwen、Dia-1.6B 等量化模型到本地运行。

    Google AI Edge Gallery典型应用场景

    • 个人隐私场景:在无网络或敏感数据环境下完成文档总结、代码片段生成或图像分析。
    • 开发者评测:通过实时性能面板对比不同模型的延迟与吞吐,快速选型。
    • 教育与演示:离线演示生成式 AI 能力,避免课堂或会议 Wi-Fi 不稳定导致的体验中断。

    Google AI Edge Gallery获取方式

    APK 可在 GitHub Release 页面或第三方平台 Uptodown 下载,借助 Google AI Edge Gallery,离线大模型推理正从概念走向日常,让一部手机即可成为个人的 AI 工作站。

    下载地址:网盘

    GitHub:https://github.com/google-ai-edge/gallery

    TOP