type
status
date
slug
summary
tags
category
icon
password
😀
主要优势
  • 完全离线操作:无需网络连接,有效保护用户隐私,让用户在安全、独立的环境中进行创作,避免网络传输过程中潜在的数据泄露。
  • 用户友好:界面简洁直观,即使没有技术背景的初学者也可以轻松使用,快速掌握软件的使用方法,开始他们的数字人类创作之旅。
  • 多模型支持:支持导入多种模型并通过一键启动包进行管理,方便用户根据不同的创作需求和应用场景选择合适的模型。

如何在本地运行

HeyGem 支持基于 Docker 的快速部署,部署前请确保您的软硬件环境满足指定要求。
HeyGem 支持两种部署模式:Windows / Ubuntu 22.04 安装
依赖项
  1. Nodejs 18
  1. Docker 镜像
      • docker pull guiji2025/fun-asr
      • docker pull guiji2025/fish-speech-ziming
      • docker pull guiji2025/heygem.ai
方式一:Windows安装
系统要求:
  • 目前支持Windows 10 19042.1526或更高版本
硬件要求:
  • 必须有D盘:主要用于存储数字人和项目数据
    • 可用空间要求:超过30GB
  • C盘:用于存储服务图像文件
    • 可用空间要求:超过100GB
    • 如果可用空间少于100GB,安装Docker后,可以在下面显示的位置选择其他剩余空间大于100GB的磁盘文件夹。
      • notion image
  • 推荐配置:
    • CPU:第 13 代英特尔酷睿 i5-13400F
    • 内存:32GB
    • 显卡:RTX 4070
  • 确保您拥有 NVIDIA 显卡并正确安装了驱动程序
    • NVIDIA驱动下载链接:https://www.nvidia.cn/drivers/lookup/
      notion image
安装 Windows Docker
  1. 使用命令wsl --list --verbose检查 WSL 是否已安装。如果显示如下,则表示已安装,无需进一步安装。
    1. notion image
  1. 使用 更新 WSL wsl --update
    1. notion image
  1. 下载 Docker for Windows,根据你的CPU架构选择合适的安装包。
  1. 当看到这个界面时,表示安装成功。
    1. notion image
  1. 运行 Docker
    1. notion image
  1. 接受协议并在首次运行时跳过登录
    1. notion image
      notion image
      notion image
安装服务器
使用Docker、docker-compose的安装如下:
  1. docker-compose.yml文件位于/deploy目录中。
  1. docker-compose up -d在目录下执行/deploy,如果要使用精简版,则执行docker-compose -f docker-compose-lite.yml up -d
  1. 耐心等待(约半小时,速度取决于网络),下载将消耗约70GB流量,请务必使用WiFi
  1. 当看到Docker中有三项服务时,表示成功(精简版只有一个服务heygem-gen-video
    1. notion image
NVIDIA 50系列显卡服务器部署解决方案
适用于 50 系列显卡(经过测试,也适用于 CUDA 12.8 的 30/40 系列)使用 PyTorch 的官方预览版
客户
  1. 直接下载官方构建的安装包
  1. 双击HeyGem-x.x.x-setup.exe
    1. 安装
方式二:Ubuntu 22.04安装
系统要求:
我们对Ubuntu 22.04进行了完整的测试。不过理论上它支持桌面 Linux 发行版。
硬件要求:
  • 推荐配置
  • CPU:第 13 代英特尔酷睿 i5-13400F
  • 内存:32G以上(必备)
  • 显卡:RTX - 4070(确保您拥有 NVIDIA 显卡并且显卡驱动程序已正确安装)
  • 硬盘:剩余空间大于100G
安装 Docker:
首先,使用 docker --version检查 Docker 是否已安装。如果已安装,请跳过以下步骤。
安装显卡驱动:
  1. 参考官方文档(https://www.nvidia.cn/drivers/lookup/
    1. )安装显卡驱动。
安装完成后执行nvidia-smi命令,如果显示显卡信息则表示安装成功。
  1. 安装 NVIDIA 容器工具包
NVIDIA Container Toolkit 是 Docker 使用 NVIDIA GPU 的必备工具,安装步骤如下:
  • 添加 NVIDIA 软件包存储库:
  • 更新软件包列表并安装工具包:
  • 配置 Docker 以使用 NVIDIA 运行时:
  • 重新启动 Docker 服务:
安装服务器
安装客户端
  1. 直接下载官方构建
    1. 的Linux版本安装包。
  1. 双击HeyGem-x.x.x.AppImage
    1. 启动。无需安装。
提醒:Ubuntu系统中,如果以用户身份进入桌面root,直接双击HeyGem - x.x.x.AppImage可能不行,需要./HeyGem - x.x.x.AppImage --no - sandbox在命令行终端中执行,加上--no - sandbox参数即可。
4.开放API
我们开放了模型训练和视频合成的API,Docker启动后会在本地暴露多个端口,可以通过 访问http://127.0.0.1
具体代码参考:
  • src/main/service/model.js
  • src/main/service/video.js
  • src/main/service/voice.js
模型训练
  1. 将视频分为静音视频+音频
  1. 将音频放入
    1. D:\heygem_data\voice\data与服务约定guiji2025/fish-speech-ziming,可在docker-compose中修改
  1. 致电
    1. 参数示例:响应示例:记录响应结果,后续音频合成需要用到
音频合成
界面:http://127.0.0.1:18180/v1/invoke
视频合成
  • 合成界面:http://127.0.0.1:8383/easy/submit
    • 进度查询:http://127.0.0.1:8383/easy/query?code=${taskCode}
    GET请求,参数taskCodecode上面合成接口输入的
    致开发者合作伙伴的重要通知
    我们现在宣布两种并行服务解决方案:
    项目
    HeyGem开源本地部署
    数字人/克隆语音API服务
    用法
    开源本地部署
    快速克隆API服务
    受到推崇的
    技术用户
    商业用户
    技术门槛
    有深度学习框架经验/追求深度定制/希望参与社区共建的开发者
    快速业务集成/专注于上层应用开发/商业场景需要企业级SLA保障
    硬件要求
    需要购买GPU服务器
    无需购买GPU服务器
    定制
    可以根据需要修改和扩展代码,完全控制软件的功能和行为
    无法直接修改源代码,只能通过API提供的接口扩展功能,灵活性不如开源项目
    技术支援
    社区支持
    动态扩展支持+专业技术响应团队
    维护成本
    维护成本高
    维护简单
    唇形同步效果
    可用效果
    令人惊艳的高清效果
    商业授权
    支持全球免费商业使用(用户数超过10万或年收入超过1000万美元的企业需签署商业许可协议)
    允许商业使用
    迭代速度
    更新缓慢,错误修复依赖于社区
    优先考虑最新模型/算法,快速解决问题
    我们始终秉持开源精神,API 服务的推出旨在为不同需求的开发者提供更完善的解决方案矩阵。无论您选择哪种方式,都可以随时通过https://duix.com获取技术支持文档
    我们期待与您携手,共同推动数字人科技包容性发展!
    您可以在官方网站上与Heygem数字人聊天:https://duix.com/
    我们还在 DUIX 平台上提供 APl:https://docs.duix.com/api-reference/api/Introduction
    5. 新功能
    [Nvidia 50系列GPU版本通知]
    1. 在 5090 GPU 上测试并验证
    1. 有关安装说明,请参阅NVIDIA 50 系列显卡的服务器部署解决方案
    【Ubuntu新版本公告】
    Ubuntu 版本正式发布
    1. Ubuntu 22.04 Desktop 版本(内核 6.8.0-52-generic)的适配验证工作已完成,其他 Linux 版本暂未进行兼容性测试。
    1. 为客户端程序界面添加了国际化(英语)。
    1. 修复了一些已知问题
        • #304
        • #292
    1. Ubuntu22.04安装文档
    6. 常见问题
    提问前的自我检查步骤
    1. 检查三个服务是否都处于运行状态
      1. notion image
    1. 确认您的机器具有 NVIDIA 显卡并且驱动程序已正确安装。
    本项目的所有计算能力均在本地。如果没有 NVIDIA 显卡或合适的驱动程序,这三项服务将无法启动。
    1. 确保服务器和客户端都已更新到最新版本。该项目刚刚开源,社区非常活跃,更新也很频繁。您的问题可能已在新版本中得到解决。
        • 服务器:进入/deploydocker-compose up -d
          • 目录并重新执行
        • 客户端:pullbuild
          • 代码和重新
    1. GitHub Issues
      1. 持续更新,问题每天都会得到解决和关闭。经常查看,你的问题可能已经得到解决。
    问题模板
    1. 问题描述
    详细描述重现步骤,如果可能的话,附上屏幕截图。
    1. 提供错误日志
        • 如何获取客户端日志:
          • notion image
        • 服务器日志:
          • 找到密钥位置,还是点击我们的三个Docker服务,然后如下图“复制”。
            notion image
    星星之火可以燎原
    自动化生成火柴人短视频如何激发对技术的热爱
    Loading...