Skip to content

Latest commit

 

History

History
184 lines (119 loc) · 9.07 KB

README.md

File metadata and controls

184 lines (119 loc) · 9.07 KB
Raw

Public QiDiHui

Contributors Forks Issues MIT License Stargazers

项目概述

智慧启迪绘不仅仅是一个应用程序，它是一位能引领孩子们踏上奇妙求知之旅的伙伴，带领孩子们进入神奇知识世界的导航员，帮助父母陪伴自己孩子一起阅读《十万个为什么》系列丛书和解答阅读过程中更多疑问的知识助手。

本项目为我们公开的项目开发初期的迭代版本，包含了基本的问答功能，文生图和文生视频做了简化处理， 还请理解。

技术亮点

  • 借由RAG技术与多模态生成技术的力量，我们倾心打造了一款既具娱乐性又富含教育意义，充满趣味性和互动性的视频生成平台，在孩子们阅读《十万个为什么》系列丛书时，进一步激发他们的好奇心，培养更好的观察能力、思考能力和表达能力，成为开启孩子智慧大门的一把钥匙。
  • 两种LLM{appbuilder+ERNIEBot}接口: 充分运用百度文心一言的AIGC能力
  • 两种RAG框架: Langchain & LlamaIndex
  • RAG创新点: 新型向量数据库存储策略
  • 多模态生成: 文本、语音和视频，也支持语音输入
  • 流式输出交互UI: 在线生成，快速响应
  • 预生成图片， tts和视频， 提高体验

以上亮点为我们项目的完整功能，并没有完全开源，请为我们的项目Star以便关注最新更新

主要文件功能介绍

GPU环境只需把faiss-cpu改为faiss-gpu即可, 可以加快建库

  • web_demo.py: Gradio Demo
  • data_full/dataset/Astronomical_dataset.json: 展示了示例数据， 我们只放置了10个QA数据，由于十万数据有数据隐私协议，书中包含的图片并没有开源，该数据只是展示我们的数据结构
  • faiss_index_langchain_full_ernie/bm25retriever.pkl: 采用 BM 25 Retriever方案的数据库，这里我们只开源了使用Langchain建的库
  • rag_full/rag_langchain.py: Langchain建库代码

有关宣传资料

更新

08/07/2024 项目在Paddle AI Studio上被加精置顶

image

《智慧启迪绘》项目介绍与【LIC2024 RAG赛道第一名方案】大揭秘！：https://aistudio.baidu.com/projectdetail/8185249

B站视频: 【 LIC2024 RAG赛道智慧启迪绘】"十万个所以"团队 有关介绍视频

启动部署方法

环境搭建

这里建议使用conda重新建立一个测试环境

# 搭建环境
conda create -n QiDiHui python=3.10
conda activate QiDiHui

# 克隆本项目
git clone https://github.com/chg0901/Public_QiDiHui.git

# 安装软件库
cd Public_QiDiHui
pip install -r requirements.txt

# 启动WebDemo
python web_demo.py

部署成功后截图

QiDiHui整体功能逻辑

1. 总体图示

QiDiHui的整体功能逻辑可以用下图表示：

2. 通过问题生成有声绘本

QiDiHui支持直接通过一个问题生成有声绘本。

  • 若您体验的是OpenXLab上部署的版本：

您可以直接在输入框中输入问题（下图1.a）或者在示例问题中选择问题（下图1.b）之后直接点击“输入问题，生成有声绘本”即可，在线文生图可能需要等待较长时间。

  • 若您体验的是星河社区上部署的版本：

我们为了适配星河社区的部署环境，解耦了有声绘本生成的各个步骤。问题的输入方式不变，但您需要按照下图中的数字顺序依次点击按钮，才可以看到生成的有声绘本。

3. 通过故事生成有声绘本

注意：您的故事长度需要在50字以上才能触发剧本生成操作。

QiDiHui还支持通过现有的故事生成绘本。

  • 若您体验的是OpenXLab上部署的版本：

您需要在输入框中输入您的故事，之后按照下图中数字顺序依次点击按钮，就可以看到生成的有声绘本了。

  • 若您体验的是星河社区上部署的版本：

同样地，您需要按照下图中的数字顺序依次点击按钮，就可以看到生成结果了。

4. 视频演示

请点击此处跳转到B站观看高清视频和其他合集视频, 欢迎给我们点赞收藏投币一键三连!

体验链接

  • 智慧启迪绘 基于文心erniebot 和千帆appbuilder 最新体验链接】

1.AIStudio主体验链接https://aistudio.baidu.com/application/detail/40487 2. OpenXLab 全功能版本https://openxlab.org.cn/apps/detail/chg0901/QiDiHui_appbuilder_V2

Star History

Star History Chart

Contributors: 十万个所以团队

团队成员来自RAG兴趣小组，分别是

    1. 来自韩国光云大学的 计算机工程博士生 程宏
    1. 来自 复旦大学的 NLP准研究生 高杨帆
    1. 来自上海海洋大学的 NLP本科毕业生 彭文博
    1. 毕业于南京大学的 算法工程师 房宇亮
    1. 来自昌吉学院 计算机科学与技术专业大三的 郭志航

团队过往开源项目