[NOTE] 该项目仍在建设中，我们将继续更新，并欢迎社区的贡献/拉取请求。

InternChat [论文]

InternChat（简称 iChat）是一种基于指向语言驱动的视觉交互系统，允许您使用指向设备通过点击、拖动和绘制与 ChatGPT 进行互动。InternChat 的名称代表了 interaction（交互）、nonverbal（非语言）和 chatbots（聊天机器人）。与依赖纯语言的现有交互系统不同，通过整合指向指令，iChat 显著提高了用户与聊天机器人之间的沟通效率，以及聊天机器人在视觉为中心任务中的准确性，特别是在复杂的视觉场景中。此外，在 iChat 中，采用辅助控制机制来提高 LLM 的控制能力，并对一个大型视觉-语言模型 Husky 进行微调，以实现高质量的多模态对话（在ChatGPT-3.5-turbo评测中达到 93.89% GPT-4 质量）。

在线Demo

[注意] 可能会出现排队等待较长时间。您可以clone我们的仓库并使用您自己的GPU运行。

InternChat已上线，尝试一下！

https://github.com/OpenGVLab/InternChat/assets/13723743/3270b05f-0823-4f13-9966-4010fd855643

Schedule

支持中文
支持 MOSS
基于 InternImage 和 InternVideo 的更强大的基础模型
更准确的交互体验
网页 & 代码生成
支持语音助手
支持点击交互
交互式图像编辑
交互式图像生成
交互式视觉问答
Segment Anything模型
图像修复
图像描述
图像抠图
光学字符识别（OCR）
动作识别
视频描述
视频密集描述
视频高光时刻截取

系统概览

Logo

🎁 主要特点

(a) 移除遮盖的对象

(b) 交互式图像编辑

(d) 交互式视觉问答

(e) 交互式图像生成

(f) 视频高光解释

🛠️ 安装

基本要求

Linux
Python 3.8+
PyTorch 1.12+
CUDA 11.6+
GCC & G++ 5.4+
GPU 内存 >= 17G 用于加载基本工具 (HuskyVQA, SegmentAnything, ImageOCRRecognition)

安装Python的依赖项

pip install -r requirements.txt

模型库

即将推出...

👨‍🏫 运行指南

运行以下 shell 可启动一个 gradio 服务：

python -u iChatApp.py --load "HuskyVQA_cuda:0,SegmentAnything_cuda:0,ImageOCRRecognition_cuda:0" --port 3456

如果您想启用语音助手，请使用 openssl 生成证书：

openssl req -x509 -newkey rsa:4096 -keyout ./key.pem -out ./cert.pem -sha256 -days 365 -nodes

然后运行：

python -u iChatApp.py --load "HuskyVQA_cuda:0,SegmentAnything_cuda:0,ImageOCRRecognition_cuda:0" --port 3456 --https

🎫 许可

该项目根据Apache 2.0 license发布。

🖊️ 引用

如果您在研究中发现这个项目有用，请考虑引用：

@misc{2023internchat,
    title={InternChat: Solving Vision-Centric Tasks by Interacting with Chatbots Beyond Language},
    author={Zhaoyang Liu and Yinan He and Wenhai Wang and Weiyun Wang and Yi Wang and Shoufa Chen and Qinglong Zhang and Yang Yang and Qingyun Li and Jiashuo Yu and Kunchang Li and Zhe Chen and Xue Yang and Xizhou Zhu and Yali Wang and Limin Wang and Ping Luo and Jifeng Dai and Yu Qiao},
    howpublished = {\url{https://arxiv.org/abs/2305.05662}},
    year={2023}
}

🤝 致谢

感谢以下开源项目:

Hugging Face LangChain TaskMatrix SAM Stable Diffusion ControlNet InstructPix2Pix BLIP Latent Diffusion Models EasyOCR

如果您在试用、运行、部署中有任何问题，欢迎加入我们的微信群讨论！如果您对项目有任何的想法和建议，欢迎加入我们的微信群讨论！