与 Hugging Face Hub 整合
如果觉得本地加载模型有些麻烦,为了让使用模型更轻松,Gradio 可以直接与 Hugging Face Hub 和 Hugging Face Spaces 集成。你可以仅使用一行代码从 Hub 和 Spaces 加载在线的数千个模型。
从 Hugging Face Hub 加载模型
首先,在 第四章 中所述的数千个模型中选择一个。
使用特殊的 Interface.load()
方法,你可以传递 "model/模型名称"
(或等效的 "huggingface/模型名称"
)。例如,下面的代码是使用 GPT-J 构建的一个演示,它是一个大型语言模型,示例代码如下:
import gradio as gr
title = "GPT-J-6B"
description = "Gradio Demo for GPT-J 6B, a transformer model trained using Ben Wang's Mesh Transformer JAX. 'GPT-J' refers to the class of model, while '6B' represents the number of trainable parameters. To use it, simply add your text, or click one of the examples to load them. Read more at the links below."
article = "<p style='text-align: center'><a href='https://github.com/kingoflolz/mesh-transformer-jax' target='_blank'>GPT-J-6B: A 6 Billion Parameter Autoregressive Language Model</a></p>"
gr.Interface.load(
"huggingface/EleutherAI/gpt-j-6B",
inputs=gr.Textbox(lines=5, label="Input Text"),
title=title,
description=description,
article=article,
).launch()
运行上述代码将生成以下界面:
以这种方式加载模型使用的是 Hugging Face 的 Inference API ,而不是将模型加载到内存中。这对于像 GPT-J 或 T0pp 这样需要大量 RAM 的大型模型是最理想的方式。
从 Hugging Face Spaces 中加载
除了模型,还可以将 spaces/space名称
传递给 Interface,这样就可以在本地修改和运行 Hugging Face Spaces 中的任何 Space。
还记得第 1 节中删除图像背景的演示吗?让我们从 Hugging Face Spaces 加载它:
gr.Interface.load("spaces/abidlabs/remove-bg").launch()
从Hub 或 Spaces 加载演示的一个很酷的地方是,你可以通过覆盖任何参数来进行一些自定义的调整。在这里,我们添加一个标题并将输入改为了网络摄像头:
gr.Interface.load(
"spaces/abidlabs/remove-bg", inputs="webcam", title="Remove your webcam background!"
).launch()
现在我们已经探索了一些将 Gradio 与 hugs Face Hub 集成的方法,在下一节让我们来看看 Interface
类的一些高级功能。