cn.smartjavaai.common.pool

类 ModelPredictorPoolManager

java.lang.Object

cn.smartjavaai.common.pool.ModelPredictorPoolManager

public class ModelPredictorPoolManager
extends Object

模型共享池管理器

作者:

dwj

构造器概要

构造器

构造器和说明
ModelPredictorPoolManager()

方法概要

限定符和类型	方法和说明
<I,O> ai.djl.inference.Predictor<I,O>	borrowPredictor(String key) 借出一个 Predictor
void	closeAll() 销毁全部池
<I,O> void	registerModel(String key, ai.djl.repository.zoo.ZooModel<I,O> model, org.apache.commons.pool2.impl.GenericObjectPoolConfig<ai.djl.inference.Predictor<I,O>> config) 注册模型池
<I,O> void	returnPredictor(String key, ai.djl.inference.Predictor<I,O> predictor) 归还一个 Predictor

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

构造器详细资料

ModelPredictorPoolManager

public ModelPredictorPoolManager()

方法详细资料

registerModel

public <I,O> void registerModel(String key,
                                ai.djl.repository.zoo.ZooModel<I,O> model,
                                org.apache.commons.pool2.impl.GenericObjectPoolConfig<ai.djl.inference.Predictor<I,O>> config)

注册模型池

参数:

key - 模型标识符（自定义，如模型路径、模型名等）

model - 模型本体

config - 池配置（可选）

borrowPredictor

public <I,O> ai.djl.inference.Predictor<I,O> borrowPredictor(String key)
                                                      throws Exception

借出一个 Predictor

抛出:

Exception

returnPredictor

public <I,O> void returnPredictor(String key,
                                  ai.djl.inference.Predictor<I,O> predictor)

归还一个 Predictor

closeAll

public void closeAll()

销毁全部池