目前已知工程中有注册了基础的FLUX.2 Klein 9B Base和FLUX.2 Klein 9B等官方模型,我想要测试其他三方的DiT模型进行测试,有可提供的方法吗? 另外如何加载fp8模型进行推理。
目前已知工程中有注册了基础的FLUX.2 Klein 9B Base和FLUX.2 Klein 9B等官方模型,我想要测试其他三方的DiT模型进行测试,有可提供的方法吗?
另外如何加载fp8模型进行推理。