[FIX] Fix unit test

gptqmodel/models/auto.py

@@ -4,47 +4,47 @@
 
 from ..utils import BACKEND
 from ..utils.model import check_and_get_model_type
-from .baichuan import BaiChuanGPTQ
+from .definitions.baichuan import BaiChuanGPTQ
 from .base import BaseGPTQModel, QuantizeConfig
-from .bloom import BloomGPTQ
-from .chatglm import ChatGLM
-from .codegen import CodeGenGPTQ
-from .cohere import CohereGPTQ
-from .dbrx import DbrxGPTQ
-from .dbrx_converted import DbrxConvertedGPTQ
-from .decilm import DeciLMGPTQ
-from .deepseek_v2 import DeepSeekV2GPTQ
-from .exaone import ExaoneGPTQ
-from .gemma import GemmaGPTQ
-from .gemma2 import Gemma2GPTQ
-from .gpt2 import GPT2GPTQ
-from .gpt_bigcode import GPTBigCodeGPTQ
-from .gpt_neox import GPTNeoXGPTQ
-from .gptj import GPTJGPTQ
-from .granite import GraniteGPTQ
-from .grinmoe import GrinMOEGPTQ
-from .internlm import InternLMGPTQ
-from .internlm2 import InternLM2GPTQ
-from .llama import LlamaGPTQ
-from .longllama import LongLlamaGPTQ
-from .minicpm import MiniCPMGPTQ
-from .minicpm3 import MiniCPM3GPTQ
-from .mistral import MistralGPTQ
-from .mixtral import MixtralGPTQ
-from .mllama import MLlamaGPTQ
-from .moss import MOSSGPTQ
-from .mpt import MPTGPTQ
-from .opt import OPTGPTQ
-from .phi import PhiGPTQ
-from .phi3 import Phi3GPTQ
-from .qwen import QwenGPTQ
-from .qwen2 import Qwen2GPTQ
-from .qwen2_moe import Qwen2MoeGPTQ
-from .rw import RWGPTQ
-from .stablelmepoch import StableLMEpochGPTQ
-from .starcoder2 import Starcoder2GPTQ
-from .xverse import XverseGPTQ
-from .yi import YiGPTQ
+from .definitions.bloom import BloomGPTQ
+from .definitions.chatglm import ChatGLM
+from .definitions.codegen import CodeGenGPTQ
+from .definitions.cohere import CohereGPTQ
+from .definitions.dbrx import DbrxGPTQ
+from .definitions.dbrx_converted import DbrxConvertedGPTQ
+from .definitions.decilm import DeciLMGPTQ
+from .definitions.deepseek_v2 import DeepSeekV2GPTQ
+from .definitions.exaone import ExaoneGPTQ
+from .definitions.gemma import GemmaGPTQ
+from .definitions.gemma2 import Gemma2GPTQ
+from .definitions.gpt2 import GPT2GPTQ
+from .definitions.gpt_bigcode import GPTBigCodeGPTQ
+from .definitions.gpt_neox import GPTNeoXGPTQ
+from .definitions.gptj import GPTJGPTQ
+from .definitions.granite import GraniteGPTQ
+from .definitions.grinmoe import GrinMOEGPTQ
+from .definitions.internlm import InternLMGPTQ
+from .definitions.internlm2 import InternLM2GPTQ
+from .definitions.llama import LlamaGPTQ
+from .definitions.longllama import LongLlamaGPTQ
+from .definitions.minicpm import MiniCPMGPTQ
+from .definitions.minicpm3 import MiniCPM3GPTQ
+from .definitions.mistral import MistralGPTQ
+from .definitions.mixtral import MixtralGPTQ
+from .definitions.mllama import MLlamaGPTQ
+from .definitions.moss import MOSSGPTQ
+from .definitions.mpt import MPTGPTQ
+from .definitions.opt import OPTGPTQ
+from .definitions.phi import PhiGPTQ
+from .definitions.phi3 import Phi3GPTQ
+from .definitions.qwen import QwenGPTQ
+from .definitions.qwen2 import Qwen2GPTQ
+from .definitions.qwen2_moe import Qwen2MoeGPTQ
+from .definitions.rw import RWGPTQ
+from .definitions.stablelmepoch import StableLMEpochGPTQ
+from .definitions.starcoder2 import Starcoder2GPTQ
+from .definitions.xverse import XverseGPTQ
+from .definitions.yi import YiGPTQ
 
 MODEL_MAP = {
     "bloom": BloomGPTQ,

gptqmodel/models/definitions/baichuan.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 class BaiChuanGPTQ(BaseGPTQModel):

gptqmodel/models/definitions/bloom.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 class BloomGPTQ(BaseGPTQModel):

gptqmodel/models/definitions/chatglm.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 class ChatGLM(BaseGPTQModel):

gptqmodel/models/definitions/codegen.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 class CodeGenGPTQ(BaseGPTQModel):

gptqmodel/models/definitions/cohere.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 class CohereGPTQ(BaseGPTQModel):

gptqmodel/models/definitions/dbrx.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 # placer=holder only as dbrx original models are not supported

gptqmodel/models/definitions/dbrx_converted.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 class DbrxConvertedGPTQ(BaseGPTQModel):

gptqmodel/models/definitions/decilm.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 class DeciLMGPTQ(BaseGPTQModel):

gptqmodel/models/definitions/deepseek_v2.py

@@ -1,5 +1,5 @@
-from ._const import EXPERT_INDEX_PLACEHOLDER
-from .base import BaseGPTQModel
+from .._const import EXPERT_INDEX_PLACEHOLDER
+from ..base import BaseGPTQModel
 
 
 # Both DeepSeek-v2 and DeepSeek-v2-lite are supported in this model def

gptqmodel/models/definitions/exaone.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 class ExaoneGPTQ(BaseGPTQModel):

gptqmodel/models/definitions/gemma.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 class GemmaGPTQ(BaseGPTQModel):

gptqmodel/models/definitions/gemma2.py

@@ -1,8 +1,8 @@
 import logging
 from logging import getLogger
 
-from ..utils import BACKEND
-from .base import BaseGPTQModel
+from ...utils import BACKEND
+from ..base import BaseGPTQModel
 
 logger = getLogger(__name__)
 handler = logging.StreamHandler()
@@ -38,13 +38,13 @@ def __init__(self, *args, **kwargs):
                     return
 
                 # quantized gemma-2 27b model only support vLLM/SGLang load.
-                from ..utils.vllm import VLLM_AVAILABLE
+                from ...utils.vllm import VLLM_AVAILABLE
                 if VLLM_AVAILABLE:
                     from vllm import LLM
                     if isinstance(self.model, LLM):
                         backend = BACKEND.VLLM
 
-                from ..utils.sglang import SGLANG_AVAILABLE
+                from ...utils.sglang import SGLANG_AVAILABLE
                 if SGLANG_AVAILABLE:
                     from sglang.srt.server import Runtime
                     if isinstance(self.model, Runtime):

gptqmodel/models/definitions/gpt2.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 class GPT2GPTQ(BaseGPTQModel):

gptqmodel/models/definitions/gpt_bigcode.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 class GPTBigCodeGPTQ(BaseGPTQModel):

gptqmodel/models/definitions/gpt_neox.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 class GPTNeoXGPTQ(BaseGPTQModel):

gptqmodel/models/definitions/gptj.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 class GPTJGPTQ(BaseGPTQModel):

gptqmodel/models/definitions/granite.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 class GraniteGPTQ(BaseGPTQModel):

gptqmodel/models/definitions/grinmoe.py

@@ -1,5 +1,5 @@
-from ._const import EXPERT_INDEX_PLACEHOLDER
-from .base import BaseGPTQModel
+from .._const import EXPERT_INDEX_PLACEHOLDER
+from ..base import BaseGPTQModel
 
 
 class GrinMOEGPTQ(BaseGPTQModel):

gptqmodel/models/definitions/internlm.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 class InternLMGPTQ(BaseGPTQModel):

gptqmodel/models/definitions/internlm2.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 class InternLM2GPTQ(BaseGPTQModel):

gptqmodel/models/definitions/llama.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 class LlamaGPTQ(BaseGPTQModel):

gptqmodel/models/definitions/longllama.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 class LongLlamaGPTQ(BaseGPTQModel):

gptqmodel/models/definitions/minicpm.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 class MiniCPMGPTQ(BaseGPTQModel):

gptqmodel/models/definitions/minicpm3.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 class MiniCPM3GPTQ(BaseGPTQModel):

gptqmodel/models/definitions/mistral.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 class MistralGPTQ(BaseGPTQModel):

gptqmodel/models/definitions/mixtral.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 class MixtralGPTQ(BaseGPTQModel):

gptqmodel/models/definitions/mllama.py

@@ -1,6 +1,6 @@
 from transformers import AutoModelForPreTraining
 
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 # TODO FIXME: we currently do not support quantizing cross attention layer (pixel_values)

gptqmodel/models/definitions/moss.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 class MOSSGPTQ(BaseGPTQModel):

gptqmodel/models/definitions/mpt.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 class MPTGPTQ(BaseGPTQModel):

gptqmodel/models/definitions/opt.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 class OPTGPTQ(BaseGPTQModel):

gptqmodel/models/definitions/phi.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 class PhiGPTQ(BaseGPTQModel):

gptqmodel/models/definitions/phi3.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 class Phi3GPTQ(BaseGPTQModel):

gptqmodel/models/definitions/qwen.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 class QwenGPTQ(BaseGPTQModel):

gptqmodel/models/definitions/qwen2.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 class Qwen2GPTQ(BaseGPTQModel):

gptqmodel/models/definitions/qwen2_moe.py

@@ -1,5 +1,5 @@
-from ._const import EXPERT_INDEX_PLACEHOLDER
-from .base import BaseGPTQModel
+from .._const import EXPERT_INDEX_PLACEHOLDER
+from ..base import BaseGPTQModel
 
 
 class Qwen2MoeGPTQ(BaseGPTQModel):

gptqmodel/models/definitions/rw.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 class RWGPTQ(BaseGPTQModel):

gptqmodel/models/definitions/stablelmepoch.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 class StableLMEpochGPTQ(BaseGPTQModel):

gptqmodel/models/definitions/starcoder2.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 class Starcoder2GPTQ(BaseGPTQModel):

gptqmodel/models/definitions/xverse.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 class XverseGPTQ(BaseGPTQModel):

gptqmodel/models/definitions/yi.py

@@ -1,4 +1,4 @@
-from .base import BaseGPTQModel
+from ..base import BaseGPTQModel
 
 
 class YiGPTQ(BaseGPTQModel):