THUDM/glm-4-9b-chat 은 LogiKor 리더보드에서 공개 모델 중 상당한 순위를 자랑하는 중국산 모델인데요,  문제는 이 모델은  huggingface transformer 라이브러리에 등록되어있지 않아 인터넷에 공개되어있는 여러 예제 코드가 작동하지 않을 때가 많습니다. peft_config = LoraConfig( task_type=TaskType.CAUSAL_LM, inference_mode=False, r=8, lora_alpha=32, lora_dropout=0.1, target_modules=["q_proj", "v_proj"],)model = get_peft_model(model, peft_config) 위의 코드는 많이들 사용하는 LoRACon..

에러ValueError: The input size is not aligned with the quantized weight shape. This can be caused by too large tensor parallel size. 문제상황 GPTQ (8bit) 로 양자화한 QWEN2-72B를 vllm으로 서빙하려고 할 때 해당 에러 발생llm = LLM(model=model_path, tokenizer=model_path, tensor_parallel_size=2, quantization='gptq')tensor_parallel_size를 1,2,4 무엇으로 해도 똑같은 에러가 발생함 원인모델의 intermediate_size가 quantized group_size* tensor-parallel-si..

논문 pdf 링크 : https://web.stanford.edu/class/ee384m/Handouts/HowtoReadPaper.pdf 본 논문은 캐임브릿지 대학교 컴퓨터과학 교수인 S.Keshav가 작성한 제목 그대로 논문을 잘 읽는 법에 대해 소개한 논문입니다. 1. 서론 논문을 효율적으로 읽는 방법은 중요하지만, 그 방법은 잘 가르쳐주지 않는다. 그렇기 때문에 대학원생들은 이 과정에서 직접 시행착오를 겪게 된다. 이 과정에서 많은 노력의 낭비가 일어나게 되고 종종 절망에 빠지기도 한다. 이 논문에서는 저자가 제안하고 오랫동안 사용하고 있는 논문에 대한 간단한 접근법인 '3단계 접근법' (three-pass approach)를 소개한다. 2. 3단계 접근법(Three-Pass Approach) 핵..