성민이다아ㅏㅏ

서론오랜만에 블로그에 복귀하면서, 요즘 인기를 끌었던 DeepSeek를 로컬 환경에서 다양하게 사용해 보았습니다. 기존에 한글 사용에 있어 Distill 모델들의 성능이 애매하다는 점 때문에, 이번에는 R1 모델에 눈을 돌리게 되었습니다. (참고로 Distill 모델들의 한국어 테스트 결과는 따로 정리해서 올리겠습니다.) 다만, R1 모델은 671B와 같이 매우 큰 파라미터 수로 인해 단순히 사용하기 어려운 점이 있었습니다. 일반적인 4bit, 8bit 양자화로도 크기가 부담스러웠는데, 그러던 중 unsloth의 1.58B 모델을 알게 되어 이를 활용하게 되었습니다.작업 환경기존의 R1 모델은 거대한 파라미터 수로 인해 여러 제한이 있었으나, unsloth에서 제공하는 1.58B 모델은 보다 실용적인 사..

서론 LangChain을 구현할 때 OpenAI api를 활용하여 LangChain을 구성하는 것이 가장 일반적인 구현 방법이다. 다만, 그럴 경우 사용할 때마다 api키 사용에 대한 돈을 지불해야하며 내가 소유한 데이터를 가지고 질문을 한다면 보안 문제도 발생할 수 있다. 이를 해결하기 위해 모델을 로컬 환경에 저장하여서 사용할 수 있는 ‘GPT4All’을 소개하도록 하겠다. GPT4All GPT4All 깃허브에 있는 소개말을 보면 ‘CPU에서 로컬로 실행되는 오픈 소스 어시스턴트 스타일의 대규모 언어 모델’이다. 실제로 M1 CPU환경에서 ‘orca-mini-3b.ggmlv3.q4_0’모델로 테스트 했을 때 1분내외로 작동했다. 물론 이를 OpenAi api를 활용하는 것과 비교하면 당연히 느리지만 ..