성민이다아ㅏㅏ

1. 서론이미 2025년도의 트렌드는 Agent입니다. Agent를 생각한다면 LangGraph를 빼고 얘기하기 힘듭니다. 그래서 이번 블로그 글부터는 심층적으로 LangGraph를 다뤄보겠습니다.단순한 형태의 Agent부터 추후에는 Multi Agent 혹은 Streamlit으로 Agent 서비스 구현하기, 오픈소스 모델을 사용해서 Agent 구축하기 등을 다뤄보겠습니다. 이미 Multi Agent를 제외하고 나머지에 대해서는 코드 및 테스트가 끝난 상태라 빠른 시일 내로 업로드 하겠습니다.오늘은 먼저 간단하게 Vectro DB 검색 및 웹 검색 중 적절한 도구를 판단하여 사용하는 Adaptive RAG를 제작해보겠습니다. 이번 글에서는 LangGraph를 활용한 Adaptive RAG의 핵심 개념과 ..

서론오랜만에 블로그에 복귀하면서, 요즘 인기를 끌었던 DeepSeek를 로컬 환경에서 다양하게 사용해 보았습니다. 기존에 한글 사용에 있어 Distill 모델들의 성능이 애매하다는 점 때문에, 이번에는 R1 모델에 눈을 돌리게 되었습니다. (참고로 Distill 모델들의 한국어 테스트 결과는 따로 정리해서 올리겠습니다.) 다만, R1 모델은 671B와 같이 매우 큰 파라미터 수로 인해 단순히 사용하기 어려운 점이 있었습니다. 일반적인 4bit, 8bit 양자화로도 크기가 부담스러웠는데, 그러던 중 unsloth의 1.58B 모델을 알게 되어 이를 활용하게 되었습니다.작업 환경기존의 R1 모델은 거대한 파라미터 수로 인해 여러 제한이 있었으나, unsloth에서 제공하는 1.58B 모델은 보다 실용적인 사..

Llama2 7월 19일(수) meta의 Llama2(라마2)가 공개됐다. Llama1과 비교했을 때 크게 바뀐 점이라고 한다면 상업적으로 이용이 가능한 모델이라는 점이다. 성능면에서도 Llama1보다 40%의 데이터를 더 학습시켰으며 context 길이가 2배로 늘어난점 등이 있다. 모델 종류로는 7B, 13B, 70B가 있으며 70B의 경우에는 몇몇 GPU를 가지고 있지 않는 이상 돌려보긴 쉽지 않을 것이다. 그리고 기본적으로 7B, 13B도 GPU환경에서 구동하여야 한다. Llama2 성능비교표 Llama2 공식 홈페이지를 참고하여 보면 다른 모델들과 비교한 성능표가 있는데 기존 모델들 보다 좋은 성능을 보이며 70B모델의 경우 Llama1 65B모델에 비해서 확실히 좋은 성능을 보인다. Llama..

서론 LangChain을 구현할 때 OpenAI api를 활용하여 LangChain을 구성하는 것이 가장 일반적인 구현 방법이다. 다만, 그럴 경우 사용할 때마다 api키 사용에 대한 돈을 지불해야하며 내가 소유한 데이터를 가지고 질문을 한다면 보안 문제도 발생할 수 있다. 이를 해결하기 위해 모델을 로컬 환경에 저장하여서 사용할 수 있는 ‘GPT4All’을 소개하도록 하겠다. GPT4All GPT4All 깃허브에 있는 소개말을 보면 ‘CPU에서 로컬로 실행되는 오픈 소스 어시스턴트 스타일의 대규모 언어 모델’이다. 실제로 M1 CPU환경에서 ‘orca-mini-3b.ggmlv3.q4_0’모델로 테스트 했을 때 1분내외로 작동했다. 물론 이를 OpenAi api를 활용하는 것과 비교하면 당연히 느리지만 ..