[DeepSeek] DeepSeek R-1을 내 PC에 설치하고 사용하는 방법

DeepSeek R-1 로컬 PC에서 사용하기

들어가며

최근 중국의 AI 기업 DeepSeek이 선보인 오픈소스 AI 언어 모델 DeepSeek R-1에 대한 이야기가 아주 뜨겁습니다. 어떤 사람들은 이 모델이 OpenAI의 모델에 비해 추론 능력이 대등하거나 오히려 더 뛰어나다고 주장할 정도입니다.

 

현재 DeepSeek은 무료로 제공되고 있어 사용자 입장에서는 반가운 소식이지만, 동시에 몇 가지 의문을 품게 만들기도 합니다. 이렇게 사용자들이 몰리는 상황에서 서버 비용은 어떻게 감당하고 있을까요? AI 모델을 돌리는 하드웨어 비용이 결코 저렴하지 않을 텐데 말이죠.

 

가장 합리적인 추측은 역시 데이터일 것입니다. AI 모델을 유지·개발하는 데에는 데이터가 필수적이며, DeepSeek 측에서도 사용자 데이터를 기반으로 자사의 양적 트레이딩 모델을 고도화하거나 다른 수익 창출 방안으로 활용할 가능성이 있습니다.

 

때문에, 데이터 프라이버시가 염려되지만 그래도 DeepSeek R-1을 써보고 싶다면, 가장 좋은 방법은 모델을 로컬 환경에서 직접 실행하는 것입니다.

---

DeepSeek R-1이란?

얼마 전 DeepSeek은 DeepSeek R-1 모델을 완전히 오픈소스로 공개했습니다. 즉, 누구나 모델의 코드베이스를 가져다가 변형하거나 자신에게 맞도록 파인튜닝할 수도 있다는 뜻입니다.

 

기술적으로 DeepSeek R-1(흔히 R1으로 줄여 부름)은 DeepSeek-V3라는 대형 베이스 모델에서 파생되었습니다. 이후 고품질의 인간 레이블 데이터로 감독 학습(SFT, Supervised Fine Tuning)을 거치고, 강화 학습(RL)로 추가 보정함으로써 만들어졌다고 합니다.

 

그 결과 복잡한 질문에 대한 세부 추론 과정을 상당히 명확하게 보여주고, 코드도 바로 챗 인터페이스에서 실행 가능한 형태로 제공하는 인상적인 챗봇이 탄생했습니다. 특히 이것이 ‘오픈소스’ 모델이라는 점이 놀라울 정도로 완성도가 높습니다.

---

로컬에서 실행하기

이번 글에서는 Ollama라는 도구를 사용하여 DeepSeek R-1을 로컬에서 실행하는 과정을 소개하겠습니다.

Ollama는 무료 오픈소스 프로젝트로, 대형 언어 모델(LLM)을 macOS, Linux, Windows 환경에서 손쉽게 로컬로 구동할 수 있게 도와줍니다.

1. 먼저 Ollama 공식 홈페이지에 접속해 다운로드 버튼을 클릭합니다.
2. OS에 맞춰 Ollama를 설치합니다.

Ollama 다운로드 하기

설치 확인

설치를 마쳤다면, 터미널(명령 프롬프트)을 열고 아래 명령어를 실행해 Ollama 버전을 확인하세요.

ollama -v

 

Ollama 설치 완료

오류 대신 Ollama의 버전 번호가 표시되면 정상적으로 설치가 완료된 것입니다.

---

DeepSeek R-1 설치 및 로컬 사용 방법

Ollama에 모델을 설치하려면, Ollama가 제공하는 모델 검색 기능을 사용하면 됩니다.

1. Ollama를 실행한 뒤 Models 탭으로 이동합니다.
2. 검색창에 deepseek 키워드를 입력하세요.
3. 그러면 첫 번째 결과로 deepseek-r1 모델이 나타날 것입니다.

다운로드 가능한 deepseek 모델들

참고
다양한 모델 크기(5B~671B 파라미터)가 존재합니다. 모델이 클수록 GPU 메모리가 더 많이 필요하니 참고하세요.

 

예를 들어, 8B(80억) 파라미터 버전은 VRAM 8GB 이상의 GPU로도 무난히 구동할 수 있습니다. 반면 더 큰 모델(수천억~수천억 단위 파라미터)은 훨씬 높은 사양의 GPU 혹은 다중 GPU 환경이 요구됩니다.

예시: 8B 모델 다운로드 및 실행

아래 명령어를 터미널에서 실행하면 8B 파라미터 모델을 다운받을 수 있습니다.

ollama run deepseek-r1:8b

 

모델 파일(약 4.9GB)이 다운로드되므로, 충분한 디스크 공간을 확보해두세요. 다운로드가 끝나면 바로 로컬 PC에서 모델이 구동됩니다.

다운로드가 완료된 시점부터는 인터넷 연결이 끊겨도 모델이 동작합니다. 다음과 같이 대화형으로 바로 질문을 던질 수 있습니다.

deepseek r1 모델 다운로드

deepseek r1 모델 다운로드

> Prompt: What is DeepSeek R-1?
<< Response: DeepSeek-R-1 is an AI assistant developed by the Chinese company DeepSeek ...

깊이가 있는 추론을 빠르게 해내며, 인터넷에 연결되어 있어도 웹에 직접 액세스하진 않는다는 점도 확인할 수 있습니다.

> Prompt: What’s the latest price of AAPL?
<< Response: As an AI assistant, I don’t have real-time data access ...

---

Ollama로 할 수 있는 다른 작업

• LLaMA2, Phi 4, Mistral, Gemma 2 등 다양한 LLM을 로컬에서 실행
• 자신만의 LLM 생성 및 공유
• 모델 가중치와 설정값, 데이터를 단일 패키지로 번들링
• GPU 사용 최적화 및 다양한 구성 지원

---

GPU와 VRAM 요구 사항

DeepSeek-R1의 VRAM 요구 사항은 모델 크기, 파라미터 수, 양자화(quantization) 여부 등에 따라 달라집니다. 아래는 VRAM 요구량에 대한 대략적인 가이드와 권장 GPU 목록입니다.

• 대형 모델(예: 670B 파라미터 등)
  • 단일 GPU로는 무리가 있음. 다중 GPU 구성(NVIDIA A100, H100 등) 고려
• 중간 모델(수십~수백억 파라미터대)
  • 16~24GB VRAM의 고사양 단일 GPU 혹은 여러 GPU 병렬 구성
• 소형·Distilled 모델(8B 이하)
  • 8GB 이하 VRAM에서도 구동 가능
• 추가 메모리 고려
  • 추론 중 활성화 함수(activations)나 버퍼, 배치 처리 과정 등에서 추가 메모리 사용 발생 가능

---

로컬에서 실행하는 이유

DeepSeek 웹 버전이나 모바일 앱이 무료로 제공되고, “DeepThink”나 웹 검색 같은 편리한 기능도 갖추고 있습니다. 하지만 로컬 실행을 고려해볼 만한 이유가 몇 가지 있습니다.

1. 개인정보 보호
   웹이나 앱을 사용할 때는 입력한 질문과 첨부 파일이 DeepSeek 서버로 전송됩니다. 해당 데이터가 어떻게 쓰이는지 모르는 상황에서, 로컬 실행은 내 데이터를 온전히 내 PC에만 두는 방법입니다.
   
   
2. 오프라인 환경에서도 사용 가능
   로컬 모델은 인터넷 연결이 없어도 동작합니다. 여행 중이나 인터넷 연결이 불안정한 상황, 혹은 단순히 오프라인 작업을 선호할 때도 문제없이 사용할 수 있습니다.
   
   
3. 미래 대비
   DeepSeek이 지금은 무료지만, 앞으로 영구적으로 무료일 것이라는 보장은 없습니다. 추후 요금제가 생기거나 사용량에 제한이 생길 수 있는데, 로컬 버전을 쓰면 이러한 제약을 전혀 받지 않습니다.
   
   
4. 유연한 활용
   로컬 모델은 원하는 대로 파인튜닝하거나, 다른 툴과 연동해 자동화 워크플로우를 구성할 수 있습니다. 모델 인터페이스나 핵심 설정을 자유롭게 수정하는 것도 가능하죠.

---

마무리

DeepSeek R-1은 분명 흥미로운 모델입니다. 웹이나 모바일 앱 버전이 따로 제공되어 간편하지만, 그만큼 사용자 데이터가 어떻게 쓰이는지 확실치 않은 것도 사실입니다. 데이터 프라이버시에 신경 쓰이는 분이라면, 직접 로컬에 모델을 설치해 사용하는 것을 추천합니다.

 

DeepSeek 모델들은 GPU 사양이 아주 높지 않아도 꽤 원활하게 돌아가도록 만들어졌습니다. 물론 DeepSeek-R1-Zero처럼 초대형 모델은 다중 GPU 설정이 필수이지만, Distilled 모델들은 단일 GPU에서도 충분히 구동 가능합니다.

 

추가로, 터미널 사용이 익숙하지 않은 분들은 Gradio나 Chatbox AI 같은 도구로 간단한 웹 UI를 덧붙일 수도 있습니다. 이 방법은 다음 글에서 자세히 다룰 테니, 궁금한 점이 있으면 댓글로 남겨주세요!

그럼 오늘 포스팅이 도움이 되길 바랍니다. 궁금한 점이나 문제가 있다면 언제든 공유해 주세요. 감사합니다.

 

A.I 관련 글을 보고 싶으시다면 아래 링크를 클릭하세요 :)
사이트 이동하기