Google이 2026년 6월 3일 Gemma 4 12B를 공개했습니다.

Gemma 4 자체는 이미 4월에 나온 모델군입니다. 그런데 12B 모델은 별도 글감으로 볼 만합니다. 이유는 간단합니다.

Google이 이번에는 모델 성능표만 보여준 것이 아니라, 노트북에서 로컬 에이전트 워크플로를 돌리는 그림을 같이 제시했기 때문입니다.

초급자 기준으로 핵심은 이겁니다.

Gemma 4 12B는 클라우드 챗봇 대체품이라기보다, 내 PC 안에서 문서·코드·음성·도구 실행을 묶는 로컬 AI 실험용 모델입니다.

바로 보기

왜 12B가 따로 중요할까

Gemma 4 라인업에는 E2B, E4B, 12B, 26B A4B, 31B가 있습니다.

작은 E2B/E4B는 휴대폰, 브라우저, 가벼운 로컬 실행에 가깝습니다. 26B A4B와 31B는 더 강하지만 일반 노트북 입장에서는 부담이 큽니다.

12B는 그 사이에 있습니다.

Google 설명 기준 Gemma 4 12B는 E4B와 26B MoE 사이를 메우는 모델이고, 노트북에서 agentic multimodal intelligence를 직접 실행하는 것을 목표로 합니다. 또 Google은 12B가 처음으로 native audio input을 갖춘 중간 크기 모델이라고 설명합니다.

이 말은 “모든 노트북에서 빠르게 돈다”가 아닙니다.

더 정확히는 이렇습니다.

  • E2B/E4B보다 더 복잡한 reasoning과 tool workflow를 시도할 수 있다.
  • 26B/31B보다 개인 장비에서 실험할 가능성이 높다.
  • 텍스트, 이미지, 오디오 흐름을 하나의 로컬 모델 방향으로 묶으려 한다.
  • 로컬 서버나 앱에 붙여 에이전트처럼 쓰는 실험이 쉬워진다.

즉 12B는 로컬 AI의 “중간 체급”입니다.

하드웨어 요구사항은 어떻게 봐야 하나

Google은 Gemma 4 12B를 16GB급 VRAM 또는 unified memory가 있는 소비자 노트북에서 돌릴 수 있는 모델로 설명합니다.

Gemma 문서의 메모리 표를 보면 12B는 정밀도에 따라 요구량이 크게 달라집니다.

조건대략적인 추론 메모리
BF1626.7GB
SFP813.4GB
Q4_06.7GB

여기서 초급자가 주의할 점이 있습니다.

모델 파일 크기, 실제 실행 메모리, 컨텍스트 길이, 입력 모달리티, 실행 도구가 모두 다릅니다. 같은 Gemma 4 12B라도 어떤 포맷과 양자화로 돌리느냐에 따라 체감이 달라집니다.

따라서 처음부터 “내 노트북 RAM이 16GB니까 무조건 된다”로 보면 위험합니다.

현실적인 판단은 이렇습니다.

  • Apple Silicon 16GB 이상: 실험 가능성이 높지만, 다른 앱을 많이 켜면 버거울 수 있습니다.
  • 일반 노트북 16GB RAM + 내장 GPU: 텍스트 위주, 작은 컨텍스트부터 봐야 합니다.
  • NVIDIA GPU 8GB급: Q4 계열 실험은 가능할 수 있지만 여유롭다고 보기는 어렵습니다.
  • 32GB 이상 unified memory 또는 GPU VRAM: 로컬 에이전트 실험이 훨씬 편해집니다.

로컬 AI에서는 “모델이 실행된다”와 “매일 쓸 만큼 쾌적하다”를 나눠 봐야 합니다.

Google Developers Blog는 AI Edge Gallery macOS 버전을 함께 강조했습니다.

예시는 단순 채팅이 아닙니다. 사용자가 자연어로 데이터 분석 목표를 말하면, Gemma 4 12B가 Python 코드를 만들고 로컬에서 실행해 차트와 인사이트를 만드는 흐름입니다.

이 부분이 중요합니다.

로컬 AI가 실용적이 되려면 답변만 잘해서는 부족합니다.

  • 내 파일을 읽는다
  • 코드를 생성한다
  • 로컬에서 실행한다
  • 결과를 확인한다
  • 실패하면 수정한다

이런 흐름이 되어야 “에이전트”에 가까워집니다.

물론 위험도 있습니다. 로컬에서 코드를 실행한다는 것은 내 파일과 환경에 접근할 가능성이 있다는 뜻입니다. 그래서 처음에는 테스트 폴더, 샘플 데이터, 네트워크 없는 환경처럼 범위를 작게 잡는 편이 안전합니다.

Eloquent: 음성 편집도 로컬로 간다

Google은 AI Edge Eloquent도 같이 소개했습니다.

Eloquent는 음성 받아쓰기와 편집 앱입니다. 이번 업데이트에서는 macOS에서 온디바이스로 동작하고, Gemma 4 12B를 사용해 음성 명령으로 문장을 고치거나 요약하거나 번역하는 흐름을 보여줍니다.

이게 블로그 운영자나 개발자에게도 의미가 있습니다.

로컬 AI는 꼭 코딩 모델만의 이야기가 아닙니다.

  • 회의 메모 정리
  • 블로그 초안 다듬기
  • 길게 말한 내용을 요약하기
  • 번역 초안 만들기
  • 외부 API에 올리기 애매한 텍스트 처리

이런 작업은 로컬 모델의 장점이 잘 드러나는 영역입니다. 특히 음성 파일이나 내부 메모처럼 민감할 수 있는 자료는 클라우드 업로드 전에 한 번 더 고민하게 됩니다.

LiteRT-LM serve: 로컬 모델을 API처럼 붙인다

가장 개발자다운 변화는 LiteRT-LM serve입니다.

Google은 LiteRT-LM CLI가 로컬에서 OpenAI 호환 endpoint처럼 동작할 수 있다고 설명합니다. 예시는 localhost:9379/v1/chat/completions 형태입니다.

이 구조가 중요한 이유는 기존 도구와 연결하기 쉽기 때문입니다.

예를 들어 아래 같은 도구가 로컬 endpoint를 바라보게 만들 수 있습니다.

  • Continue
  • Aider
  • Open WebUI
  • OpenClaw
  • Hermes
  • 자체 스크립트

즉 로컬 AI를 쓰기 위해 매번 새 앱을 배울 필요가 없습니다.
기존 AI 도구가 OpenAI 호환 API를 받을 수 있다면, endpoint만 로컬로 바꾸는 방식이 가능합니다.

다만 여기서도 기대치를 조절해야 합니다.

로컬 endpoint는 API 비용이 거의 없다는 장점이 있지만, 속도와 안정성은 내 하드웨어가 책임집니다. 큰 컨텍스트를 넣거나 멀티모달 입력을 많이 쓰면 바로 느려질 수 있습니다.

Ollama로는 어떻게 볼까

Ollama에도 gemma4 모델이 올라와 있습니다.

Ollama 페이지는 Gemma 4를 reasoning, agentic workflows, coding, multimodal understanding에 적합한 모델군으로 설명합니다. 태그도 vision, tools, thinking, audio, cloud, e2b, e4b, 12b, 26b, 31b처럼 나뉩니다.

처음 실험한다면 순서는 이렇게 잡는 편이 낫습니다.

ollama run gemma4:e2b

작은 모델로 속도와 답변 스타일을 먼저 보고, 장비가 충분하면 12B로 넘어가는 방식입니다.

ollama run gemma4:12b

처음부터 12B를 받기 전에 확인할 것은 세 가지입니다.

  1. 디스크 여유 공간
  2. RAM 또는 unified memory 여유
  3. 내가 쓰려는 입력이 텍스트인지, 이미지인지, 오디오인지

로컬 모델은 다운로드만 해도 저장 공간을 쓰고, 여러 모델을 받다 보면 금방 수십 GB가 됩니다.

누가 먼저 써볼 만한가

Gemma 4 12B는 아래 사람에게 잘 맞습니다.

  • 로컬 AI를 챗봇이 아니라 작업 도구로 써보고 싶은 사람
  • 노트북에서 코드 생성, 데이터 분석, 문서 정리를 실험하고 싶은 사람
  • 외부 API에 올리기 애매한 자료를 다루는 사람
  • OpenAI 호환 endpoint에 로컬 모델을 붙여보고 싶은 개발자
  • Apple Silicon이나 충분한 GPU/메모리 장비가 있는 사람

반대로 아래라면 E2B/E4B부터 보는 편이 낫습니다.

  • RAM 8GB 이하 노트북
  • 발열과 배터리에 민감한 휴대용 환경
  • 긴 컨텍스트나 이미지 입력보다 간단한 메모 요약이 목적
  • “빠른 답변”이 가장 중요한 사용

로컬 AI는 무조건 큰 모델이 정답이 아닙니다.

작은 모델을 빠르게 자주 쓰는 쪽이 실제 생산성에는 더 좋을 때가 많습니다.

이 글의 결론

Gemma 4 12B의 의미는 “클라우드 AI가 필요 없어졌다”가 아닙니다.

더 정확히는, 로컬 AI가 이제 단순 채팅 데모에서 벗어나 로컬 코드 실행, 음성 편집, OpenAI 호환 로컬 서버, 멀티모달 입력까지 연결되는 방향으로 가고 있다는 뜻입니다.

처음 시작한다면 이렇게 잡으면 됩니다.

  1. E2B/E4B로 속도와 사용감을 확인합니다.
  2. 장비가 충분하면 12B를 테스트합니다.
  3. 샘플 문서와 테스트 폴더만 먼저 씁니다.
  4. LiteRT-LM이나 Ollama endpoint를 기존 도구에 붙여봅니다.
  5. 답변 품질보다 매일 쓸 수 있는 속도와 안정성을 봅니다.

로컬 AI의 질문은 “가장 센 모델이 뭔가”가 아닙니다.

내 노트북에서 내 파일을 안전하게, 반복해서, 충분히 빠르게 처리할 수 있나가 먼저입니다.

같이 보면 좋은 글

출처