모두가 같은 AI를 쓰는 시대, 당신의 무기는 무엇입니까

모델 경쟁이 끝난 자리에 남은 세 가지 질문 — 비용, 보안, 그리고 '나의 일하는 방식'

---

🎬 프롤로그 ─ 두 사람의 이야기

같은 학교, 같은 학년을 가르치는 두 선생님이 있습니다.

이 글은 그 차이가 어디서 오는지, 그리고 우리 개인과 학교가 지금 무엇을 시작해야 하는지에 대한 이야기입니다.

---

1️⃣ "더 큰 모델"의 시대는 끝났습니다

3년 전만 해도 AI 뉴스의 핵심은 늘 한 가지였습니다.

"이번 모델은 파라미터가 몇 조 개입니다."

"이 회사는 GPU를 몇만 장 샀습니다."

크기가 곧 권력이었고, 더 큰 모델이 늘 정답이었습니다.

그런데 2026년 봄, 풍경이 완전히 바뀌었습니다.

쉽게 비유하면 이렇습니다. 같은 자동차 엔진을 두 대의 자동차에 넣었습니다. 한 대는 평범한 세단, 다른 한 대는 정성껏 튜닝한 레이싱카. 결과는 코스를 달려보면 압니다. 엔진(=AI 모델)은 같지만, 그것을 둘러싼 차체·바퀴·기어·운전자 시트(=시스템)가 완전히 다른 결과를 만들어 냅니다.

이 '모델을 둘러싼 모든 것'을 업계는 새로 이름 붙였습니다. 하네스(Harness).

---

2️⃣ '하네스'라는 낯선 단어, 사실은 모두가 이미 갖고 있습니다

"하네스"라는 영어가 낯설다면, 일단 머릿속에서 이 단어를 지워도 됩니다. 우리말로 옮기면 이렇습니다.

말 안장과 마구를 떠올려도 좋습니다. 말은 강합니다. 하지만 안장과 고삐가 없으면 말의 힘을 사람의 일에 연결할 수 없습니다. 하네스는 바로 그 안장입니다. AI라는 강력한 말 위에, 내 일과 연결되는 안장을 얹는 일이 바로 하네스 엔지니어링입니다.

소프트웨어 거장 마틴 파울러는 4월 자신의 블로그에 이렇게 적었습니다.

좀 더 구체적으로, 하네스에는 이런 것들이 들어갑니다.

하네스의 구성 요소	의미	일상 비유
Context 관리	"AI에게 어떤 자료를 미리 보여줄지"	회의 전에 자료 정리해 건네주기
Tool 호출	"AI가 다른 프로그램을 부를 수 있게 하기"	비서가 캘린더·이메일을 직접 다루는 것
Memory	"지난 대화·기록을 잊지 않게 하기"	상담 일지를 차곡차곡 쌓아두는 일
Evaluation Loop	"어제의 답을 점검해 오늘 더 나아지게"	수업 후 자기 피드백 적기
Guardrail (안전장치)	"절대 하면 안 되는 일을 막아두기"	정보를 외부에 보내지 않도록 잠그기

---

3️⃣ 모델은 평준화됐습니다 ─ 그래서 진짜 경쟁이 시작됩니다

OpenAI, Google, Anthropic, Meta, DeepSeek, 그리고 한국의 Upstage까지. 2026년 현재 최상위권 모델들의 실력은 일반 사용자 입장에서 거의 분간이 안 됩니다. 미세한 벤치마크 차이는 있지만, 일상 업무에선 다 잘합니다.

이게 바로 'AI 평준화' 시대입니다. 그리고 평준화가 의미하는 건 분명합니다.

업계 분석은 이를 한 줄로 정리합니다. "2026년의 차별점은 모델 자체가 아니라, AI 능력을 측정 가능한 비즈니스 결과로 바꾸는 운영 규율(operational discipline)에 있다."⁴

평범한 말로 옮기면 이렇습니다.

• 같은 ChatGPT를 쓰는데, 어떤 사람은 보고서를 30분 만에 끝내고
• 어떤 사람은 여전히 3시간씩 헤맵니다.

차이는 모델이 아니라, 그 사람의 워크플로우(=하네스)입니다.

그리고 평준화 시대에 우리가 진짜로 신경 써야 할 세 가지가 떠오릅니다.

---

4️⃣ '내 노트북 안의 AI' ─ Local LLM이 현실이 된 이유

여기서 자연스럽게 떠오르는 질문. "그럼 어떻게 안전하면서 비용도 없는 AI를 쓸 수 있을까?"

답은 로컬(Local) LLM입니다. 클라우드를 거치지 않고, 내 노트북·내 책상 위 컴퓨터 안에서 직접 돌아가는 AI입니다. 데이터는 밖으로 나가지 않습니다. 인터넷이 끊겨도 작동합니다. 매달 청구서도 없습니다.

3년 전만 해도 "노트북에서 AI를 돌린다고? 그게 쓸만 하겠어?" 라는 반응이 정상이었습니다. 그런데 두 가지 사건이 풍경을 바꿨습니다.

첫째, Apple M5 칩의 등장. Apple의 자체 벤치마크에 따르면, 2026년 출시된 M5 칩은 첫 응답 속도에서 이전 세대보다 3~4배 빨라졌습니다.⁶ 200억 파라미터 모델이 베이스 모델 맥북 프로에서 3초 안에 첫 단어를 만듭니다. 평범한 사용자의 일상 노트북에서 말입니다.

둘째, DeepSeek V4 같은 고성능 무료 모델의 등장. 4월 24일 공개된 DeepSeek V4는 OpenAI 최상위 모델의 거의 80% 수준 성능을, 누구나 무료로 다운로드해 쓸 수 있게 풀었습니다.⁷ 한때 데이터센터급이라 불렸던 성능이 노트북으로 들어온 셈입니다.

이 두 가지가 만나면서, 이런 풍경이 생겼습니다.

구분	🌐 클라우드 AI	🛡️ 로컬 LLM + 나의 하네스
비용	💸 매월 수십만 원	💚 비용 0원
데이터	외부 서버로 전송	🔒 100% 내 노트북 안
속도	⏳ 서버 다운·지연 가능	⚡ 즉시 응답·오프라인 가능
자유도	🧱 외부 정책에 종속	🛠️ 완전 커스터마이징

미국에선 이미 학구(學區) 단위로 도입이 시작됐습니다. 교육 IT 매체 GovTech의 2026년 보도에 따르면, 일부 학구에서 Ollama + Open WebUI 같은 오픈소스 도구를 활용해 학교 내부 서버에서만 작동하는 AI를 운영 중입니다. "가장 안전하고 가장 저렴한 옵션은 학교가 직접 호스팅하는 LLM"이라는 결론이 나오고 있습니다.⁸

한국도 움직이기 시작했습니다. AMD와 한국의 Upstage는 3월에 Sovereign AI 인프라 협력을 발표했습니다.⁹ 정부 역시 7,350억 달러 규모의 자체 AI 인프라 이니셔티브를 추진 중입니다.¹⁰ 큰 그림에서 "우리 데이터는 우리 인프라 위에서"라는 흐름이 분명해진 겁니다.

기업이 자기 데이터를 자기 인프라 위에서 굴리는 시대. 개인과 학교라고 다를까요?

---

5️⃣ 그래서, 어디서부터 시작해야 할까요 ─ '내 워크플로우'부터

로컬 LLM은 매력적이지만, 노트북 사양·IT 권한·학교 보안 정책 같은 현실의 벽이 있습니다. 그러니 오늘 당장 할 수 있는 것부터 시작합니다. 새 노트북도, 새 프로그램도 필요 없습니다. 첫 단계는 기술이 아니라 자기 관찰입니다.

---

6️⃣ 학교와 조직에게 ─ 거창한 인프라보다 '약속'이 먼저

"공용 AI 서버 한 대를 들이자"는 제안은 매력적이지만 당장은 무리입니다. 예산·행정·보안 심의는 느리게 움직이고, 운영·업데이트·책임 소재가 모호하면 결국 비싼 먼지받이가 됩니다. 그래서 순서를 거꾸로 가야 합니다. 돈 한 푼 들이지 않고도 오늘부터 할 수 있는 일이 먼저입니다.

① 학교 차원의 'AI 신호등' 합의 — 앞서 개인용 신호등을 공식 가이드라인으로 만듭니다. A4 한 장이면 충분합니다. 가장 저렴하고 가장 효과적인 첫 단추입니다.

② 공용 '프롬프트 도서관' — 서버는 못 사도 공용 폴더 하나는 오늘 만들 수 있습니다. 잘 다듬은 프롬프트 하나가 동료 50명에게 몇 시간씩 아끼는 도구가 됩니다. 워크플로우는 공유될 때 학교 전체의 자산이 됩니다.

③ '표준 워크플로우' 5~7개 — 가장 자주 반복되는 일(가정통신문, 평가 피드백, 상담 요약, 회의록, 성찰일지…)에 어떤 단계엔 어떤 도구를 어떻게 쓰는지 정해 둡니다. 그러면 새 교사가 와도, 새 모델이 나와도 일하는 방식이 흔들리지 않습니다.

④ 학교에 맞는 도구 고르기 — 범용 클라우드 AI가 한국 학교에 잘 맞지 않을 때(한글 HWP, NEIS 연동, 공교육용 개인정보 기준 등), 그 틈을 공교육 특화 Vertical AI가 메우기 시작했습니다. 국내에는 「마이클(MyCL)」¹¹, 서울특별시 교육청의 SenGPT 같은 자체 행정 AI 등이 있습니다. 어느 쪽도 만능은 아니고 여전히 외부 서버에 데이터가 저장되는 SaaS이지만, "개인 ChatGPT보다 학교 기준에 맞고, 자체 로컬 인프라보다 가볍다" 는 점에서 중간 다리가 됩니다. 도입 시엔 ①의 신호등 기준으로 어떤 자료까지 입력 가능한지 학교가 직접 검증해야 합니다.

⑤ 단계적 로드맵

단계	무엇을
1단계 (지금)	신호등 가이드 + 프롬프트 도서관 + 표준 워크플로우 + 학교에 맞는 도구 시범 운영
2단계	국내 Sovereign AI 서비스(데이터 국내 보관형) 시범 검토
3단계	학교·지역 단위 로컬 AI 인프라 — 하드웨어·운영 부담이 충분히 낮아진 뒤

핵심은 순서를 거꾸로 가지 않는 것입니다.

---

🎬 에필로그 ─ 모델을 기다리지 마세요, 자동차를 만드세요

다시 처음의 두 선생님 이야기로 돌아가 봅니다.

3년 전엔 "더 큰 모델이 답"이 시의적 주제였습니다. 지금은 "어떤 시스템을 만들 것인가"가 영원한 질문이 되었습니다.

모델 사이즈 경쟁은 끝났습니다. 이제는 시스템을 만드는 능력, 그리고 자기 데이터를 자기 손 위에 두는 용기의 경쟁입니다. 그 첫 걸음은 거창한 코딩도, 비싼 GPU도 아닙니다. 오늘 오후, 내가 매일 하는 일을 한 장에 적어보는 것부터 시작합니다.

---

🔗 관련 노트

• Harness_Engineering_KO_2026-05-04 — 하네스 엔지니어링의 원전 분석
• Harness_Engineering_LongBlack_KO_2026-05-04 — 하네스 엔지니어링 롱블랙 정리
• 옆반선생님도ChatGPT를쓴다_KO_2026-05-03 — 교실 현장의 AI 격차
• 2026년, 로컬 LLM의 시대가 시작된다 — 로컬 LLM 도입 전망
• KV캐시_양자화_로컬LLM의_역설_KO_2026-04-25 — 로컬 LLM 기술 동향
• AI_트렌드_2026_모델보다_활용의_시대_KO_2026-04-05 — 모델보다 활용이 중요해진 흐름
• LLM_지식베이스_혁명_KO_2026-04-03 — 개인 지식베이스와 LLM

---

📚 자료 출처

Footnotes

1. Harness Engineering for Coding Agent Users | Martin Fowler (2026.04) ↩

2. Meta-Harness: End-to-End Optimization of Model Harnesses (Lee et al., 2026) ↩

3. Harness Engineering – first thoughts | Martin Fowler (2026.04.02) ↩

4. Harness Engineering: Structured Workflows for AI-Assisted Development | Red Hat Developer (2026.04.07) ↩

5. 생성형 인공지능(AI) 개발·활용을 위한 개인정보 처리 안내서 | 개인정보보호위원회 (2025.08) ↩

6. Best Open-Source AI Models for M5 Mac in 2026 | Fello AI ↩

7. DeepSeek V4 — almost on the frontier, a fraction of the price | Simon Willison (2026.04.24) ↩

8. CITE25: Local LLMs Confer Advantages in Data Security, Support | GovTech (2026) ↩

9. AMD and Upstage Expand Strategic Collaboration to Advance Sovereign AI Infrastructure in Korea | AMD Newsroom (2026.03.18) ↩

10. South Korea's $735B Sovereign AI Initiative | Introl ↩

11. 공교육 특화 멀티 LLM 「마이클(MyCL)」 | 테크빌교육 · 마이클 공식 홈페이지 ↩