"요약해줘"라고 입력하면 AI가 알아서 핵심만 골라줄 거라 생각했습니다. 저도 처음엔 그랬습니다. 그런데 결과물을 받아보고 나서 그게 착각이었다는 걸 바로 깨달았습니다. 핵심이 빠진 채 말만 줄어든 문서, 실제로 보고에 쓸 수 있는 내용은 하나도 없었습니다. AI 요약은 잘 쓰면 강력한 도구지만, 설계 없이 던지면 그냥 단어만 압축한 덩어리가 돌아옵니다.
프롬프트 설계 없이는 요약도 없다
AI에게 긴 기획서나 회의록을 붙여 넣고 "요약해줘"라고만 쓰면 어떻게 될까요. 제가 직접 써봤는데, 결과는 대부분 비슷했습니다.
분량은 줄어들었지만 정작 의사결정에 필요한 내용은 사라지고, 배경 설명만 남아 있는 경우가 많았습니다.
이 문제는 프롬프트 엔지니어링(Prompt Engineering) 개념과 직결됩니다. 프롬프트 엔지니어링이란 AI 모델이 원하는 결과를 출력하도록 입력 문장을 전략적으로 설계하는 기술을 의미합니다. 단순히 말을 잘 고르는 것이 아니라, AI가 어떤 기준으로 정보를 판단하고 출력할지를 사전에 구조화하는 작업입니다.
저는 이걸 이해하고 나서 요청 방식을 완전히 바꿨습니다. 이제는 "목적 + 독자 + 깊이 + 출력 형식"을 한 번에 지정합니다. 예를 들어 이런 식으로 입력합니다.
- 보고 목적: 임원 주간 보고용
- 대상 독자: 비전공 임원진
- 요약 깊이: 핵심 의사결정 중심 5줄
- 출력 형식: 리스크 항목 포함 리스트
이렇게 지정하면 결과물이 완전히 달라집니다. 솔직히 이건 예상 밖이었습니다. 같은 문서를 넣었을 뿐인데 바로 보고에 붙일 수 있는 수준으로 달라졌으니까요. OpenAI 공식 가이드에서도 프롬프트에 맥락과 기준을 명시할수록 출력 품질이 높아진다고 설명하고 있습니다(출처: OpenAI Prompt Engineering Guide).
정보 재구성, AI가 실제로 하는 일
AI가 문서를 요약할 때 단순히 긴 문장을 짧게 자르는 게 아닙니다. 이 부분을 오해하는 분들이 꽤 많습니다. 실제로는 자연어 처리(NLP, Natural Language Processing) 기반으로 작동합니다. NLP란 컴퓨터가 인간의 언어를 이해하고 분석하며 생성하는 기술 전반을 의미하는데, AI 요약은 이 NLP 기술을 활용해 문서 전체의 의미 구조를 분석하고 어떤 정보가 중요한지 확률적으로 판단한 뒤 다시 정리하는 방식으로 작동합니다.
문제는 여기서 발생합니다. "확률적으로 중요하다고 판단"한다는 말은, 기준이 없으면 AI 스스로 기준을 만든다는 뜻이기도 합니다. 프롬프트가 애매하면 중요도 기준도 애매해지고, 결국 핵심이 빠진 결과물이 나옵니다. 제 경험상 이건 좀 다릅니다. AI 성능이 부족한 게 아니라, 요청하는 사람이 기준을 주지 않은 게 문제인 경우가 대부분이었습니다.
특히 회의록 요약에서 이 차이가 극명하게 드러납니다. 예전에는 회의록 하나 정리하는 데 몇 시간씩 걸렸습니다. 지금은 한 시간도 안 걸립니다. 달라진 건 AI 자체가 아니라 제가 넣는 기준이었습니다. "결정 사항 중심", "액션 아이템 포함", "담당자 명시"처럼 중요도 기준을 미리 주면 AI는 그 기준에 따라 정보를 재구성합니다. IBM의 NLP 기술 문서에서도 언어 모델의 요약 품질은 입력 데이터의 구조화 수준에 크게 의존한다고 설명합니다(출처: IBM Natural Language Processing).
토큰(Token) 관점에서도 이 문제를 볼 수 있습니다. 토큰이란 AI 모델이 텍스트를 처리할 때 사용하는 최소 단위로, 단어나 단어의 일부를 의미합니다. 문서가 길수록 처리할 토큰 수가 많아지고, 기준 없이 압축할 경우 후반부 내용이 앞부분보다 덜 반영되는 현상이 나타날 수 있습니다. 긴 문서일수록 입력을 섹션별로 나눠서 요약을 요청해야 정확도가 올라가는 이유가 여기에 있습니다.
요약 품질을 결정하는 건 AI가 아니라 설계다
그러면 어떻게 해야 요약 품질을 높일 수 있을까요. 저는 이 기준을 실무에서 쓰면서 정리했습니다.
- 목적 지정: 보고용인지, 이해용인지, 공유용인지 먼저 구분합니다. 같은 문서라도 목적에 따라 남겨야 할 정보가 완전히 달라집니다.
- 독자 설정: 임원이면 결론 중심, 개발자면 기술 세부사항 포함, 비전공자면 배경 설명 강화 방식으로 달라집니다.
- 깊이 지정: "3줄 요약"과 "핵심 항목별 상세 요약"은 용도가 다릅니다. 압축 수준을 명시해야 의도한 밀도가 나옵니다.
- 중요도 기준 제시: "수치 중심", "리스크 중심", "결정 사항 중심" 같은 기준을 주면 AI는 그 기준으로 문서를 재구성합니다.
- 출력 형식 지정: 리스트, 표, 문단형 중 어떤 형식으로 받을지 미리 지정하면 가독성과 활용도가 함께 올라갑니다.
이 다섯 가지를 한 번에 프롬프트에 담으면 결과물이 실무 수준으로 바뀝니다. 제가 직접 써봤는데, 이 방식으로 바꾼 뒤부터 AI가 만든 요약을 수정 없이 바로 붙여 쓸 수 있게 됐습니다.
결국 AI 요약에서 가장 중요한 건 단순 압축이 아니라 시맨틱 구조화(Semantic Structuring)입니다. 시맨틱 구조화란 정보가 가진 의미 관계를 기반으로 내용을 체계적으로 재배열하는 것을 의미합니다. AI는 이 구조를 스스로 만들기도 하지만, 사람이 먼저 기준을 주면 훨씬 정확하게 작동합니다. 요약의 품질은 AI 성능보다 "무엇을 중요하다고 정의했는가"에 더 크게 달려 있습니다.
AI 요약을 쓰고 있는데 결과물이 계속 아쉽다면, AI 모델을 바꾸기 전에 프롬프트 설계부터 다시 보시길 권합니다. 도구는 충분히 좋습니다. 문제는 대부분 입력 쪽에 있습니다. "요약해줘" 한 줄 대신 목적과 독자와 기준을 같이 써보면, 이전과 전혀 다른 결과를 받게 될 겁니다.