mlx-whisper-meeting-pipeline — 한국어 회의록 파이프라인

프로젝트 요약

한국어 회의록 자동화 파이프라인. 인식 오류의 원인을 다시 정의해 피드백 루프를 넣었고, 회의당 검증완료 매핑이 5개에서 16.8개로 늘었다.

담당 범위

설계·개발 (개인 프로젝트)을 맡은 개인 프로젝트다. 공개 저장소에서 코드와 사용 방법을 확인할 수 있다.

문제와 구현 접근

macOS 음성메모 → mlx-whisper + pyannote(화자 분리) + Claude CLI → 마크다운 노트로 이어지는 한국어 회의록 자동화 파이프라인.

판단 1 — 오인식의 원인을 바꿔 봤다. 이름·용어가 계속 틀리는 원인을 ASR 모델 정확도가 아니라 오디오 자체의 애매성으로 보고, 모델을 바꾸는 대신 확정된 'STT 변형 → 정정' 매핑을 누적해 다음 회의 프롬프트에 주입하는 피드백 루프를 넣었다. 기존 노트 32개를 이 구조로 재생성하자 회의당 검증완료 매핑이 평균 5개에서 16.8개로 늘었다(약 3.4배).

판단 2 — 전사와 화자 분리에 같은 오디오를 쓰지 않기로 했다. denoise·loudnorm까지 적용한 오디오를 pyannote에 넣었더니 두 화자가 92%/8%로 붕괴했다. 원본계열 16k mono로 바꾸자 31%/69%로 정상 분리됐다. 전사에는 음성 향상 WAV, 화자 분리에는 원본계열 WAV를 넣는 이중 경로로 확정했다.

판단 3 — 엔진은 실측으로 골랐다. ASR 엔진 4종(mlx-whisper large-v3, Qwen3-ASR, OpenAI gpt-4o-transcribe, GCP Vertex Gemini)을 같은 오디오로 비교해 로컬 mlx-whisper large-v3를 채택하고 클라우드 3종을 기각했다. 기각 사유와 비교표는 저장소에 함께 공개한다.

이 작업에서 한 일

아이디어를 실제로 작동하는 코드로 만들고, 다른 사람이 설치하고 사용할 수 있도록 설명서를 함께 작성했다.

결과물과 원문

관련 등록공보·논문·저장소는 아래 링크에서 볼 수 있다.