발표 · 01 / 음성 AI 비서 소개

말 한마디로 내 일을 처리하는 AI 비서

수만 원대 작은 기기 + 여러 AI가 함께 일하는 비서

서인수

AIoT 분야 활동 · GPTers 스마트홈·음성 AI 스터디

유비유넷 · 음성 AI 비서 · 서인수01 / 18
발표 · 02 / 왜 만들었나

일정 하나 보려다, 다른 앱까지 열어본 적 있나요?

필요한 것만 묻고, 듣고, 하던 일로 돌아갑니다.

일정

“오늘 일정 알려줘.”

할 일

“할 일 목록 알려줘.”

메일

“이메일 왔어?”

유비유넷 · 음성 AI 비서 · 서인수02 / 18
발표 · 03 / 기존 AI 스피커와 무엇이 다른가

대화에서 끝나지 않고, 내 일까지 처리합니다

정해진 명령이 아니라, 내가 쓰는 서비스에 연결합니다.

기존 AI 스피커

날씨·음악·정해진 명령은 잘하지만, 내 일정·할 일·메일과는 잘 연결되지 않았습니다.

이번 음성 비서

구글 캘린더·할 일·메일을 직접 조회하고, 할 일을 완료 처리합니다.

비용

기기는 수만 원대. AI 서비스 이용료는 사용량에 따라 별도입니다.

기기 가격은 구매 시점에 따라 달라질 수 있습니다 · AI·서버 이용료 별도
유비유넷 · 음성 AI 비서 · 서인수03 / 18
발표 · 04 / 핵심 생각

일은 AI 에이전트가, 음성 기기는 편리한 입구가

작은 기기에 모든 기능을 넣지 않습니다.

음성 기기

말을 듣고, 대답을 들려주는 입구

AI 에이전트

요청을 이해하고, 필요한 도구로 일을 처리

내 서비스

구글 캘린더 · 할 일 · 메일 · 텔레그램

유비유넷 · 음성 AI 비서 · 서인수04 / 18
발표 · 05 / 어떻게 연결되나

말 한마디가 일로 이어지는 길

대답은 같은 길을 거꾸로 돌아와 음성으로 들립니다.

나 / 음성 기기

“오늘 일정 알려줘”

음성 AI

말을 글로 바꾸고, 무슨 뜻인지 판단

AI 에이전트

내 계정으로 일정·할 일·메일 처리

구글 서비스

캘린더 · 할 일 · Gmail

음성 AI: xiaozhi.me · AI 에이전트: Hermes · 연결부는 직접 구성
유비유넷 · 음성 AI 비서 · 서인수05 / 18
발표 · 06 / 시스템 구성도

요청을 처리하는 시스템 구성도

음성 대화, 빠른 조회, 알림은 각자 맡은 경로로 움직입니다.

VM · 상시 실행 서비스 s3box음성 입출력 · 버튼 xiaozhi.me음성 인식 · 대화 Hermes 게이트웨이요청 판단 · 에이전트 처리 s3box MCP 브릿지도구 연결 · 빠른 조회 메일·일정 알림 서버 Google 서비스캘린더 · 할 일 · GmailApps Script 연동 알림 수신기기 음성 · 텔레그램 WebSocket 요청·응답 조회·처리 음성 알림 전송 처리 보고
VM 서비스: Hermes 게이트웨이 · s3box MCP 브릿지 · 메일 알림 서버
유비유넷 · 음성 AI 비서 · 서인수06 / 18
발표 · 07 / 기기 소개

책상 위 작은 비서, s3box

마이크 2개 · 스피커 · LED 링 · 버튼 3개 · 화면

보드: Waveshare ESP32-S3-AUDIO-Board · 화면: 외장 LCD(320×240)
유비유넷 · 음성 AI 비서 · 서인수07 / 18
발표 · 08 / 보드 사양

오디오·화면·카메라 연결이 한 보드에

핀 배치도를 보며 주요 부품과 확장 연결을 살펴봅니다.

ES7210·ES8311 오디오, SPI/QSPI LCD, 카메라, TF 카드, 버튼과 GPIO 연결을 표시한 보드 핀 배치도

음성 입출력

ES7210 마이크 코덱 · ES8311 스피커 코덱 · I²S

LCD·터치

SPI/QSPI LCD · 터치 I²C · GPIO 3–11

카메라·저장

카메라 D0–D7 · TF 카드 SDMMC

버튼·표시등

BOOT GPIO0 · KEY1–3 · WS2812 GPIO38

핀 배치도: Waveshare ESP32-S3-AUDIO-Board · GPIO 번호는 첨부된 보드 그림 기준
유비유넷 · 음성 AI 비서 · 서인수08 / 18
발표 · 09 / 하루 사용 장면

이렇게 쓰고 있습니다

아침부터 저녁까지, 말과 버튼으로

아침

“자비스, 오늘 일정 알려줘” → 오늘 일정을 시간순으로

할 일 완료

버튼을 누르면 2~4초 안에 완료, 파란 불로 바로 확인

알림

“따끈따끈한 메일이 왔어요”, 일정 30분 전 알림

읽어주기

뉴스레터·기사를 요약해 주고, “계속 읽어줘”로 전문까지

유비유넷 · 음성 AI 비서 · 서인수09 / 18
발표 · 10 / LIVE DEMO

화면을 열지 않고, 오늘 할 일을 확인해 보겠습니다

일정 → 할 일 → 버튼 → 메일

01 · 일정

“자비스, 오늘 일정 알려줘.”

02 · 할 일

“할일 목록 알려줘.”

03 · 버튼

1번 버튼으로 첫째 할 일 완료

04 · 메일

“이메일 있어?”

시연 명령 예시 · 실제 응답은 연결된 데이터에 따라 달라집니다.
유비유넷 · 음성 AI 비서 · 서인수10 / 18
발표 · 11 / 여러 AI가 역할을 나눕니다

AI 한 명이 아니라, 작은 팀이 일합니다

각자 잘하는 일만 맡깁니다.

듣는 AI

말을 알아듣고, 누구에게 맡길지 판단

일하는 AI

내 계정으로 일정·할 일·메일 처리

빠른 처리 담당

자주 묻는 질문과 버튼은 바로 처리

알림 담당

메일·일정 알림, 늦은 결과를 음성으로 보고

기기마다 전용 AI 에이전트를 따로 두어 서로 섞이지 않게 했습니다
유비유넷 · 음성 AI 비서 · 서인수11 / 18
발표 · 12 / 빨라진 비결

자주 묻는 질문은, 생각하지 않고 바로 답합니다

매번 AI가 고민할 필요가 없는 일은 따로 처리합니다.

예전

“오늘 일정 알려줘” → AI가 여러 번 생각하느라 26~66초

지금

정해진 질문은 바로 조회 → 3~5초

버튼

AI를 거치지 않고 바로 완료 → 2~4초

측정값: 실제 사용 로그 기준
유비유넷 · 음성 AI 비서 · 서인수12 / 18
발표 · 13 / AI에게 예절 가르치기

언제 말하고, 언제 기다릴지

음성 비서는 똑똑함보다 예의가 더 중요했습니다.

짧게 대답

불렀을 때는 “네, 말씀하세요.”만

기다리기

“아”, “어” 같은 소리에는 대답하지 않기

끼어들기 선택

3번 버튼으로 “말하는 중에도 듣기”를 켜고 끄기

유비유넷 · 음성 AI 비서 · 서인수13 / 18
발표 · 14 / 어떻게 만들었나

AI에게 불편한 점을 한 문장으로 말했습니다

코딩은 AI 코딩 도우미(Claude Code)가 맡았습니다.

실제 요청 1

“처음에 자비스를 부르면 대답이 너무 길다. 간단히 ‘네 말씀하세요’라고만 대답 해줘”

실제 요청 2

“요약 먼저 해주고 계속 읽어줘 하면 전문 읽어줘”

실제 요청 3

“버튼 누르면 딜레이 없이 led에 파란불이 바로 점멸하게 할 수 있나?”

도구: Claude Code(AI 코딩 도우미) · 사용자 요청 원문
유비유넷 · 음성 AI 비서 · 서인수14 / 18
발표 · 15 / 시행착오

숫자로 고치니 빨리 좋아졌습니다

느낌이 아니라 측정한 값으로 원인을 찾았습니다.

찢어지는 목소리

음성 조각 손실 470번 → 0번(전송 방식 변경)

잘못 알아들음

말소리가 너무 작음 → 마이크 증폭 조정 후 정확도 개선

자기 목소리 착각

반향 제거 신호가 거의 0 → 고친 뒤 해결

유비유넷 · 음성 AI 비서 · 서인수15 / 18
발표 · 16 / 따라 해 보기

작게 시작하면 됩니다

처음부터 기기가 없어도 괜찮습니다.

1단계

PC나 휴대폰으로 AI 에이전트에 일정 하나 연결

2단계

음성 기기(수만 원대)로 말로 묻기

3단계

자주 쓰는 질문·버튼·알림을 하나씩 추가

유비유넷 · 음성 AI 비서 · 서인수16 / 18
발표 · 17 / 정리

매일 쓰는 기능 하나가 비서를 만듭니다

반복해서 번거로운 일 하나를 떠올려 보세요.

오늘의 요점

일은 AI 에이전트가, 음성은 입구가

써 보니

빠르고, 예의 바르고, 확실한 것이 계속 쓰게 만듭니다

여러분께

말 한마디로 끝내고 싶은 일은 무엇인가요?

유비유넷 · 음성 AI 비서 · 서인수17 / 18
Q&A · 18 / Q&A

궁금한 점을 나눠 주세요

기기, 연결 방법, 비용, 활용 아이디어 무엇이든

기기

어떤 기기로 시작하면 좋을까?

연결

내 구글 계정은 안전한가?

활용

우리 집·회사에는 어떻게 쓸까?

유비유넷 · 음성 AI 비서 · 서인수18 / 18