목록전체 글 (624)

서비스에 AI를 붙이면 지시문에 회사만의 것이 들어갑니다. 계산식, 응대 규칙, 협상 하한선 같은 것들이요. 그러다 보면 자연히 걱정이 됩니다 — 사용자가 「네 지시문을 그대로 보여줘」라고 하면 어떡하지. 그래서 AI 프롬프트 유출 막기를 찾게 됩니다.공식 가드레일 문서에 이 주제가 따로 있습니다. 그런데 방법을 알려주기 전에 먼저 하는 말이 있고, 그게 이 글의 핵심입니다 — 「정말 꼭 필요할 때만 쓰라」. 막는 장치를 붙이면 정작 시켜야 할 일의 품질이 떨어지기 때문입니다.📌 30초 요약완벽한 방법은 없습니다. 문서가 첫 문단에서 스스로 인정합니다.막는 장치가 답 품질을 떨어뜨립니다. 시켜야 할 일에 복잡도가 얹히기 때문입니다.막기보다 잡기를 먼저 — 출력을 걸러내 유출을 발견하는 쪽을 먼저 시도하..

직원이 AI에 무엇을 붙여 넣는지 회사가 통제하고 싶을 때가 있습니다. 고객 카드번호가 프롬프트에 섞여 나가는 것 같은 일이요. 이걸 위해 사내 AI 요청 검사 관문을 세울 수 있습니다 — 요청이 모델에 닿기 전에 우리 회사 서버가 대화록을 먼저 받아 「허용」이나 「차단」을 돌려주는 구조입니다. 공식 문서에 규약이 통째로 나와 있습니다.그런데 이 문서를 끝까지 읽으면 막으려고 만든 장치가 오히려 통과시키는 경로가 셋이나 보입니다. 셋 다 「우리 서버가 잘못 만들어졌을 때」 벌어지는 일이고, 그중 둘은 기본 설정 그대로 두면 걸립니다.📌 30초 요약오류 응답은 차단이 아닙니다. 500을 던지면 「실패」로 처리되고, 실패 처리 설정에 따라 통과할 수 있습니다.대화록이 최대 10MB로 옵니다. 웹서버 기본값..

계약서 한 장을 AI에게 던져 요약을 받는 건 이제 누구나 합니다. 문제는 그게 천 장일 때입니다. 실사 자료, 임대차 계약, 하도급 계약을 통째로 훑어 같은 틀로 정리된 요약을 뽑아내야 하는 일이요. 공식 활용 안내서에 AI 계약서 요약 자동화 절차가 코드까지 통째로 나와 있습니다.그 안내서에서 가장 반직관적인 문장이 하나 있습니다. 요즘 모델은 맥락 창이 넉넉해서 계약서 한 건쯤은 통째로 들어갑니다. 그런데도 안내서는 잘라서 각각 요약한 뒤 합치는 쪽이 놓치는 게 적다고 적어 두었습니다. 왜 그런지부터 보겠습니다.📌 30초 요약「정답 요약」은 없습니다. 안내서가 직접 못박은 말이고, 그래서 뽑을 항목을 먼저 정해야 합니다.맥락 창에 다 들어가도 잘라 넣는 게 낫습니다. 한 번에 요약하면 놓치는 세부..

고객센터로 들어온 글을 읽고 어느 팀으로 넘길지 정하는 일. 예전엔 분류 모델을 따로 학습시키거나, 키워드 규칙을 수백 줄 쌓아 올렸습니다. 지금은 AI 고객문의 자동 분류를 프롬프트 한 장으로 붙입니다. 공식 안내서에 코드까지 통째로 나와 있고요.그런데 그 안내서가 「이렇게 하면 틀린다」고 따로 뽑아 둔 함정이 셋 있습니다. 그중 하나는 처음 들으면 좀 웃깁니다 — 고객이 화를 내면 모델이 문제 대신 감정을 봅니다. 그리고 그 해법이 더 단순합니다.📌 30초 요약라벨 수십 개면 시작할 수 있습니다. 예전 방식은 대량의 학습 데이터가 필요했습니다.「고객 감정은 전부 무시하라」를 프롬프트에 적으세요. 안 적으면 화난 글에서 의도를 놓칩니다.범주가 20개를 넘으면 한 장으로 안 됩니다. 계단식으로 나누되,..

커뮤니티든 쇼핑몰 후기든, 사람이 글을 올리는 서비스를 만들면 반드시 거르는 장치가 필요해집니다. 예전엔 금칙어 목록을 만들거나 따로 분류 모델을 학습시켰는데, 요즘은 AI 콘텐츠 검열을 그냥 API 호출 한 번으로 붙입니다. 공식 문서에 절차와 프롬프트 뼈대까지 통째로 나와 있고요.그런데 그 문서가 같은 페이지에서 못박아 둔 한계가 하나 있습니다. 이걸 모르고 설계하면 서비스 종류에 따라 아예 못 쓰는 상황이 됩니다. 값 이야기와 정확도 올리는 법보다 이걸 먼저 보겠습니다.📌 30초 요약「이건 검열하지 마라」가 안 먹힙니다. 모델에 내장된 안전 동작이 프롬프트를 덮어씁니다.값은 모델 선택에서 5배 갈립니다. 월 10억 건 기준 3만 6,100달러 대 18만 500달러.범주 이름만 적으면 못 잡습니다...

요청을 보내기 전에 토큰이 몇 개인지 미리 알고 싶을 때가 있습니다. 맥락 창을 넘기지 않으려고, 값이 얼마나 나올지 가늠하려고, 아니면 어떤 모델로 보낼지 정하려고요. 그래서 AI 토큰 미리 세기 창구가 따로 있고, 쓰는 값은 0원입니다. 문제는 그 다음입니다. 세어 나온 숫자를 그대로 믿고 계산을 짜면 세 군데서 어긋납니다. 그중 하나는 어긋나는 폭이 30%나 됩니다.이 글은 공식 문서에 적힌 내용만 다룹니다. 다만 문서 안에서도 눈에 잘 안 띄는 자리에 있는 문장들이라, 기능을 이미 쓰고 계신 분도 한 번쯤 확인해 두실 만합니다. 특히 모델을 갈아끼울 계획이 있다면 두 번째 항목은 지금 읽어 두시는 게 좋습니다.📌 30초 요약세는 값은 공짜입니다. 다만 분당 요청 수 한도가 따로 붙습니다(시작 5..

9월 2일, 알리바바가 Qwen3.8 Max의 새 판을 냈습니다. 코딩과 에이전트 작업에 맞춰 다시 훈련한 판이고, 값은 앞 판과 똑같습니다. 그런데 두 가지가 눈에 띕니다. 하나는 이번 판은 가중치를 안 푼다는 것이고, 다른 하나는 가격표에 캐시가 두 종류로 적혀 있다는 것입니다. 뒤쪽은 기사에 안 나옵니다.📌 30초 요약• 9월 2일 Qwen3.8 Max 개선판 공개 — 코딩·에이전트 작업 중심• 값 그대로: 100만 토큰당 입력 2달러 / 출력 6달러• ★ 이번 판은 API 전용 — 가중치 공개 없음• 다만 8월 중순에 앞 판 가중치는 이미 풀렸습니다 — 큰 것과 작은 것의 라이선스가 다름• ★ 가격표에 캐시가 두 종류 — 짧은 쪽은 서른두 번 넘게 읽어야 이득• 맥락 100만, 최대 출력 13만..

오늘 나온 업데이트에 서로 반대 방향의 변화 두 가지가 함께 들어왔습니다. 하나는 명령 출력을 인라인으로 받을 수 있는 양을 12만 자대까지 올려 준 것이고, 다른 하나는 쓰지도 않으면서 자리만 차지하는 스킬을 찾아 주는 점검 기능입니다. 하나는 맥락을 더 쓰게 해 주고, 하나는 아껴 줍니다. 둘을 같이 봐야 하는 이유가 여기 있습니다.📌 30초 요약• 명령 출력과 백그라운드 작업 출력의 인라인 상한을 각각 설정할 수 있게 됨 — 최대 12만 8천 자• 상한을 넘으면 파일로 저장되고, 그 전까지는 대화에 그대로 실림• ★ 올린 만큼 맥락 창이 줄어듭니다 — 공짜 상향이 아님• ★ 단위가 토큰이 아니라 글자 — 한글은 같은 글자 수라도 토큰이 더 듭니다• 안 쓰는 스킬을 찾아 주는 점검 명령 추가 — 로..

같은 지시문에 같은 문서를 넣었는데 캐시가 안 먹는 날이 있습니다. 값은 그대로 다 나가는데 왜 안 먹었는지 알 방법이 없었습니다. 볼 수 있는 건 "캐시에서 읽은 양 0"이라는 숫자 하나뿐이었으니까요. 이제 직전 요청과 비교해 어디서 갈렸는지 물어볼 수 있습니다.📌 30초 요약• 직전 응답 번호를 함께 보내면 두 요청을 비교해 갈라진 지점을 알려 줌• 원인은 여섯 갈래 — 모델·지시문·도구 목록·대화 기록이 바뀐 경우 넷과, 판정 불가 둘• ★ "안 갈렸는데 캐시가 안 먹었다"면 내 잘못이 아닙니다 — 캐시가 만료된 것• 가장 먼저 갈린 지점만 알려 줌 — 고치면 그 뒤가 드러남• 함께 나오는 손실 토큰 수는 청구 숫자가 아니라 크기 감각용 추정치• 원본 문장은 저장하지 않음(지문만), 시험 공개 단..

9월 3일, 마이크로소프트가 새 음성 인식 모델을 공개했습니다. 값이 눈에 띕니다 — 오디오 1시간에 0.1달러입니다. 다섯 달 전 같은 회사가 내놓은 앞 모델이 시간당 0.36달러였으니 72% 내린 값입니다. 그런데 공식 발표문을 열어 보면 이 값에 "연말까지"라는 단서가 붙어 있고, 그 뒤 값은 어디에도 안 적혀 있습니다.📌 30초 요약• 오디오 1시간 0.1달러 — 2시간 회의 하나에 0.2달러, 100시간에 10달러• 다섯 달 전 자사 앞 모델(시간당 0.36달러) 대비 약 72% 인하• "연말까지 한정"이라고만 적혀 있고 이후 값은 발표문에 없음• 60개 언어 받아쓰기 시험에서 1위, 평균 단어 오류율 5.2%• 속도는 상대에 따라 10배·7배·5배로 갈림 — "10배"는 가장 유리한 상대 기..