AI 이미지 좌표 받기 — 내가 올린 크기 기준이 아닙니다

AI에게 이미지를 주고 "표가 어디 있는지 네모로 짚어 줘"라거나 "이 버튼을 누르려면 어디를 클릭해야 해?"라고 물으면 좌표를 돌려줍니다. 서류에서 항목을 뽑거나 화면을 자동으로 조작하는 일에 쓰이죠. 그런데 그 좌표를 원본 이미지에 그대로 찍으면 묘하게 어긋나 있습니다. 이유는 하나입니다 — AI가 본 이미지는 내가 올린 이미지가 아닙니다. 보내는 순간 서버가 크기를 줄이고, 좌표는 그 줄어든 이미지 기준으로 나옵니다.

📌 30초 요약

• 좌표는 줄어든 이미지 기준입니다. 원본에 그대로 찍으면 어긋납니다.
• 양변이 크기 제한 안이어도 줄어듭니다. 시각 토큰 예산이 따로 걸려 있어서입니다 — 어긋남의 가장 흔한 원인.
• 긴 변으로 어림잡으면 틀립니다. 1920×1080은 1568이 아니라 1456×819로 줄어듭니다.
• 정규화 좌표로 달라고 하면 잘 못합니다. 픽셀로 달라 하고 나눗셈은 내 코드에서 하세요.
• 조용한 축소를 오류로 바꾸는 설정이 있습니다. 이미지마다 따로 걸 수 있습니다.

1. 어디에 뭐가 있는지 물어볼 수 있습니다

많이들 모르는 기능입니다. AI는 이미지를 "읽는" 것뿐 아니라 "짚을" 수도 있습니다. 표가 놓인 네모 영역, 입력 양식의 각 칸, 차트의 특정 막대, 화면 속 버튼 — 이런 것들의 위치를 좌표로 돌려줍니다. 서류에서 항목을 뽑아내는 작업, 스캔본에서 글자와 위치를 같이 얻는 작업, 화면을 보고 클릭할 자리를 정하는 작업이 전부 여기 얹힙니다.

좌표 체계는 그림에서 흔히 쓰는 그대로입니다. 왼쪽 위가 시작점이고, 오른쪽으로 갈수록 가로값이 커지고 아래로 갈수록 세로값이 커집니다. 네모 영역은 보통 왼쪽 위와 오른쪽 아래 두 점으로 표현합니다.

여기서 첫 번째 실전 요령. "0에서 1000 사이 값으로 달라"는 식의 정규화 요청은 잘 못합니다. 문서가 직접 그렇게 적어 놨습니다. "픽셀 좌표로 달라"고 프롬프트에 명시하고, 비율로 바꾸는 계산은 내 코드에서 하세요. 결과를 사람이 읽는 문장이 아니라 기계가 바로 쓸 수 있는 형태로 받고 싶다면, 항목마다 좌표 배열이 들어가는 틀을 미리 정해 주면 됩니다.

2. 크기를 줄이는 기준이 둘입니다

서버는 이미지를 받으면 가로세로 비율을 유지한 채, 두 가지 제한을 동시에 만족하는 가장 큰 크기로 줄입니다. 제한이 하나가 아니라 둘이라는 게 핵심입니다.

제한	표준 화질 모델	고화질 모델
긴 변 길이	1568픽셀까지	2576픽셀까지
시각 토큰 예산	1568개까지	4784개까지
토큰 세는 법	가로세로 28픽셀 조각 하나가 토큰 하나

그리고 사진과 스크린샷은 거의 전부 토큰 예산 쪽이 먼저 걸립니다. 긴 변 제한이 결정권을 갖는 건 파노라마나 세로로 긴 폰 화면처럼 한쪽으로 늘어진 이미지뿐입니다. 그래서 "긴 변을 제한 길이에 맞추면 되겠지"라고 계산하면 틀립니다 — 가로 1920 세로 1080짜리 화면 캡처는 1568×882가 아니라 1456×819로 줄어듭니다. 이 차이만큼 모든 좌표가 어긋납니다.

줄인 뒤에는 아래쪽과 오른쪽에 여백을 덧대 가로세로를 28의 배수로 맞춥니다. 여백에는 내용이 없고, 시작점이 왼쪽 위 그대로라 좌표가 밀리지는 않습니다. 다만 비율로 바꿀 때 여백까지 포함한 크기로 나누면 안 됩니다. 반드시 여백을 뺀, 줄어든 크기로 나눠야 합니다. 조금씩 어긋나는 좌표의 범인이 대체로 이겁니다.

3. 양변이 제한 안이어도 줄어듭니다

가장 놓치기 쉬운 함정이 여기 있습니다. 문서가 "좌표가 어긋나는 가장 흔한 원인"이라고 못 박아 둔 대목입니다.

⚠️ 둘 다 제한 안인데 줄어드는 경우

A4 용지를 130디피아이로 스캔하면 가로 1075 세로 1520이 나옵니다. 양쪽 다 1568픽셀 아래라 안심하기 쉽죠. 그런데 28픽셀 조각으로 세어 보면 2145개라서 표준 화질 모델의 예산 1568개를 넘습니다. 그래서 924×1307로 줄어듭니다. 같은 스캔본을 고화질 모델에 주면 예산이 4784개라 안 줄어들고 좌표가 원본에 그대로 맞습니다. 즉 모델을 바꾸는 것만으로 좌표가 통째로 틀어질 수 있습니다.

작은 요소를 짚어야 할 때도 조심해야 합니다. 이미지가 줄어드는 만큼 잔글씨나 작은 아이콘은 정밀도를 잃습니다. 이럴 때는 관심 있는 부분만 잘라서 보내고, 돌아온 좌표에 잘라낸 위치만큼 더해 주는 방식이 확실합니다. 아니면 고화질 모델을 쓰면 되고요. 그리고 결과는 대량으로 돌리기 전에 눈으로 몇 개 찍어 확인하라고 문서가 권합니다.

4. 어긋나지 않게 하는 세 가지 방법

첫째, 내가 먼저 줄여서 보내기가 가장 확실합니다. 서버가 줄일 크기를 그대로 계산해 주는 참고 코드가 문서에 일곱 언어로 실려 있으니, 그 크기로 미리 줄여 올리면 돌아온 좌표를 변환 없이 바로 씁니다. 여백은 내가 붙이면 안 됩니다 — 서버가 알아서 하고, 여백은 좌표를 밀지 않습니다.

둘째, 되돌려 환산하기. 남이 주는 이미지라 미리 줄일 수 없다면, 같은 계산으로 "서버가 봤을 크기"를 구한 뒤 좌표를 비율로 바꿔 원본에 다시 곱하면 됩니다. 여백이 아래·오른쪽에만 붙어 시작점이 안 움직이므로 축별로 단순히 곱하고 나누면 맞습니다. 환산 전에 좌표를 줄어든 크기 안으로 눌러 두면, 살짝 바깥으로 나간 점이 원본 밖으로 튀는 일도 막을 수 있습니다.

셋째가 실무에서 제일 값어치 있습니다. 축소를 오류로 바꾸는 설정이 있습니다. 이미지에 표시를 달아 두면, 그 이미지가 줄어들 상황일 때 조용히 줄이는 대신 요청을 거부합니다. 게다가 오류 메시지가 지금 크기와 "몇으로 줄이면 되는지"를 같이 알려줍니다. 표시는 이미지마다 따로 걸 수 있어서, 클릭 좌표가 걸린 화면 캡처에는 오류로, 그냥 참고용 로고에는 축소 허용으로 섞어 보낼 수 있습니다. 파이프라인이 조용히 어긋나는 걸 막는 안전장치죠.

예외도 알아 두세요. PDF는 서버가 알아서 이미지로 굽는데 그 크기를 내가 못 정합니다 → 좌표를 페이지 위치로 되돌릴 수 없습니다. PDF 안의 좌표가 필요하면 내가 직접 페이지를 이미지로 구워 미리 줄이는 방식으로 가야 합니다. 또 컴퓨터·브라우저를 조작하는 도구가 돌려주는 화면 캡처는 제한을 넘으면 축소가 아니라 오류가 납니다 — 내 앱에서 먼저 줄여야 합니다. 참고로 보내기 전에 토큰을 세어 보는 기능으로 통과했다고 실제 전송까지 통과하는 건 아닙니다. 세는 쪽은 크기만 보고 어림하기 때문입니다.

5. 자주 묻는 질문 (FAQ)

Q. 좌표가 조금씩만 어긋나는데 왜 그런가요?

비율로 바꿀 때 여백까지 포함한 크기로 나눈 경우가 가장 흔합니다. 여백은 아래·오른쪽에 28픽셀 배수로 맞추려고 붙는 것이라, 그만큼 모든 좌표가 조금씩 축소됩니다. 여백을 뺀 크기로 나누세요.

Q. 어제까지 맞던 좌표가 오늘 갑자기 틀어졌어요.

둘 중 하나입니다 — 이미지 출처가 바뀌어 크기가 달라졌거나, 화질 등급이 다른 모델로 갈아탔거나. 같은 이미지도 모델에 따라 줄어들기도 하고 안 줄어들기도 합니다. 이런 사고를 막으려는 게 앞서 말한 "축소를 오류로 바꾸는 설정"입니다.

Q. 화면 자동화에 쓸 때 추가로 볼 게 있나요?

고해상도 화면이라면 화면 배율로 한 번 더 나눠야 합니다. 캡처된 픽셀과 실제 클릭에 쓰는 좌표 단위가 다르기 때문입니다. 이걸 빼먹으면 정확히 배율만큼 어긋난 곳을 누르게 됩니다.

Q. 이미지를 크게 올릴수록 잘 읽나요?

아닙니다. 예산을 넘으면 어차피 줄여서 보기 때문에 크게 올려도 이득이 없고 전송만 무거워집니다. 잔글씨가 목적이라면 크기를 키우는 대신 필요한 부분만 잘라 보내는 쪽이 훨씬 효과적입니다.

✨ 정리하면

AI가 본 이미지는 내가 올린 이미지가 아닙니다. 셋만 기억하세요 — 양변이 제한 안이어도 토큰 예산 때문에 줄어들고, 비율 계산은 여백을 뺀 크기로 하고, 좌표가 중요한 이미지에는 축소를 오류로 바꾸는 표시를 달아 두는 것. 이미지를 다루는 김에 만드는 쪽도 보고 싶다면 카드 없이 이미지를 만드는 곳들과 슬라이드를 통째로 만들어 주는 도구들을 모아 뒀고, 새는 돈은 AI 지출 관리 허브에 단계별로 정리해 뒀습니다.

※ 2026년 9월 기준 공식 문서(좌표와 경계 상자 안내)를 바탕으로 정리했습니다. 본문의 크기·토큰 수치는 문서에 실린 값이며, 모델 화질 등급과 제한은 갱신될 수 있으니 적용 전 최신 문서를 확인하세요.