무료 티어에서 검증하기로 했지만, 새 평가 러너는 비무료 모델을 거절하지 않았고 호출 시간 제한과 골든셋 오류 처리에도 빈틈이 있었다. 리뷰에서 세 경로를 재현하고, 실행 전에 거절하거나 호출을 중단하도록 고쳤다.
[Read More]
인용 하나의 경계 오류가 판정 전체를 실패시켰다 — Career Radar M5-B
판정의 주장마다 검색된 근거 조각을 인용하게 했더니, 인용문이 2,001자이거나 인용이 65개일 때 생성 계약은 통과하고 읽기 계약으로 바꾸는 단계에서 판정 전체가 예외로 실패했다. 이번 앱에서는 인용 오류만 분리해 처리하고 판정 결과는 보존하기로 했고, 그 결정을 경계값에서 한 번 더 지켰다.
[Read More]
검색을 판정에 붙이기 전에, 어디서 못 찾는지부터 쟀다 — Career Radar M5-A
형태 변화와 약어가 있는 질의에서는 결과가 돌아와도 정답이 빠졌다. 근거 검색을 판정 경로에 넣기 전에 합성 코퍼스로 잰 서른여섯 질의 가운데 셋이 그랬고, 그 셋이 임베딩을 열지 말지의 첫 근거가 됐다.
[Read More]
기준선을 동결하기 전에, 비교를 끊는 조건부터 고쳤다 — Career Radar M5-0
공유 스키마에 새 항목을 추가하면, 기존 평가 사례가 그대로여도 기준선 비교가 끊기는 구조였다. 비교 규칙을 고치고 정책 보고서를 동결하면서, 실제로 확인한 기능과 아직 확인하지 않은 기능을 나눠 적었다.
[Read More]
위젯은 v6가 됐지만, ChatGPT에서는 첫 화면만 봤다 — Career Radar 호스트 확인 준비
이슈에 적어 둔 '실제 ChatGPT에서 확인'은 나흘 동안 미뤄졌고, 위젯 주소는 ChatGPT에서 처음 화면을 본 뒤로 여섯 번 바뀌었다. 확인 절차를 문서로 만들어 리뷰에 올렸더니 잡힌 것은 삭제 명령이 가리키는 파일과 카드가 그리지 않는 값이었다.
[Read More]
다음을 계획하려고, 지금까지 만든 것부터 한 표에 놓았다 — Career Radar M5 계획
다섯 번째 마일스톤 계획을 세우면서 초안을 저장소와 대조했더니, 새로 만들려던 여섯 항목 가운데 셋은 이미 상당 부분 있었다. 있는 것을 빼고 빈틈만 남기니 앞으로 할 일은 검색, 인용, 모델 평가, 실행 추적, 제한된 도구 사용의 순서로 정리됐다.
[Read More]
써보고 고친 세 가지, 고치다 배운 두 가지 — Career Radar 사용 확인 후속
직접 써보고 나온 수정 목록은 셋이었다. 없는 고용주 이름, 단위 없는 점수, 폭주하는 추론 토큰. 고치는 과정에서 스키마를 조이면 옛 기록을 못 읽고, 필수를 선택으로 바꿔도 옛 위젯은 깨진다는 것을 리뷰가 잡아냈다.
[Read More]
드디어 써봤다: 공고 세 개, 판정 두 개, 지어낸 이름 하나 — Career Radar 사용 확인 1
검증 장치를 그만 만들고 합성 프로필과 공개 공고 세 개를 무료 모델에 넣어 봤다. 판정보다 먼저 보인 것은 60초 제한에 걸린 도구, 응답을 못 주는 무료 엔드포인트, 그리고 본문에 없는 고용주 이름을 만들어 낸 모델과 그것을 막지 못한 스키마였다.
[Read More]
직접 써보기 위해 모델 제공자를 하나 더 붙였다 — Career Radar OpenRouter
검증 장치는 늘었지만 지원할 공고를 고르는 데 도움이 되는지는 아직 몰랐다. 모델 제공자를 추가하면서 유지할 규칙과 바꿔야 할 기록을 나누고, 다음 목표를 작은 사용 장면으로 좁혔다.
[Read More]
근거를 확인할 수 없는 설명은 '모름'으로 남기기로 했다 — Career Radar M4-B2
적합도 판정과 별개로, 이 공고에서 무엇을 조심해야 하는지를 모델이 근거 위치와 함께 말하게 했다. 근거를 확인할 수 없으면 판단을 낮추고, 위젯은 그것을 낮은 위험이 아니라 모름으로 보여준다.
[Read More]
유료 호출을 하기 전에, 언제 하면 안 되는지부터 코드로 적었다 — Career Radar 라이브 측정 하네스
90초 배치 제한이 실제 모델에 맞는지 재려면 누군가 유료 호출을 승인해야 한다. 측정 도구를 만들면서 호출하면 안 되는 조건을 먼저 코드로 정했고, 별도 리뷰는 그 안전장치가 덮지 못한 층을 네 곳에서 찾아냈다.
[Read More]
‘우리는 TBD다’라는 말 다음에 필요한 것
같은 조직 안에서도 제품마다 코드를 통합하고 검증하고 출시하는 조건은 다르다. 여러 브랜치 전략과 태그 기반 배포를 살펴보며, 제품에 맞는 방식을 선택하고 관리하는 책임을 생각해봤다.
[Read More]