AWS GPU 인스턴스에 vLLM 추론 서버를 구축하고 오픈 웨이트 모델 서빙 환경을 운영했습니다. 모델 서버와 API 서버를 분리해 API를 재배포해도 모델을 다시 적재하지 않도록 했고, 모델 가중치와 Hugging Face 캐시는 EBS 볼륨에 두어 인스턴스를 교체해도 재다운로드가 없게 했습니다. 더 큰 VRAM이 필요해지자 초기 CUDA 컨테이너 구성에서 출발해 애플리케이션 수정 없이 상위 GPU 인스턴스로 추론 환경을 이전했고, 현재는 모델 서버와 API를 각각 systemd 유닛으로 운영하며 배포 파이프라인이 서비스 재시작까지 처리합니다.

gemma-4-31B, gpt-oss-120b, Llama-3.3-70B, Qwen3.5, EXAONE-4.5 등 5개 오픈 웨이트 모델을 동일 조건으로 비교했습니다. 8개 사이트에서 모은 상세페이지 39장으로 정답셋을 직접 만들고, 모델명을 가린 블라인드 설계로 판정 192건을 수행했습니다. 처음에는 문자열 비교로 채점했는데 380 kcal과 380 calories를 서로 다른 값으로 세어 환각을 약 10배 과대계상하는 것을 발견하고, 판정 자체를 LLM 채점으로 바꿔 평가 지표를 다시 설계했습니다. 정확도 99.1%(모델과 사이트가 모두 값을 낸 필드 기준, F1 0.601, 재현율 43.2%), 환각 0건, VRAM 33GB, 자기 불일치 0%를 종합해 gemma-4-31B-FP8을 선정했습니다(운영 서빙은 BF16 구성). gpt-oss-120b는 2.4배 빨랐지만 같은 입력을 두 번 넣었을 때 출력의 56.9%가 달라져 재현성을 이유로 기본 선택에서 탈락시켰습니다.

JSON-LD에 원문에 없는 URL이 들어가는 문제가 있었습니다. 모델을 바꿔도 재현되길래 입력을 추적해보니 원인은 모델이 아니라 정제기였습니다. HTML 정제 단계에서 유지 속성 목록에 href가 빠져 있어 모델이 볼 수 있던 URL 497개 중 198개, 약 40%가 사라졌고 모델이 그 빈자리를 지어내고 있었습니다. 속성 유지 규칙을 고쳐 입력에서 근거를 되살렸습니다. 입력 단계에서는 script, style, base64와 불필요한 UI 요소를 제거하는 HTML 클렌징 파이프라인으로 메인 페이지 43장 기준 입력을 91.5% 축소하면서 핵심 사실은 99.9% 보존했고, 출력 단계에서는 json.loads 기반 구문 검증으로 파싱에 실패한 응답이 후속 파이프라인에 전달되지 않게 했습니다.

비트코인은 24/7 거래되지만 S&P 500, 국채 금리 같은 전통 자산은 주말, 휴일 데이터가 비어 있습니다. 이 때문에 온체인, 주식, 거시 데이터의 날짜 인덱스가 서로 어긋났습니다. 공통 캘린더 기준으로 인덱스를 통일한 뒤, 결측값은 과거 값만 쓰는 forward fill로 채웠습니다. 이어서 원계열 대부분이 비정상 시계열이라 변수마다 변환 방식을 따로 지정했습니다. 가격, 해시레이트, 난이도 같은 수준 변수는 변화율, 무위험금리와 기간 스프레드는 차분, 블록 수, 수수료, VIX, 뉴스 감성은 표준화로 바꾸고, 변환한 변수는 ADF 검정으로 정상성을 확인했습니다.

롤링 윈도우 예측은 모델 5개와 윈도우 5종을 예측일마다 반복해 작업량이 많습니다. 예측일별 학습과 예측은 서로 의존성이 없어서, joblib Parallel로 예측일 단위 작업을 모든 CPU 코어에 분배했습니다(n_jobs=-1). 롤링 인덱스를 먼저 만들어 두고 각 작업이 자기 윈도우의 인덱스만 받아 학습하도록 나눠, 모델과 윈도우를 바꿔도 같은 코드로 돌아가게 했습니다.

RMSE 차이만으로는 우연인지 알 수 없어 Diebold-Mariano 검정으로 RF와 AR의 예측 오차 차이가 유의한지 윈도우별로 검정하는 코드를 구현했습니다. 기준모형인 AR의 잔차에 Breusch-Pagan(이분산), Durbin-Watson(자기상관) 검정을, 실제 수익률 계열에 ADF(정상성) 검정을 적용하는 진단 코드도 작성했습니다.

온체인, 주식, 거시, 뉴스 감성 데이터는 외부 API에서 받습니다. 처음 한 번만 내려받아 CSV로 저장하고, 이후 실행은 저장본을 읽도록 했습니다. 실험을 반복해도 다운로드를 다시 하지 않아 모든 모델이 같은 입력으로 비교됩니다.