SSUM-IT

SSUM-IT

오늘은 어제의 내가 변화하기에 가장 좋은 날이다.

Blog Posts

석사 2년, 어떻게 살아갈 것인가

위대함을 이루려면 다른 많은 것을 희생해야 한다. 가족과 보내는 시간, 연인, 친구, 취미 같은 것들이 포함될 수 있다. 무엇이 중요한지 스스로 결정하고 우선순위를 정해야 한다. 전부 다 할 수는 없다.

Computer Science

graduate school

CriticalKV: 출력 섭동 관점에서 KV 캐시 축출을 최적화하기

CriticalKV: 출력 섭동 관점에서 KV 캐시 축출을 최적화하기

무엇이 중요 KV 캐시를 결정하는 기준인가?어텐션 가중치만으로 중요 캐시 항목을 식별하기에 충분한가?

LU-KV — KV 캐시에서 “지금 중요한 토큰”이 아니라 “앞으로 쓸모 있을 토큰”을 남겨라

LU-KV — KV 캐시에서 “지금 중요한 토큰”이 아니라 “앞으로 쓸모 있을 토큰”을 남겨라

기존 KV 캐시 축출 방법은 지금 attention 점수가 높은 토큰을 남긴다. 그런데 이 휴리스틱 점수가 미래 중요도를 얼마나 잘 맞히는지는 attention head마다 크게 다르다. 이 논문은 그 격차를 Optimality Gap이라는 손실 항으로 정식화했다.

Meta-Harness — 모델을 그대로 두고 harness를 탐색한다

Meta-Harness — 모델을 그대로 두고 harness를 탐색한다

harness 코드를 탐색하는 outer-loop 시스템이고, proposer로 coding agent를 쓴다. 핵심 설계는 하나다. 이전 후보들의 source code, evaluation score, execution trace를 전부 filesystem에 남겨두고, proposer가 grep과 cat 같은 평범한 도구로 필요한 것만 골라 읽게 한다.

harness engineering

Computer Science

LLM은 어떻게 설득되는가: 소수의 어텐션 헤드, 경로가 바뀌다

LLM은 어떻게 설득되는가: 소수의 어텐션 헤드, 경로가 바뀌다

중간 층(mid-layer)의 몇 안 되는 어텐션 헤드(attention head)가 모델의 답을 사실상 전부 결정함을 입증한다.

Computer Science

RULER: 당신의 Long-Context 언어 모델, 실제 Context 크기는 얼마인가?

RULER: 당신의 Long-Context 언어 모델, 실제 Context 크기는 얼마인가?

long-context LM을 좀 더 촘촘하게 평가하기 위해, 시퀀스 길이와 과제 난이도를 원하는 대로 맞출 수 있는 새로운 합성(synthetic) 벤치마크 RULER에 대해 소개한다.

Test-time Scaling

Computer Science

비디오로부터 학습하는 휴머노이드 — VLA의 물리세계 적응과 온디바이스 가속화

비디오로부터 학습하는 휴머노이드 — VLA의 물리세계 적응과 온디바이스 가속화

언어 모델은 텍스트를 토큰으로 다루고, VLM은 여기에 이미지를 얹고, VLA는 여기에 다시 로봇의 행동까지 토큰으로 밀어 넣는다. VLA가 어디까지 왔는지, 그 무거운 모델을 로봇 몸통 안 작은 칩에서 어떻게 실시간으로 돌리는지를 훑는다.

심판을 침묵시켜라: 잠재 기하 군집화를 통한 자기 검증기 기반 강화학습

🧑🏼‍⚖️

심판을 침묵시켜라: 잠재 기하 군집화를 통한 자기 검증기 기반 강화학습

올바른 추론 궤적(correct reasoning trajectory)의 종단 토큰(terminal token) 표현은 높은 클래스 내 유사도(intra-class similarity)를 지닌 조밀한 군집(dense cluster)을 형성하는 반면, 틀린 궤적은 이상치(outlier)처럼 흩어진 채 남는다. 이 발견에 착안하여, 우리는 반복 강건 중심 추정(Iterative Robust Centroid Estimation, IRCE) 알고리즘을 도입한다.

Efficient Inference

Reinforcement Learning

잠재 공간 임베딩 사슬(Chain-of-Embedding)로 출력 없는 LLM 자기평가 실현

잠재 공간 임베딩 사슬(Chain-of-Embedding)로 출력 없는 LLM 자기평가 실현

LLM이 출력 없는(output-free) 자기평가를 수행할 수 있도록 잠재 공간(latent space)에서의 임베딩 사슬(Chain-of-Embedding, CoE) 을 제안한다. CoE는 추론(inference) 시점에 생성되는 모든 점진적 은닉 상태(progressive hidden states)로 구성되며, 이는 LLM의 잠재적 사고 경로(latent thinking path)로 간주할 수 있다.

Efficient Inference

엔트로피 궤적의 형태가 LLM 추론 신뢰성을 예측한다: 사고사슬 불확실성 동역학의 진단적 연구

엔트로피 궤적의 형태가 LLM 추론 신뢰성을 예측한다: 사고사슬 불확실성 동역학의 진단적 연구

엔트로피 궤적 단조성(entropy-trajectory monotonicity) 개념을 도입하여 한 사슬(chain)이 매 스텝에서 스텝별 답변분포 엔트로피가 감소하면 그 사슬은 단조(monotone)이며, 불확실성이 일관되게 줄어듦을 보인다.

Computer Science

Test-time Scaling

LLM의 어텐션 헤드 엔트로피는 답변 정확성을 예측한다

LLM의 어텐션 헤드 엔트로피는 답변 정확성을 예측한다

최근의 화이트박스(white-box) 방법들은 모델 내부 신호를 이용해 문맥적 환각(contextual hallucination)을 탐지하는데, 주로 어텐션 질량(attention mass)이 어디에 놓이는지(localization)에 초점을 맞춘다. 그러나 두 가지 질문이 열려 있다: 이 접근들이 답변 정확성(answer correctness) 예측으로 확장되는가, 그리고 도메인 밖(out-of-domain)에서도 일반화되는가? 우리는 어텐션 엔트로피 패턴, 구체적으로는 어텐션 질량의 퍼짐(spread)으로부터 답변 정확성을 예측하는 방법인 HEAD ENTROPY를 제안한다.

Test-time Scaling

Efficient Inference

논문 읽기가 귀찮은 연구자를 위한 AI 워크플로우 — n8n x Upstage Solar Pro 3로 논문 분석 자동화하기

논문 읽기가 귀찮은 연구자를 위한 AI 워크플로우 — n8n x Upstage Solar Pro 3로 논문 분석 자동화하기

PDF 하나 던지면 알아서 분석하고, 정리하고, 알림까지 보내주는 시스템을 만들어보았다.

슬롯머신에서 배우는 최적의 선택 : 멀티암드 밴딧 알고리즘

슬롯머신에서 배우는 최적의 선택 : 멀티암드 밴딧 알고리즘

전통적인 A/B 테스트의 한계를 짚고, 멀티암드 밴딧의 핵심 개념인 탐색과 활용의 균형을 설명한다. 엡실론-그리디와 톰슨 샘플링을 비교하며, 웹 최적화·추천 시스템·광고 실험에서 MAB가 왜 실용적인지 정리한다.

Computer Science

[Paper Review] A Theoretical Study on Bridging Internal Probability and Self-Consistency for LLM Reasoning

[Paper Review] A Theoretical Study on Bridging Internal Probability and Self-Consistency for LLM Reasoning

NeurIPS 2025 : Zhi Zhou, Yuhao Tan, Zenan Li, Yuan Yao, Lan-Zhe Guo, Yu-Feng Li, Xiaoxing Ma

Test-time Scaling

Efficient Inference

[Paper Review] Confidence Improves Self-Consistency in LLMs

[Paper Review] Confidence Improves Self-Consistency in LLMs

Findings of ACL 2025 : Amir Taubenfeld\, Tom Sheffer\ (Google Research), Eran Ofek, Amir Feder, Ariel Goldstein (Hebrew Univ. of Jerusalem), Zorik Gekhman, Gal Yona (Google Research)

Test-time Scaling

Efficient Inference

[Paper Review] Deep Think with Confidence

[Paper Review] Deep Think with Confidence

ICLR 2026 : Yichao Fu, Xuewei Wang, Hao Zhang, Yuandong Tian, Jiawei Zhao (Meta AI, UCSD)

Test-time Scaling

Efficient Inference

[Paper Review] Majority of the Bests: Improving Best-of-N via Bootstrapping

[Paper Review] Majority of the Bests: Improving Best-of-N via Bootstrapping

NeurIPS 2025 : Amin Rakhsha, Kanika Madan, Tianyu Zhang, Amir-massoud Farahmand, Amir Khasahmadi

Test-time Scaling

Efficient Inference

F학점에서 Future로 — AI가 만드는 나만의 고교학점제 로드맵 IM’F

F학점에서 Future로 — AI가 만드는 나만의 고교학점제 로드맵 IM’F

고등학교에 도입된 고교학점제의 192학점 과목 선택의 어려움을 겪는 고등학생들에게 생활기록부 기반 맞춤형 로드맵을 UpStage Solar AI를 기반으로 구성해줍니다.

[Paper Review] OpenTSLM: Time-Series Language Models for Reasoning over Multivariate Medical Text-and Time-Series Data

[Paper Review] OpenTSLM: Time-Series Language Models for Reasoning over Multivariate Medical Text-and Time-Series Data

OpenTSLM은 시계열 데이터를 LLM의 native modality로 통합해 의료 데이터를 추론하는 방법을 제안한 논문이다. 이 글에서는 OpenTSLM의 Time-Series Encoder, SoftPrompt, Flamingo에 대한 설계와 메모리 효율성 그리고 의료 CoT 태스크에서의 실험 결과를 정리했다.

Computer Science

[Paper Review] 시계열 예측을 언어로 바꾸다 : Chronos

[Paper Review] 시계열 예측을 언어로 바꾸다 : Chronos

Chronos는 시계열 예측을 언어 모델링 문제로 재정의한 Amazon의 연구다. 이 글에서는 연속적인 시계열 값을 토큰으로 변환하는 핵심 아이디어, Scaling·Quantization 과정, 데이터 부족을 해결한 학습 전략, 그리고 Zero-shot 성능이 왜 인상적인지 논문 기반으로 정리한다.

[Paper Review] BERT가 문장을 이해하지 못한다고? Sentence-BERT로 풀어낸 문제

[Paper Review] BERT가 문장을 이해하지 못한다고? Sentence-BERT로 풀어낸 문제

BERT는 강력하지만 문장 유사도 계산에는 치명적으로 느리다. Sentence-BERT(SBERT)는 Siamese Network 구조를 통해 이 문제를 어떻게 해결했을까? SBERT의 핵심 아이디어, 학습 방식, pooling 전략, 그리고 13,000배 속도 향상 실험 결과를 논문 기반으로 정리한다.

Python 알고리즘 & 자료구조 완벽 가이드

Python 알고리즘 & 자료구조 완벽 가이드

ACM ICPC 팀노트를 만들 때에 참고하기 위해 직접 만든 자료

Computer Science

Software Development

[파견] 실리콘밸리 성장일기(2)_우당탕탕 미국생활 적응하기

[파견] 실리콘밸리 성장일기(2)_우당탕탕 미국생활 적응하기

본토 스타벅스 커피부터 위워크등록, 첫 바트(Bart) 탑승까지, 낯선 땅 미국에서 본격적인 생활을 위해 자리를 잡아가는 적응기

Computer Science

Software Development

[파견] 실리콘밸리 성장일기(1)_나만의 속도로 미국에 입성하다

[파견] 실리콘밸리 성장일기(1)_나만의 속도로 미국에 입성하다

인천공항을 떠나는 순간부터 10시간의 비행, 긴장되는 입국 심사와 미국에서의 첫 끼니까지의 메모

Computer Science

Software Development

[회고] 2025 충청 ICT 디지털신기술 SW개발 공모전에 참가하면서

[회고] 2025 충청 ICT 디지털신기술 SW개발 공모전에 참가하면서

'사진 한 장'으로 전통시장 상인분들의 디지털 장벽을 허문 AI 서비스, '어서5슈'의 치열했던 3일간의 개발 회고록

Computer Science

[Paper Review] HM-RAG: Hierarchical Multi-Agent Multimodal Retrieval Augmented Generation

[Paper Review] HM-RAG: Hierarchical Multi-Agent Multimodal Retrieval Augmented Generation

HM-RAG는 기존의 단일 에이전트의 한계를 극복하고 '분해-검색-결정' 이라는 계층적 멀티 에이전트 협업을 통해 복잡한 새로운 RAG 기법을 제안함

[Paper Review] GAIA : A Benchmark for General AI Assistants

[Paper Review] GAIA : A Benchmark for General AI Assistants

GPT-4 정답률 15%, 인간 92%. AI의 진짜 지능을 들여다보는 새로운 기준, GAIA 벤치마크와 논문 심층분석

AI에이전트에 대해서

AI에이전트에 대해서

혼자서 틈틈이 정리한 에이전트 공부 내용

[Paper Review] Programmable and Customized Intelligence for Traffic Steering in 5G Networks Using Open RAN Architectures

[Paper Review] Programmable and Customized Intelligence for Traffic Steering in 5G Networks Using Open RAN Architectures

5G 트래픽 관리를 최적화하기 위해 시뮬레이션된 RAN 지능형 컨트롤러를 통합한 프레임워크인 ns-O-RAN을 소개하고, 딥러닝을 사용하여 기지국 할당을 개선하고 전송 속도와 스펙트럼 효율성을 50% 향상함

[OSSCA] O-RAN에서 SQLAlchemy 리팩토링

[OSSCA] O-RAN에서 SQLAlchemy 리팩토링

[OSSCA] O-RAN에서 SQLAlchemy 리팩토링

O-RAN 오픈소스 프로젝트에서 AIMLFW-120 이슈 해결을 위한 Training Manager(TS)의 데이터베이스 레이어를 SQLAlchemy를 사용하여 리팩토링하는 작업 수행로그

학습 없는 느슨한 추측 디코딩(Training-Free Loosely Speculative Decoding): 정확 일치를 넘어 의미가 맞는 draft 받아들이기

FLy 매커니즘은 target model이 스스로 오류를 교정하려는 성질(self-corrective behavior)을 이용하여, draft와 target이 어긋난 자리가 의미상으로도 틀린 것인지 판단해 경직된 검증 기준을 느슨하게 만든다.