인공지능학과

경사하강법

Gradient Descent

손실 함수 을 파라미터 로 미분한 기울기 은 손실이 가장 가파르게 증가하는 방향을 가리키므로, 그 반대 방향으로 학습률 만큼씩 이동하며 최솟값을 찾아가는 최적화 알고리즘. 가 너무 크면 최솟값 근처에서 진동하고, 너무 작으면 수렴이 지나치게 느려짐.

과적합과 정규화

Overfitting & Regularization

모델이 학습 데이터의 노이즈까지 외워버려 새로운 데이터에서는 성능이 뚝 떨어지는 현상이 과적합. 손실 함수에 가중치 제곱합(L2, 위 식) 또는 절댓값합(L1)을 페널티로 더해 가중치가 커지지 못하게 억제하거나, 학습 중 일부 뉴런을 무작위로 꺼버리는 드롭아웃으로 모델이 특정 패턴에 과의존하지 못하게 함.

서포트 벡터 머신

Support Vector Machine

두 클래스를 나누는 경계선(초평면)을 그리되, 경계에 가장 가까운 데이터(서포트 벡터)까지의 거리인 마진을 최대로 넓히는 방향으로 초평면을 정하는 분류 모델. 데이터를 원래 차원에서는 직선으로 못 나눠도, 커널 함수로 더 높은 차원에 투영하면 나눠지는 경우가 많다는 커널 트릭으로 비선형 분류도 가능함.

로지스틱회귀와 시그모이드

Logistic Regression & Sigmoid Function

선형회귀의 출력값을 그대로 쓰면 범위가 무한대라 확률로 해석할 수 없는데, 시그모이드 함수에 통과시키면 어떤 입력이든 0과 1 사이 값으로 눌러줘 "이 데이터가 클래스 1일 확률"로 해석할 수 있게 됨. 가장 단순한 분류 모델이면서도 각 변수의 계수 부호와 크기로 그 변수가 결과에 미치는 영향을 직접 해석할 수 있어 실무에서 여전히 널리 쓰임.

ex) 고객이 이탈할 확률을 0~100%로 예측해 어떤 고객에게 먼저 연락할지 우선순위를 매기는 것.

결정트리와 랜덤포레스트

Decision Tree & Random Forest

각 분기마다 데이터를 가장 잘 구분해주는 질문(불순도가 가장 많이 줄어드는 기준, 예: 지니 불순도나 정보이득)을 골라 나무 형태로 분류·회귀하는 결정트리. 여러 결정트리를 서로 다른 데이터 부분집합과 특징 부분집합으로 학습시킨 뒤 결과를 투표·평균내는 랜덤포레스트는 개별 트리의 과적합 경향을 줄여줌.

k-평균 군집화

k-Means Clustering

k개의 중심점을 무작위로 잡고, ①각 데이터를 가장 가까운 중심점의 군집으로 배정 ②각 군집의 평균으로 중심점을 다시 계산, 이 두 단계를 중심점이 더 이상 안 바뀔 때까지 반복하는 비지도학습 알고리즘.

앙상블학습

Ensemble Learning (Boosting/Bagging)

전체 데이터에서 중복을 허용해 여러 번 무작위 샘플링(부트스트랩)한 뒤 각각 독립적으로 모델을 학습시켜 평균내는 배깅과, 이전 모델이 틀린 데이터에 더 큰 가중치를 주며 다음 모델을 순차적으로 학습시켜 오차를 점점 줄여가는 부스팅. 배깅은 분산을, 부스팅은 편향을 줄이는 데 특히 효과적.

나이브 베이즈 분류기

Naive Bayes Classifier

베이즈 정리를 이용해 특징들이 주어졌을 때 클래스일 확률을 계산하되, 계산을 단순화하기 위해 모든 특징이 클래스가 주어졌을 때 서로 독립이라는(실제로는 대체로 사실이 아닌) 순진한(naive) 가정을 하는 분류기. 가정이 비현실적임에도 계산이 빠르고 적은 데이터로도 놀랍도록 잘 작동해 텍스트 분류 같은 고차원 희소 데이터에 특히 강함.

ex) 스팸 메일 필터가 "무료", "당첨" 같은 단어의 등장 여부만으로 스팸 확률을 빠르게 계산하는 것.

역전파

Backpropagation

출력층의 손실을 입력층 방향으로 거슬러 올라가며, 연쇄법칙(chain rule)으로 각 층 가중치가 손실에 미치는 영향(기울기)을 층마다 재사용해 계산하는 알고리즘. 모든 가중치에 대한 기울기를 순전파 한 번, 역전파 한 번으로 전부 구할 수 있어 신경망 학습을 실용적으로 만든 핵심 알고리즘.

어텐션 메커니즘

Attention Mechanism

질의(Q)와 각 위치의 키(K)의 유사도를 계산해 소프트맥스로 가중치(합이 1)를 만들고, 그 가중치로 값(V)들을 가중평균해 지금 필요한 정보에 더 집중하는 연산. 로 나누는 건 내적 값이 차원이 커질수록 지나치게 커져 소프트맥스가 한쪽으로 쏠리는 걸 막기 위함.

옵티마이저(Adam/모멘텀)

Optimizers (Adam/Momentum)

기본 경사하강법은 매 스텝의 기울기만 보고 이동해 계곡처럼 굴곡진 손실 곡면에서 지그재그로 느리게 수렴하는데, 모멘텀은 과거 이동 방향을 관성처럼 누적한 속도 로 이동해 진동을 줄이고, Adam은 여기에 각 파라미터마다 학습률을 자동으로 적응시키는 기법까지 더해 대부분의 딥러닝 모델 학습에서 사실상 표준 옵티마이저로 쓰임.

ex) 거의 모든 딥러닝 프레임워크의 기본 옵티마이저가 SGD 대신 Adam으로 설정돼 있는 이유.

CNN

Convolutional Neural Network

작은 크기(예: 3×3)의 필터(커널)를 이미지 위에서 슬라이딩하며 각 위치에서 필터와 겹치는 픽셀들의 곱의 합을 계산하는 합성곱 연산으로 경계·질감 같은 지역적 패턴을 추출하는 구조. 같은 필터를 이미지 전체에 재사용(가중치 공유)해서 완전연결 신경망보다 훨씬 적은 파라미터로 이미지를 처리함.

잔차연결(ResNet)

Residual Connections (ResNet)

신경망을 무작정 깊게 쌓으면 역전파 도중 기울기가 여러 층을 거치며 점점 작아져 앞쪽 층까지 학습 신호가 거의 전달되지 않는 기울기 소실 문제가 심해지는데, 각 층의 출력에 입력 를 그대로 더해주는 지름길(skip connection)을 두면 기울기가 이 지름길을 타고 곧장 앞쪽까지 전달될 수 있어 수백 층 이상의 매우 깊은 신경망도 안정적으로 학습시킬 수 있게 됨.

ex) 100층이 넘는 깊은 이미지 인식 신경망이 실제로 학습 가능해진 결정적 구조적 돌파구.

GAN

Generative Adversarial Network

무작위 노이즈에서 가짜 데이터를 만드는 생성자(G)와, 진짜와 가짜를 구분하려는 판별자(D)를 서로 경쟁시켜, D는 판별을 더 잘하도록, G는 D를 더 잘 속이도록 번갈아 학습시키는 구조. 이 경쟁이 균형에 이르면 G가 만드는 데이터는 실제 데이터 분포와 구분이 안 될 정도로 정교해짐.

확산모델

Diffusion Models

원본 이미지에 노이즈를 아주 조금씩 여러 단계에 걸쳐 더해 완전한 무작위 노이즈로 만드는 과정(정방향)을 거꾸로 학습해, 무작위 노이즈에서 출발해 매 단계 노이즈를 조금씩 제거해가며 이미지를 복원해내는 생성모델. GAN처럼 생성자·판별자를 함께 학습시키는 불안정한 경쟁 과정 없이도 학습이 안정적이고, 결과물의 다양성과 품질이 뛰어나 최신 이미지 생성 서비스의 주력 방식이 됨.

ex) Midjourney·DALL-E 같은 텍스트-이미지 생성 서비스가 내부적으로 노이즈를 단계적으로 제거하며 이미지를 만들어내는 원리.

트랜스포머 구조

Transformer Architecture

순서 정보를 순환 없이 위치 인코딩으로 따로 주입하고, 여러 개의 어텐션을 병렬로 두어(멀티헤드 어텐션) 서로 다른 관점의 관계를 동시에 포착하는 구조. RNN처럼 한 스텝씩 순차 계산할 필요가 없어 GPU로 완전히 병렬 학습이 가능해졌고, 이게 GPT·BERT 같은 대규모 언어모델을 가능하게 한 결정적 이유.

강화학습과 정책경사

Reinforcement Learning & Policy Gradient

정답 라벨이 주어지는 지도학습과 달리, 에이전트가 환경과 상호작용하며 행동(action)에 대한 보상(reward)만 받고, 누적 보상을 최대화하는 행동 정책 을 스스로 찾아가는 학습 방식. 정책경사법은 좋은 보상을 받은 행동의 확률은 높이고 나쁜 보상을 받은 행동의 확률은 낮추는 방향으로 정책 파라미터를 직접 조정함.

ex) 알파고가 스스로와 대국을 반복하며 승리로 이어진 수의 선택 확률을 점점 높여간 학습 방식, ChatGPT가 사람 피드백으로 응답을 개선하는 RLHF도 이 원리를 응용한 것.

토큰화와 워드 임베딩

Tokenization & Word Embedding

텍스트를 단어·서브워드 단위(토큰)로 쪼갠 뒤, 각 토큰을 수백 차원의 실수 벡터로 표현하는 과정. word2vec 같은 초기 임베딩 기법은 "주변 단어로 그 단어를 예측"하도록 학습시켜서, 의미가 비슷한 단어일수록 벡터 공간에서 가까운 위치에 놓이게 만듦.

언어모델과 퍼플렉서티

Language Model & Perplexity

이전 단어들이 주어졌을 때 다음 단어의 확률분포 를 예측하는 모델이 언어모델. 퍼플렉서티는 모델이 정답 단어에 준 확률의 역수를 기하평균낸 값으로, 값이 낮을수록 모델이 실제 다음 단어를 더 확신 있게 잘 맞췄다는 뜻.

RNN과 LSTM

Recurrent Neural Networks & LSTM

매 시점의 은닉상태 가 현재 입력 뿐 아니라 직전 은닉상태 에도 의존하도록 만들어 순서 정보를 처리하는 RNN. 다만 시퀀스가 길어지면 기울기가 지수적으로 작아지는 기울기 소실 문제가 생기는데, LSTM은 정보를 유지·삭제할지 게이트(입력·망각·출력 게이트)로 조절하는 별도의 셀 상태를 둬서 이 문제를 완화함.

BERT와 사전학습-미세조정

BERT & Pretrain-Finetune Paradigm

레이블이 없는 방대한 텍스트로 문장 안 빈칸을 채우는 등의 과제를 먼저 학습시켜 언어에 대한 일반적인 이해를 갖춘 모델을 만든 뒤(사전학습), 이 모델을 감성분석·질의응답 같은 특정 과제의 소량 레이블 데이터로 살짝만 추가 학습시키는(미세조정) 2단계 학습 전략. 매 과제마다 처음부터 학습시키는 것보다 훨씬 적은 데이터로도 높은 성능을 낼 수 있어 현대 NLP의 표준 패러다임이 됨.

ex) 수천 건의 회사 내부 리뷰만으로도 감성분석 모델을 높은 정확도로 만들 수 있는 이유(사전학습된 언어 이해를 재활용).

이미지 분류와 객체 탐지

Image Classification & Object Detection

이미지 하나에 클래스 확률 벡터 하나만 출력하는 분류와 달리, 객체 탐지는 이미지를 격자로 나누고 각 격자마다 "여기 물체가 있는가, 있다면 어디부터 어디까지(바운딩박스 좌표)이고 어떤 클래스인가"를 동시에 예측하는 문제 — YOLO 계열이 이 방식의 대표적 구현.

이미지 분할

Image Segmentation

이미지를 사각형 박스로 뭉뚱그리는 객체 탐지와 달리, 픽셀 하나하나에 클래스를 부여하는 문제. 같은 클래스면 다 같은 라벨을 주는 시맨틱 분할과, 같은 클래스라도 개체별로 구분해서 라벨을 주는(사람1, 사람2) 인스턴스 분할로 나뉨.

영상처리 기초

Image Processing Basics (Filtering/Edge Detection)

픽셀 밝기가 급격히 변하는 곳(경계)을 찾기 위해 소벨(Sobel) 필터 같은 작은 커널을 이미지에 합성곱시켜 각 방향의 밝기 변화율(그래디언트)을 계산하는 등, 딥러닝 이전부터 쓰여온 고전적 영상처리 기법.

전이학습

Transfer Learning

대용량 데이터(ImageNet 등)로 이미 학습된 모델이 배운 저수준 특징(경계, 질감, 색상 패턴)은 어떤 이미지 과제에도 공통으로 유용하다는 점을 이용해, 이 사전학습된 모델의 앞부분은 그대로 재활용하고 마지막 출력층만 새로운 과제에 맞춰 다시 학습시키는 기법. 처음부터 학습할 때보다 훨씬 적은 데이터와 시간으로도 높은 성능을 얻을 수 있음.

ex) 희귀 피부질환 이미지 몇백 장만으로도 ImageNet 사전학습 모델을 재활용해 높은 정확도의 진단 모델을 만드는 것.

행렬연산과 텐서

Matrix Operations & Tensors

신경망의 한 층은 입력 벡터에 가중치 행렬을 곱하고 편향을 더하는 선형변환()으로 표현되며, 배치 데이터·이미지의 채널까지 포함하면 2차원을 넘어선 다차원 배열인 텐서로 다뤄야 함. GPU가 딥러닝에 강한 이유가 바로 이 행렬곱을 대량 병렬로 처리하는 데 최적화돼 있기 때문.

베이즈 추론

Bayesian Inference in AI

모델 파라미터 에 대한 사전 믿음 을, 관측 데이터 가 주어졌을 때의 가능도 와 곱해 사후 확률 로 갱신하는 추론 방식. 점 추정값 하나만 내놓는 대신 파라미터의 불확실성 자체를 확률분포로 다룰 수 있음.

최대우도추정

Maximum Likelihood Estimation for Model Parameters

관측된 데이터가 나타날 확률(가능도)을 가장 크게 만드는 파라미터 를 모델의 추정값으로 선택하는 원리. 딥러닝에서 흔히 쓰는 교차 엔트로피 손실을 최소화하는 것이 바로 이 가능도를 최대화하는 것과 수학적으로 동치임.

고유값과 고유벡터

Eigenvalues & Eigenvectors

어떤 행렬 를 곱해도 방향은 그대로고 크기만 배로 바뀌는 특별한 벡터 가 고유벡터, 그 배율이 고유값. 데이터의 공분산 행렬의 고유벡터는 데이터가 가장 넓게 퍼진 방향을 알려주므로, 차원축소(PCA)나 이미지 압축, 그래프 신경망의 구조 분석 등 AI 전반에서 데이터의 핵심 구조를 뽑아내는 데 반복적으로 쓰이는 핵심 선형대수 개념.

ex) 수백 차원의 얼굴 이미지 데이터를 가장 정보량이 많은 몇 개의 고유벡터(고유얼굴) 방향으로 압축하는 것.

모델 배포 및 서빙

Model Deployment & Serving

학습이 끝난 모델을 REST/gRPC API 형태로 감싸 실시간 요청에 응답하게 만드는 과정. 요청이 몰릴 때 여러 요청을 모아 한 번에 GPU로 계산하는 배치 처리(batching)로 처리량을 늘리는 게 실무의 핵심 최적화 포인트.

모델 모니터링과 드리프트 탐지

Model Monitoring & Drift Detection

운영 중 들어오는 실제 데이터의 통계적 분포가 학습 시점의 데이터 분포와 얼마나 달라졌는지(예: KL divergence 같은 지표로) 지속적으로 측정해, 모델 성능이 저하되기 전에 재학습 시점을 판단하는 활동.

피처스토어와 데이터 버전관리

Feature Store & Data Versioning

여러 모델이 같은 특징(예: "최근 30일 구매 횟수")을 각자 따로 계산하면 정의가 미묘하게 달라져 학습 때와 서빙 때 값이 어긋나는 문제(train-serving skew)가 생기는데, 이런 특징들을 한 곳에서 정의·계산·저장해 여러 팀·모델이 동일한 정의로 재사용하게 하는 피처스토어와, 어떤 버전의 데이터로 어떤 모델을 학습시켰는지 추적해 재현성을 보장하는 데이터 버전관리.

ex) 여러 추천 모델 팀이 "활성 사용자" 정의를 각자 다르게 계산해 결과가 어긋나는 문제를 피처스토어로 통일하는 것.