Glossary

0-9

1-shot learning 2-stage detector 3D convolution 4D data 5G + AI 6DoF pose estimation 7D representation 8-bit quantization 9-layer network 0-shot learning

A

Algorithm Autoencoder Artificial Intelligence (AI)Attention AGI / Artificial General Intelligence

B

Batch Normalization Boosting Backpropagation Bias BERT

C

Classifier / Classification Chatbot Cross-Validation Clustering CNN / Convolutional Neural Network

D

Deterministic Model Data Augmentation Deep Learning Discriminative Model Deepfake

E

Explainable AI (XAI)Ensemble Learning Encoder Embedding Epoch

F

Foundation Model Fine-tuning Forward Propagation Feature Extraction Fusion / Multimodal Fusion

G

Gradient Descent Graph Neural Network (GNN)Generative AI GAN / Generative Adversarial Network Grounding

H

Hierarchical Model Hidden Layer Hyperparameter Hallucination Heuristic

I

Imbalanced Data Instance / Sample Intelligence Amplification / Augmentation Interpretability Instruction tuning

J

Juxtaposition Joint Embedding Jittering JAX JSONL / JSON-lines

K

Knowledge Distillation Kernel Trick K-means Clustering K-Shot Learning KL Divergence (Kullback–Leibler Divergence)

L

Large Language Model (LLM)Loss Function Latent Variable Learning Rate LSTM / Long Short-Term Memory

M

Machine Learning (ML)Multimodal / Multimodality Multi-head Attention Meta-learning Model

N

Novelty Detection / Anomaly Detection Neural Network Normalization NLP / Natural Language Processing NLU / Natural Language Understanding

O

Objective Function Overfitting Online Learning Optimizer One-hot Encoding

P

Parameter Policy / Reinforcement Learning Policy Prompt Pretraining Pooling

Q

Quantization Query Queue / Buffer Quality Estimation Q-learning

R

Reinforcement Learning (RL)Retrieval Augmented Generation (RAG)Regularization Representation Learning RNN / Recurrent Neural Network

S

Supervised Learning Sampling Sequence Modeling Self-Supervised Learning Softmax

T

Transfer Learning Tokenizer Tuning / Hyperparameter Tuning Transformer Training Data

U

Uncertainty Estimation Unsupervised Learning Underfitting Universal Approximation Theorem U-Net

V

Validation Set Vector Embedding Variational Autoencoder (VAE)Vanishing / Exploding Gradient Vision Transformer (ViT)

W

Whitening / Whitening Transformation Weak Supervision Word Embedding Workflow Weight Decay

X

X-axis / feature axis XAI / Explainable AI XLM XLNet XOR problem

Y

Yield (model yield / throughput)Yoga of AI Y-transform / YUV Y-axis / feature axis YAGNI (You Aren't Gonna Need It)

Z

Zero-gradient phenomenon Zero-centric / Zero-bias initialization Zero-shot Learning / Zero-shot inference Zygosity in augmentation Z-score Normalization

JAX란 무엇인가

JAX는 Google이 개발한 오픈 소스 라이브러리로, 고성능 수치 계산 및 머신러닝에 사용됩니다. 이름은 'Just After eXecution'의 약자로, 실행 시 최적화를 수행할 수 있음을 의미하며, 특히 자동 미분에서 두드러집니다.

JAX는 NumPy의 사용 용이성과 TensorFlow의 강력한 기능을 결합하여 사용자가 간단한 Python 코드를 통해 효율적인 계산을 수행할 수 있게 합니다. 자동 미분 지원은 사용자가 기울기를 쉽게 계산할 수 있게 해줍니다.

JAX는 XLA(Accelerated Linear Algebra)라는 컴파일러를 사용하여 사용자의 Python 함수를 효율적인 기계 코드로 변환하여 계산 속도를 향상시킵니다. 이러한 최적화 덕분에 JAX는 대규모 데이터 처리에서 뛰어난 성능을 발휘합니다.

JAX는 머신러닝, 과학 계산 및 수치 최적화 등 다양한 분야에서 널리 사용됩니다. 많은 최첨단 연구와 응용 프로그램이 JAX를 채택하고 있으며, 특히 딥 러닝, 강화 학습 및 생성 모델 분야에서 두각을 나타내고 있습니다.

앞으로 JAX는 기능을 계속 확장하여 더 많은 개발자와 연구자를 끌어들일 가능성이 있습니다. 머신러닝과 인공지능의 지속적인 발전에 따라 JAX는 성능과 사용 편의성에서 계속 개선될 것입니다.

JAX는 높은 성능과 유연성과 같은 많은 장점이 있지만 몇 가지 단점도 있습니다. 예를 들어, JAX의 학습 곡선은 초보자에게 가파를 수 있으며, NumPy나 머신러닝에 익숙하지 않은 사용자에게는 더욱 그러합니다. 또한 JAX의 생태계는 TensorFlow나 PyTorch와 같은 다른 프레임워크에 비해 여전히 발전 중이며, 일부 기능은 아직 완전하지 않을 수 있습니다.