Glossary

0-9

1-shot learning 2-stage detector 3D convolution 4D data 5G + AI 6DoF pose estimation 7D representation 8-bit quantization 9-layer network 0-shot learning

A

Algorithm Autoencoder Artificial Intelligence (AI)Attention AGI / Artificial General Intelligence

B

Batch Normalization Boosting Backpropagation Bias BERT

C

Classifier / Classification Chatbot Cross-Validation Clustering CNN / Convolutional Neural Network

D

Deterministic Model Data Augmentation Deep Learning Discriminative Model Deepfake

E

Explainable AI (XAI)Ensemble Learning Encoder Embedding Epoch

F

Foundation Model Fine-tuning Forward Propagation Feature Extraction Fusion / Multimodal Fusion

G

Gradient Descent Graph Neural Network (GNN)Generative AI GAN / Generative Adversarial Network Grounding

H

Hierarchical Model Hidden Layer Hyperparameter Hallucination Heuristic

I

Imbalanced Data Instance / Sample Intelligence Amplification / Augmentation Interpretability Instruction tuning

J

Juxtaposition Joint Embedding Jittering JAX JSONL / JSON-lines

K

Knowledge Distillation Kernel Trick K-means Clustering K-Shot Learning KL Divergence (Kullback–Leibler Divergence)

L

Large Language Model (LLM)Loss Function Latent Variable Learning Rate LSTM / Long Short-Term Memory

M

Machine Learning (ML)Multimodal / Multimodality Multi-head Attention Meta-learning Model

N

Novelty Detection / Anomaly Detection Neural Network Normalization NLP / Natural Language Processing NLU / Natural Language Understanding

O

Objective Function Overfitting Online Learning Optimizer One-hot Encoding

P

Parameter Policy / Reinforcement Learning Policy Prompt Pretraining Pooling

Q

Quantization Query Queue / Buffer Quality Estimation Q-learning

R

Reinforcement Learning (RL)Retrieval Augmented Generation (RAG)Regularization Representation Learning RNN / Recurrent Neural Network

S

Supervised Learning Sampling Sequence Modeling Self-Supervised Learning Softmax

T

Transfer Learning Tokenizer Tuning / Hyperparameter Tuning Transformer Training Data

U

Uncertainty Estimation Unsupervised Learning Underfitting Universal Approximation Theorem U-Net

V

Validation Set Vector Embedding Variational Autoencoder (VAE)Vanishing / Exploding Gradient Vision Transformer (ViT)

W

Whitening / Whitening Transformation Weak Supervision Word Embedding Workflow Weight Decay

X

X-axis / feature axis XAI / Explainable AI XLM XLNet XOR problem

Y

Yield (model yield / throughput)Yoga of AI Y-transform / YUV Y-axis / feature axis YAGNI (You Aren't Gonna Need It)

Z

Zero-gradient phenomenon Zero-centric / Zero-bias initialization Zero-shot Learning / Zero-shot inference Zygosity in augmentation Z-score Normalization

JSONL / JSON-lines란 무엇인가

JSONL(JSON Lines)는 각 레코드가 JSON 형식의 개별 행으로 저장되는 구조화된 데이터 형식입니다. 이 형식은 대규모 데이터 세트를 처리하는 데 유리하며, 스트리밍 처리 및 행별 읽기를 용이하게 합니다. JSONL은 빅데이터 처리, 로그 기록 및 기계 학습 분야에서 널리 사용됩니다.

JSONL의 설계 목표는 JSON 데이터를 처리하는 간단하고 효율적인 방법을 제공하는 것입니다. 전통적인 JSON 파일과 달리, JSONL 파일의 각 행은 완전한 JSON 객체로 되어 있어 데이터의 증분 읽기가 간단합니다. 사용자는 전체 파일을 메모리에 로드하지 않고도 데이터를 행별로 읽고 구문 분석할 수 있으며, 이는 대규모 데이터 세트에 특히 중요합니다.

실제 응용 프로그램에서 JSONL 형식은 데이터 교환 및 저장에 일반적으로 사용됩니다. 예를 들어 데이터 파이프라인에서 한 시스템에서 다른 시스템으로 데이터를 전송할 때 JSONL의 행별 특성을 활용하여 데이터의 무결성과 일관성을 보장할 수 있습니다. 또한 Apache Kafka, Spark와 같은 많은 현대 데이터 처리 도구 및 프레임워크가 JSONL 형식을 지원하므로 데이터 과학자와 엔지니어에게 중요한 도구가 됩니다.

앞으로 데이터 양이 지속적으로 증가함에 따라 JSONL 형식은 데이터 저장 및 처리 분야에서 점점 더 보편화될 수 있으며, 특히 효율적인 데이터 전송 및 처리가 필요한 시나리오에서 더욱 그러할 것입니다. 그러나 JSONL을 사용할 때는 복잡한 중첩 구조에 대한 구문 분석이 상대적으로 번거로울 수 있는 등의 주의 사항이 있습니다. 또한 JSONL 파일에는 표준 메타데이터 설명 메커니즘이 없어 데이터 해석 가능성에 영향을 미칠 수 있습니다.