공부하는 안씨의 기록

이전 게시글에서 각 하이퍼파라미터의 의미와 용도에 대해 배워보았다. 그런데, 이런 하이퍼파라미터를 변경시켜 학습을 진행하면, 구체적으로 어떻게 달라지는 것일까? 이번 게시글에서는 데이터가 5개라고 가정하고, batch_size를 1에서 2로 늘릴 때 어떤 변화가 일어나는지 경사하강법과 연관시켜 설명해보도록 한다. 기본 전제아래와 같이, 5개의 데이터 개수에 대해 learning rate와 epoch는 고정시키고, batch size만 1에서 2로 변경하면 학습 진행이 어떻게 달라지는지에 대해 이야기해보겠다.(데이터 개수라는 것은 학습시키기 위해 준비해 둔 데이터셋의 개수를 의미한다.)데이터 개수: 5개 (D = [D1, D2, D3, D4, D5])learning rate: 0.01 (동일)batch_s..

하이퍼파라미터란?하이퍼파라미터(Hyperparameter)는 모델 학습 과정에서 인간이 직접 설정하는, 즉 사용자가 직접 설정해야 하는 변수이다.이는 모델의 성능과 학습 속도에 큰 영향을 미치는 중요한 요소로, 학습 중 자동으로 조정되지 않는다. 하이퍼파라미터는 모델의 최적화 과정과 구조를 결정하며, 이를 적절히 설정하는 것이 성공적인 모델 학습의 핵심이다.하이퍼파라미터의 종류하이퍼파라미터는 사용자가 직접 설정할 수 있는 변수로, 주로 학습률(Learning Rate), 배치 크기(Batch Size), 에포크(Epoch)등이 있다. 옵티마이저와 드롭아웃 또한 사용자가직접 설정할 수 있는데, 옵티마이저는 최적화 알고리즘의 역할을 수행하고, 드롭아웃은 과적합을 막기위한 방법 중 하나로 사용된다.   자세한..

이번 게시글은 딥러닝의 다층신경망(Deep Neural Network)에서 순전파, 손실 계산, 역전파 과정과 함께 역전파의 필요성과 역방향 계산의 이유를 설명하고자 한다. 해당 게시글은 패스트 캠퍼스 강의, 학교 수업 등을 직접 수강하고 숙지한 내용을 바탕으로 작성되었다. 딥러닝에서 다층신경망(Deep Neural Network)은 입력 데이터를 여러 층(layer)을 통해 전달하며, 예측 값을 계산하고 학습하는 구조를 가진다. 이 학습 과정은 크게 순전파(Forward Propagation), 손실 계산(Loss Calculation), 역전파(Backpropagation)의 세 단계로 이루어진다. 이 글에서는 각 과정이 어떻게 이루어지는지와, 왜 역전파(Backpropagation)가 필수적인지 설..

앞선 게시글에서 지도 학습의 대표적인 문제 유형은 분류와 회귀라 언급하였다. 이번 게시글에서는 선형 회귀(Linear Regression)에 대해 보다 구체적이고 자세하게, 수식을 활용하여 설명해볼 예정이다.(본 게시글은 학교 수업 및 패스트 캠퍼스 강의 등을 바탕으로 숙지한 내용 및 추가적인 공부를 바탕으로 작성되었다.) 보다 간단하게, 한눈에 파악하고 싶다면 하단의 게시글에 정리된 그림을 참고 바란다.  [개념] 딥러닝 기초 개념 정리 (2) 딥러닝과 다층 퍼셉트론 (+활성화 함수를 사용하는 이유)이번 여름방학(24/7/1~7/26)동안, 수도권 ICT 이노베이션 스퀘어 강의인 인공지능 중급 강의를 수강하며 스스로 정리하고 추가 조사한 내용을 토대로, 공부의 목적으로 딥러닝 개념 정리를 해보고자an-..

저번 주에 2025년도 동계종합학술발표회(KICS Winter Conference 2025)를 다녀왔다. 학교에서 진행했던 연구를 바탕으로 학부 논문 발표를 위한 논문을 제출하였고, accept되어 포스터 발표를 준비하였다. 용평 리조트에서 진행되었고, 나는 오전 9시 50분 시작하는 포스터 세션이라, 집에서 5시 반에 출발했다... 전에 간 적 있어서, 잘 찾아갈 수 있었다. 등록하면서 우산과 간식을 받았다. :) (발표장소 복도에 여러 간식이 비치되어있었는데, 귤이 특히나 맛있었고 그래서 그런지 금방 동이 났다... ) 이미 연구를 한차례 진행했고, 충분히 사전 논문을 읽으며 공부해왔기 때문에 포스터 발표가 걱정되지 않았는데(발표자로 참여했음), 도착하고 나니, 앞 세션에서 심사위원 분들께서 돌아다..

해당 게시글은 머신러닝의 4분류인 지도학습, 비지도학습, 자기지도학습, 강화학습에 대한 개념 정리로, 학교 수업 및 패스트캠퍼스 강의를 듣고 숙지한 내용을 바탕으로 작성하였다. 머신러닝의 4가지 개념 정리머신러닝(Machine Learning)은 데이터를 기반으로 학습하고, 주어진 문제를 해결하기 위해 예측하거나 분류하는 기술이다. 머신러닝의 학습 방식은 크게 지도학습(Supervised Learning), 비지도학습(Unsupervised Learning), 자기지도학습(Self-Supervised Learning), 강화학습(Reinforcement Learning)으로 분류할 수 있다. 각각의 학습 방식에 대해 간단히 살펴보자!1. 지도학습 (Supervised Learning)지도학습은 입력(In..

이번에 패스트 캠퍼스 온라인 강의 중 모두를 위한 2025 AI 바이블: AI Signature 강의를 결제하여 수강하기 시작했다. 인공지능 관련 역량을 더 키우고 싶어 해당 강의를 수강하게 되었다.  인공지능 코스 패키지는 여러가지가 있었지만, 이 강의를 선택한 이유는 커리큘럼에 재미있어보이는 강의 및 실습이 존재하여 더욱 흥미가 갔기 때문이다. 특히 후반에 존재하는 LLM, 프롬프트 엔지니어링, API 활용법 등 관련 강의가 기대된다. 학교 수업에서 자세하게 다뤄지지 않은 내용이다 보니, 이번 강의를 들으면 확실히 많은 도움이 될 것 같다. 또한, 나 같은 경우 이틀 전 정도에 결제를 완료하였더니, 패스트캠퍼스에서 퍼플렉시티 구독권 3개월권을 제공받았다! 퍼플렉시티를 자료 및 논문 검색에 꼭 써보고 ..

Large language model based multi-agents: A survey of progress and challenges 위 서베이 논문을 읽고, 정리해본 내용이다. 졸업 프로젝트를 진행하기 앞서 관련 선행 연구를 이해하고, 개념을 정리하기 위해 리뷰해보았다.  1. 배경LLM-MA 시스템의 기본 개념LLM-MA 시스템은 단일 LLM 에이전트의 고급 계획 및 추론 능력을 확장하여 여러 에이전트가 협력하여 문제를 해결하거나 세계를 시뮬레이션하도록 설계된 시스템.이 시스템은 각 에이전트가 특정 역할과 능력을 가지며, 상호작용과 협력을 통해 집단 지능을 발휘함.단일 LLM 시스템이 개별 작업에 집중하는 반면, LLM-MA는 다중 에이전트의 상호작용과 협업을 통해 더 복잡한 작업을 처리단일 에이..