분류 및 회귀 문제에 대해 전역적으로 최적화된 익스트림 학습 머신을 위한 부스팅 능선

Scientific Reports 13권, 기사 번호: 11809(2023) 이 기사 인용

191 액세스

측정항목 세부정보

본 논문에서는 ELM(Extreme Learning Machine) 커뮤니티에서 BR(Boosting Ridge) 프레임워크를 탐색하고 기본 학습자를 글로벌 앙상블로 훈련시키는 새로운 모델을 제시합니다. Extreme Learning Machine 단일 히든 레이어 네트워크의 맥락에서 히든 레이어의 노드는 훈련 전에 미리 구성되며 출력 레이어의 가중치에 대해 최적화가 수행됩니다. ELM(BRELM)을 기본 학습자로 사용하는 BR 앙상블의 이전 구현에서는 모든 ELM에 대해 숨겨진 계층의 노드를 수정했습니다. 앙상블 학습 방법은 앙상블에 기본 학습기가 추가될수록 앙상블의 잔차 오차를 순차적으로 줄여 서로 다른 출력 계층 계수를 생성합니다. 다른 앙상블 방법론과 마찬가지로 기본 학습자는 크기나 성능과 같은 앙상블 기준을 충족할 때까지 선택됩니다. 본 논문에서는 BR 프레임워크에서 기본 학습기를 단계별로 추가하지 않고, 앙상블 성능을 찾아 한 단계에서 모두 계산하는 전역 학습 방법을 제안합니다. 이 방법은 (i) 은닉층의 구성이 기본 학습기마다 다르다는 점, (ii) 기본 학습기가 순차적이 아닌 한꺼번에 최적화되어 포화를 피한다는 점, (iii) 앙상블 방법론에 단점이 없다는 점을 고려합니다. 강력한 분류자를 사용하여 작업하는 것입니다. 이 방법을 원래 BRELM 구현 및 기타 최첨단 알고리즘과 비교하기 위해 다양한 회귀 및 분류 벤치마크 데이터 세트가 선택되었습니다. 특히, 분류용 71개 데이터 세트와 회귀용 52개 데이터 세트는 서로 다른 측정항목을 사용하고 크기, 클래스 수 또는 불균형 특성과 같은 데이터 세트의 다양한 특성을 분석하는 것이 고려되었습니다. 통계 테스트는 모든 실험 시나리오의 회귀 및 분류 문제 모두에서 제안된 방법의 우수성을 나타냅니다.

지난 10년 동안 ELM(Extreme Learning Machine)1은 뇌-컴퓨터 인터페이스2, 남은 구름 베어링 유효 수명 예측3, 매우 유용한 회향의 원산지 탐지와 같은 어려운 문제를 기계 학습하는 데 널리 사용되는 방법론이 되었습니다. 식품 향미4, 코로나19 폐렴 예측5, 뇌-컴퓨터 인터페이스6를 위한 EGG 분류6, 물 네트워크 관리7, 밀 수확량 예측8 등이 중요합니다. ELM 이론에서는 은닉층 매개변수, 즉 단일 은닉층 피드포워드 네트워크의 가중치와 편향을 조정할 필요가 없지만 훈련 데이터세트와는 별도로 무작위로 생성할 수 있다고 주장합니다9. 따라서 최소 제곱 추정 솔루션을 사용하여 단일 단계로 출력 가중치만 계산됩니다. 이러한 무작위 초기화로 인해 ELM 훈련 속도는 성능 저하 없이 성능 저하 없이 역전파10,11 기반의 신경망 솔버와 같은 기존의 신경망 솔버에 비해 더 효율적입니다.

ELM 모델의 단점 중 하나는 특징의 비선형 조합이 무작위로 탐색되기 때문에 숨겨진 레이어에 대해 많은 수의 뉴런이 필요하다는 것입니다. 이로 인해 계산 시간이나 알고리즘의 복잡성을 증가시키지 않고 이러한 무작위성을 줄이기 위해 가지치기13, 떼 최적화14,15 및 앙상블 학습 방법과 같은 여러 가지 방법이 연구되었습니다.

이러한 맥락에서 ELM 모델에 대한 여러 앙상블 방법이 제안되었습니다(예: 회귀용 앙상블16, 빅 데이터 분류용 퍼지 앙상블17, 시계열 예측용 심층 앙상블18, 오류 피드백이 있는 증분 Meta-ELM19 또는 불균형 데이터 세트용 가중 커널 ELM 앙상블20). 또한 많은 ELM 앙상블 방법이 해양 파도 높이 예측21, 인간 활동 인식22, 근적외선 분광학 교정 또는 새 노래 인식24과 같은 실제 문제에 적용되었습니다. 일반적으로 앙상블은 앙상블 학습 프레임워크에서 기본 학습기로 알려진 분류기 또는 회귀기의 혼합을 사용하여 일반화 오류를 개선하는 것을 목표로 합니다. 성능 향상은 기본 예측 변수 간의 다양성과 관련이 있습니다. 즉, 기본 학습자가 최대한 동의하지 않는 것이 앙상블의 일반화에 필수적입니다25. 개별 예측을 결합하는 방법에는 여러 가지가 있습니다. 따라서 이러한 앙상블의 효율성을 향상시키기 위해 배깅26, 부스팅27, 로컬 선형 전문가28을 사용하는 증분 학습 시스템 또는 L2 손실 함수29를 사용하는 기능적 경사 하강 알고리즘으로 구성된 부스팅 변형과 같은 여러 투표 방법이 제안되었습니다. 배깅 및 부스팅으로 알려진 앙상블 방법론은 주로 적용 용이성과 앙상블 성능으로 인해 가장 널리 사용되는 접근 방식입니다. 이러한 앙상블 방법론의 핵심은 다양성을 생성하는 훈련 데이터에 있습니다. 이러한 방식으로 기본 예측 변수와 관련된 최적화 문제에 대한 다양한 솔루션이 데이터 샘플링을 통해 암시적으로 모색됩니다.