Federated Learning(연합 학습)

📍Federated Learning 정의 

Federated Learning: 다수의 로컬 클라이언트와 하나의 중앙서버가 협력하여 데이터가 탈중앙화된 상황에서 글로벌 모델을 학습하는 기술

→ 스마트폰과 같은 각각의 디바이스에서 축적된 데이터를 통해 개별적으로 로컬 모델을 학습한 결과를 중앙 서버의 메인 모델에 업데이트하는 기술

 

예시)  G Keyboard : 구글에서 출시한 키보드로써 사용자가 자주 사용하는 단어를 학습해 관련 단어를 키보드로 쳤을 경우 예시 문장을 제시함

 

→ 해당 기술은 2015년에 처음 논문으로 발표한 이후, 2017년 구글 AI 블로그에서 공식적으로 소개되고 G Keyboard에 적용된 기술로써 많은 주목을 받기 시작 

 

📍Federated Learning이 나온 계기

→ Motivation: 많은 DL/ML 모델을 학습시키기 위해 주로 big data를 기반으로 하는데 이런 데이터 수집 과정에서 “개인 정보 보안 이슈”를 줄이기 위함 / 데이터를 메인 서버가 아닌, 개개인의 로컬에서 학습을 시킨 후 → 업데이트된 모델의 파라미터값을 중앙 서버로 보내 취합해서 하나의 메인 모델을 업데이트 하는 것 (중앙 서버는 각각의 데이터를 가지고 있지 않음에도, 그 데이터를 이용해 학습한 효과가 나옴)

 

📍Federated Learning 장점

→ 장점: 

데이터 프라이버시 향상 / 커뮤니케이션 효율성 

- 데이터 프라이버시 향상 : 병원의 임상 데이터와 같은 환자 개인정보가 보호되어야 하는 상황에서 데이터 유출 없이 학습이 가능

- 커뮤니케이션 비용 감소 : 수 만개의 로컬 디바이스의 데이터를 모두 중앙 서버로 전송하게 되면 네트워크 트래픽과 스토리지 비용이 증가하는데 이 학습법을 사용할 경우 로컬 모델의 업데이트 정보만을 주고 받으므로 커뮤니케이션 상당한 커뮤니케이션 비용이 감소

 

📍Federated Learning 알고리즘

→ 구현 알고리즘 

(1) 서버에 메인 모델 준비

(2) k개의 클라이언트 중 m개를 고르고 → 메인 모델을 보냄

(3) 각 클라이언트 내에서 클라이언트들이 갖고 있는 로컬 데이터를 이용해 메인 모델을 학습

(4) 그 weight를 다시 서버로 보냄

(5) 그렇게 모인 weight의 weighted sum을 취해 서버의 모델을 업데이트 

📍Federated Learning 챌린지

→ 출처: 2019년 6월17-18일에 개최된 “연합 학습과 분석 워크숍” / “Advances Problems in Federated Learning” 

- 완전 탈중앙 학습(Fully Decentralized Learning) : 

• 연합학습의 기본적인 아이디어는 중앙 서버에서 로컬 업데이트를 받아 메인 모델을 수정하는 방법 
• 하지만, 중앙서버의 존재는 때때로 문제가 됨 → 단일 서버 모델이기 때문에 “단일 장애 지점” 문제 발생 / 항상 서비스 가능한 상태가 아니기 때문에 장기적으로 보면 문제 발생 
• 완전 탈중앙 학습은 이 문제를 해결하기 위해 → “네트워크의 커뮤니케이션 방식”을 Peer-to-Peer Network 형태로 변경하는 방법
•  네트워크의 모든 노드는 그래프 형태로 연결되어 있고 / 한 번의 학습 단계마다 자신의 로컬 업데이트를 연결된 이웃 노드와 교환하는 방식으로 메인 모델을 생성
• 탈중앙 학습의 P2P 네트워크 선택 시 문제점:
  • 네트워크 토폴로지 및 비동기 통신 문제:
    • 학습은 주어진 환경에서도 잘해야 하는데 P2P 네트워크에서는 참여 및 이탈이 자유로움 → 네트워크 구성이 매번 바뀜 
    • 특정 노드가 통신이 불안정할 가능성이 있음 
    • 메시지는 항상 지연이 발생해 노드 사이 동기화가 잘 안되어 있을 수 있음 ⇒ 모든 노드는 안전하게 연결되어 있고, 설상 메시지가 도달되지 않더라도 robustness(견고함)을 가져야 함

- 탈중앙 SGD의 로컬 업데이트 문제: 로컬 디바이스가 메인 모델에 업데이트하기 전에 몇 번의 로컬 업데이트를 발생할 것인지 → 일반적으로 한 번의 로컬 업데이트 이후 다른 기기와 통신해서 모델을 결합 / 통신 비용 증가

- 신뢰 문제: 참여와 이탈이 자유로운 P2P 네트워크로 구성된 학습은 악의적으로 신뢰할 수 없는 데이터를 가지고 학습하는 상황을 생각해서 모델을 만들어야 함

- 개인화: FL로 생성된 글로벌 모델을 각 로컬 디바이스의 용도에 따라 변형하여 사용할 수 있어야 함 

• NEXT-word prediction을 수행한다고 했을때 → 각 로컬 디바이스는 서로 다른 언어를 사용하기 때문에 메인 모델을 로컬에 적용할 때 다른 feature를 갖는 모델이 필요할 수도 있음 

 

📍Federated Learning 해결법

→ 연합 학습의 효율성 높이는 법

• **학습 메인 목표** : 데이터는 공유하지 않으면서 / 모든 데이터셋을 학습한 글로벌 모델(메인 모델)을 만드는 것
• 이 때문에 각각의 디바이스에서 생성되는 데이터는 Non-IID(Independent and Identically Distributed)이기 때문에 → 완벽하게 글로벌 모델을 최적화하는 것은 어려움
• Non-IID 데이터셋? : 사용자가 갖고 있는 각 데이터가 독립 + 동일한 확률 분포를 가지고 있지 않다
• EX) 인물 사진 Classifier를 만든다고 했을때 / 대한민국에 거주하고 있는 사용자의 앨범에는 동양인의 사진이 많을 것이다 → 나중에 이를 학습시킨 모델로 글로벌 모델을 업데이트 했을때 동양인만 잘 구분해내는 문제 발생 ⇒ Universal한 classifier를 만들 수 없다 
• 이러한 **문제 해결법 **: 각각의 사용자의 데이터 일부분을 중앙 서버에 제출해서 “공용 데이터”로 사용하도록 하는 방법  ←→ 데이터 보안성 문제와 충돌 

• 커뮤니케이션 비용 문제 → 네트워크 대역이 낮고 불안정한 상황에서 / 레이턴시 때문에 학습속도가 급격히 낮아질 수 있음 

⇒ “FedAvg: Federated Averaging” ; classification 모델 연구에서 ResNet, GoogleNet과 어깨를 나란히 함

 

 

---

ref.

[연합 학습(Federated Learning), 그리고 챌린지]

https://medium.com/curg/%EC%97%B0%ED%95%A9-%ED%95%99%EC%8A%B5-federated-learning-%EA%B7%B8%EB%A6%AC%EA%B3%A0-%EC%B1%8C%EB%A6%B0%EC%A7%80-b5c481bd94b7

[google ai blog]

https://ai.googleblog.com/2017/04/federated-learning-collaborative.html

[Federated Learning 내 맘대로 정리]

https://at0z.tistory.com/163