Introduction

기존 논문들의 한계점으로 다음 문제들을 찝었다.

• 채널 수가 사용자 보다 많음 --> 현실에서는 대규모 네트워크이기에 채널 수가 부족할 수 있음
• 모든 사용자가 전체 스펙트럼 상태를 앎 --> 실제로는 자기 주변 정보만 관측 가능
• 사용자간 정보 교환 가능 --> 현실 세계에서 구현은 어려움
• 서로 다른 직교 채널 사용 --> 사용자가 많으면 모두 다른 채널을 쓰기 어려움

그래서 저자는 채널 부족 문제를 해결하기 위해 주파수 재사용(Frequency Reuse)을 적용하고자 한다.  서울에서 쓰는 주파수와 부산에서 쓰는 주파수가 같아도, 둘은 서로 멀리 떨어져 있기 때문에 간섭이 적다. 즉, 서로 멀리 떨어진 사용자는 전파 손실(propagation loss) 때문에 간섭이 크지 않다는 점을 이용해서 재사용 하는 것이다.

다만, 이 주파수 재사용을 적용 할 때는 다음을 고려해야한다.

• Anti-Jamming Policy : 재머가 공격하는 채널 피하기
• Frequency Reuse Policy : 동일 채널을 재사용하더라도 간섭이 크지 않은 사용자를 고려하여 채널 선택

또 이때 다른 사용자와 정보를 교환하지 않고 스스로 독립적으로 스펙트럼을 센싱하고 학습해야한다. 이때 문에 전체 환경은 계속 변하는 Non-Staionary Environment가 된다. 한 사용자가 학습하면서 채널 선택을 바꾸면, 다른 사용자 입장에서는 환경이 갑자기 바뀐 것처럼 보이기 때문이다. 이때문에 일반 RL/DRL이 실패할 수 있다.

그래서 이 논문은 다음을 기여한다.

  정리하면, 본 논문은 채널이 부족하고 사용자 간 정보 공유가 어려운 현실적인 재밍 환경을 고려한다. 각 사용자는 전체 네트워크 상태를 알 수 없으며, 자신의 관측 정보만을 기반으로 독립적으로 학습해야 한다. 이를 위해 저자는 문제를 Dec-POMDP로 모델링하고, 재밍 회피와 주파수 재사용을 동시에 고려하는 Hybrid Reward를 설계하였다. 또한 사용자 간 정보 교환 없이 각 사용자가 독립적으로 학습하는 DRL 기반 DSAJ(Dynamic Spectrum Anti-Jamming) 알고리즘을 제안하여, 재밍 대응과 주파수 재사용을 동시에 달성하고자 한다.

System Model

여기서 사용자 수 N > 채널 수 K 가정이 존재한다.

기존 연구에서는 수신기(Receiver)가 채널 상태를 관찰하고 학습하여 다음 통신 채널을 결정한 후, 제어 채널(Control Channel)을 통해 송신기에게 해당 정보를 전달하였다. 하지만 제어 채널 역시 재머의 공격 대상이 될 수 있으므로, 제어 정보 전달 실패로 인해 전체 Anti-Jamming 성능이 저하될 수 있다.

이를 해결하기 위해 본 논문은 송신기(Transmitter)를 지능 노드(Intelligent Node)로 설정하는 새로운 통신 모델을 제안한다.

송신기를 Agent로 설정하여, 송신기가 스페트럼 센싱 -> DRL 추론 -> 채널 선택 -> 전송을 혼자 수행한다. 그래서 제어 채널이 필요가 없어진다.

저자는 

• Data Transmission : 송신기가 선택한 채널로 데이터 전송, 수신기는 전체 주파수 대역 스캔 및 수신
• ACK Transmission : 수신 신호의 SINR에 따라 동일한 채널에 ACK 전송, 송신기는 품질 판단
• Decision Making : 스펙트럼 환경 송신기가 센싱하고, 재밍 대응 통신 정책 업데이트 하고, 다음 타임 슬롯에서 사용할 채널 결

세 과정으로 나누고, 매 Time Slot마다 해당 과정을 반복한다.

를 다음과 같이 정의했다.

분자에는 사용자의 송신전력 P와 채널이득 g가 들어가서, 해당 부분이 크면 수신이 잘 이루어진다.

분모에는 재밍 전력 J, 동일 채널 간섭 I, 잡음 a 가 들어가고, 해당 부분의 값이 커지면 SINR 값은 작아지게 된다.

분자의 g같은 경우, 거리가 증가하면 신호 세기가 감소하여 간섭이 감소한다. --> Frequency Reuse가 가능하다.

채널 용량 같은 처리량은 생각하지 않고, 단순하게, 이렇게 계산된 SINR값이 QoS 임계값을 만족하는지, 만족하지 않는지만 확인한다.

이때, Tx->Rx 뿐만 아니라, ACK에 해당하는 Rx->Tx까지 모두다 성공해야한다.

그래야 c_n 이 1을 만족한다.(통신 성공 여부를 나타냄)

사용자 n은 각 채널에 대해 스펙트럼 센싱을 수행하여 다음 수식 형태의 관측 벡터를 얻는다.

각 원소는 해당 채널에서 측정된 사용자 신호, 재밍 신호, 잡음의 총합을 dB 스케일로 나타낸 값이다.

이 관측값을 입력으로 하여 사용자는 채널 선택 정책 π를 학습한다.

이 입력을 토대로 선택 채널을 선택해야하는데, 

최종 목표는 장기적으로 누적 통신 성공 횟수(c_n)를 최대화하는 최적 정책이다.

즉 사용자는 자신의 관측 정보만을 이용하여 재밍을 회피하고, 동일 채널 간섭을 줄이며, 가능한 경우 주파수 재사용을 수행하는 채널 선택 전략을 학습한다.

Multi-Agent Collaborative DSAJ Approach based on Intelligent Frequency Reuse

Dec-POMDP Formulation

사용자는 스펙트럼 상태를 독립적으로 센싱하기에, 부분적 관측(partially observable)한다.

이를 Dec-POMDP 로 정식화하며 6개의 튜플 요소<S, O, A, P, T, R> 로 표현한다.

조금 더 쉽게 정리하면

P(State Transition Probability) 는 현재 상태(State)와 현재 행동(Action)에 의해 다음 상태(State)가 될 확률을 의미한다.

따라서 P에는

- 재머 행동 변화

- 사용자 행동 변화

- 채널 상태 변화

등 환경의 모든 상태 변화가 포함된다. 예를 들어 Sweep Jammer의 경우

CH1 → CH2 → CH3 → CH4

와 같은 재밍 패턴이 P에 반영되어 있을 것이다. 하지만 사용자는 재머의 알고리즘이나 상태 전이 규칙을 알 수 없으므로 P를 직접 계산할 수 없다.

T(Observation Transition Probability)는 실제 환경 상태가 변화함에 따라 사용자가 관측하는 Observation이 어떻게 변화하는지를 나타내는 확률이다. 즉 사용자는 실제 State를 직접 관측할 수 없고 Observation만 획득할 수 있으므로,

State 변화-> Observation 변화 관계를 나타내는 것이 T이다.

예를 들어 재머가

CH1 → CH2

로 이동하면, 사용자가 관측하는 에너지 레벨도 CH1 높음 → CH2 높음

으로 변하게 된다.

P와 T는 사용자에게 알려져 있지 않으며, 재머의 비협조적 특성 때문에 직접 모델링하기 어렵다.

따라서 사용자는 환경의 상태 전이 규칙을 알지 못한 채, 관측(Observation)과 보상(Reward)만을 이용하여 DRL을 통해 환경의 전이 패턴을 경험적으로 학습한다.

Multi-Agent Collaborative Anti-Jamming Algorithm

DQN을 이용한다. 다만, 기존에는 Q(s, a)하나였다면 , 이번에는 Q_u(주파수 재사용 Q-Value), Q_j(재밍 회피 점수) 이렇게 따로따로 학습한다.

이는 각각 주파수 재사용과 재밍 회피를 통해 얻을 수 있는 최대 누적 보상(maximum cumulative reward)의 추정값을 의미한다.

Q_u(O,a)는 현재 채널 선택이 장기적으로 얼마나 좋은 Frequency Reuse 성능을 가져오는지를 나타내는 Q-value이고, Q_j(O,a)는 현재 채널 선택이 장기적으로 얼마나 좋은 Anti-Jamming 성능을 가져오는지를 나타내는 Q-value이다.

하이브리드 리워드 함수 기반으로, 두개의 CNN을 포함하는 DQN 모델을 설계하였다.

기존 DQN은 하나의 CNN으로 하나의 Q-value를 학습하지만, 본 논문은 동일한 Spectrum Waterfall 입력을 사용하는 두 개의 CNN(Q_u, Q_j)을 두어 Frequency Reuse와 Anti-Jamming을 각각 독립적으로 학습하도록 설계하였다.

Hybrid Reward로 분리된 Frequency Reuse 보상과 Anti-Jamming 보상을 각각 별도의 CNN(Q_u, Q_j)이 학습하며, 두 CNN 모두 표준 DQN의 Bellman Equation 기반 Target Q와 MSE Loss를 사용하여 업데이트된다.

Composite Q-value Based Decision-Marking Strategy

만약에 Qu = 10, Qj= 2인거랑, Qu=2, Qj=10이면 뭘 선택해야할까?

주파수 재사용은 좋은데 재밍은 별로인 채널과, 재밍 회피는 좋은데 주파수 재사용이 별로라면?

최종 점수 하나를 만들었다. Composite Q-value의 가중 평균(weighted average)을 이용한 Greedy 전략을 사용한다. 그리고 이를 통해 최종 통신 채널을 결정한다.

여기서 η 값에 따라서 가중치가 바뀌는 것이다. 

Simulation Results and Discussions

채널 수 K=10네트워크에서 2.5km*2.5km 영역 내 20명의 통신사용자가 존재한다.

Sweep Jamming은 모든 채널을 주기적으로 순회하며 공격하는 재밍신호이고, Comb Jamming 은 서로 다른 3개의 채널을 지속적으로 공격하는 고정 재밍 신호이다.

Sweep Jamming의 경우에는

η = 0.8로 두었을 때(80% 재밍 회피 20% 주파수 재사용) 이 가장 좋은 성능을 보였다.

Frequency Reuse만 고려하면 재밍을 충분히 회피하지 못하고, Anti-Jamming만 고려하면 학습이 불안정해진다. 따라서 두 목적을 함께 고려하는 Hybrid Reward와 Composite Q-value가 필요하며, 실험에서는 η=0.8일 때 가장 좋은 성능을 보였다.

반면에 Comb Jamming의 경우에는

η = 0.2로 두었을 때(20% 재밍 회피 80% 주파수 재사용) 이 가장 좋은 성능을 보였다.

그 이유로는 Sweep의 경우, 재머가 계속 움직여서 재밍 회피가 중요하고, Comb의 경우 재머 위치가 고정되어 회피가 쉽기 때문이다.

단, Comb환경인지 Sweep 환경인지 미리 알 수 없다.

그래서 저자는 재머 패턴 미리 분석하고, 재밍 유형 판단해서 자동조절하는 방식이 필요하다라고 언급한다.

Hybrid Reward는 효과적이지만, Frequency Reuse와 Anti-Jamming의 중요도는 재밍 환경에 따라 달라진다. 따라서 η를 고정하기보다 재밍 유형을 식별한 후 동적으로 조절하는 적응형 방식이 향후 연구 방향이 될 수 있다.

결론

"주파수 재사용”과 “재밍 회피”를 하나의 보상으로 학습하지 말고, 각각 별도의 Q-network로 학습한 뒤 최종적으로 가중 결합하여 채널을 선택하자는 논문이다.