Рекурзивни алгоритам најмањих квадрата (RLS) је адаптивни филтер који рекурзивно утврђује коефицијенте који смањују пондерисани линеарни најмањи квадрат функција трошкова у вези улазних сигнала. Ово је за разлика у односу на друге алгоритме као што је алгоритам најмањих средњих квадрата (LMS) чији је циљ да смањи средње квадратне грешке. У извођење рекурзивног алгоритма најмањих квадрата, улазни сигнал се сматра детерминистичким , док се алгоритам најмањих средњих квадрата и слични алгоритми сматрају стохастичком. У поређењу са већином својих конкурената, експонати рекурзивног алгоритма најмањих квадрат изузетно брзо конвергирају. Међутим, ова корист долази по цену високог рачунарске комплексности.
Мотивација
уреди
RLS је открио Карл Фридрих Гаус али остаје неискоришћен или игнорисан до 1950. године, када Плацкет открива оригинални рад Гауса од 1821. У принципу, RLS алгоритми могу да се користе за решавање сваког проблема који могу да реше адаптивни филтери, На пример, претпоставимо да је сигнал d(n) који се преноси преко еха, бучни канал који узрокује да буде примљен као
x
(
n
)
=
∑
k
=
0
q
b
n
(
k
)
d
(
n
−
k
)
+
v
(
n
)
{\displaystyle x(n)=\sum _{k=0}^{q}b_{n}(k)d(n-k)+v(n)}
где
v
(
n
)
{\displaystyle v(n)}
d
(
n
)
{\displaystyle d(n)}
p
+
1
{\displaystyle p+1}
w
{\displaystyle \mathbf {w} }
d
^
(
n
)
=
∑
k
=
0
p
w
n
(
k
)
x
(
n
−
k
)
=
w
n
T
x
n
{\displaystyle {\hat {d}}(n)=\sum _{k=0}^{p}w_{n}(k)x(n-k)=\mathbf {w} _{n}^{\mathit {T}}\mathbf {x} _{n}}
где
x
n
=
[
x
(
n
)
x
(
n
−
1
)
…
x
(
n
−
p
)
]
T
{\displaystyle \mathbf {x} _{n}=[x(n)\quad x(n-1)\quad \ldots \quad x(n-p)]^{T}}
p
+
1
{\displaystyle p+1}
x
(
n
)
{\displaystyle x(n)}
w
{\displaystyle \mathbf {w} }
n мислимо на нове најмањих квадрата процена
w
n
{\displaystyle \mathbf {w} _{n}}
w
n
+
1
{\displaystyle \mathbf {w} _{n+1}}
w
n
{\displaystyle \mathbf {w} _{n}}
Корист од RLS алгоритма је да нема потребе обрнути матрицу, чиме се штеди рачунарска снага. Још једна предност је у томе што даје интуицију иза таквих резултата као Калман филтер.
Идеја РЛС филтера је да минимизира функцију трошкова
C
{\displaystyle C}
w
n
{\displaystyle \mathbf {w} _{n}}
e
(
n
)
{\displaystyle e(n)}
d
(
n
)
{\displaystyle d(n)}
дијаграму негативне повратне спреге :
Грешка имплицитно зависи од коефицијента филтера путем процене.
d
^
(
n
)
{\displaystyle {\hat {d}}(n)}
e
(
n
)
=
d
(
n
)
−
d
^
(
n
)
{\displaystyle e(n)=d(n)-{\hat {d}}(n)}
Најмања функција квадрата грешка
C
{\displaystyle C}
C
(
w
n
)
=
∑
i
=
0
n
λ
n
−
i
e
2
(
i
)
{\displaystyle C(\mathbf {w} _{n})=\sum _{i=0}^{n}\lambda ^{n-i}e^{2}(i)}
0
<
λ
≤
1
{\displaystyle 0<\lambda \leq 1}
Функција трошкова је сведена на минимум узимањем парцијалног извода за све ставке
k
{\displaystyle k}
w
n
{\displaystyle \mathbf {w} _{n}}
∂
C
(
w
n
)
∂
w
n
(
k
)
=
∑
i
=
0
n
2
λ
n
−
i
e
(
i
)
∂
e
(
i
)
∂
w
n
(
k
)
=
−
∑
i
=
0
n
2
λ
n
−
i
e
(
i
)
x
(
i
−
k
)
=
0
k
=
0
,
1
,
⋯
,
p
{\displaystyle {\frac {\partial C(\mathbf {w} _{n})}{\partial w_{n}(k)}}=\sum _{i=0}^{n}\,2\lambda ^{n-i}e(i)\,{\frac {\partial e(i)}{\partial w_{n}(k)}}={-}\sum _{i=0}^{n}\,2\lambda ^{n-i}e(i)\,x(i-k)=0\qquad k=0,1,\cdots ,p}
e
(
n
)
{\displaystyle e(n)}
∑
i
=
0
n
λ
n
−
i
[
d
(
i
)
−
∑
l
=
0
p
w
n
(
l
)
x
(
i
−
l
)
]
x
(
i
−
k
)
=
0
k
=
0
,
1
,
⋯
,
p
{\displaystyle \sum _{i=0}^{n}\lambda ^{n-i}\left[d(i)-\sum _{l=0}^{p}w_{n}(l)x(i-l)\right]x(i-k)=0\qquad k=0,1,\cdots ,p}
Преуређивање једначине приноса
∑
l
=
0
p
w
n
(
l
)
[
∑
i
=
0
n
λ
n
−
i
x
(
i
−
l
)
x
(
i
−
k
)
]
=
∑
i
=
0
n
λ
n
−
i
d
(
i
)
x
(
i
−
k
)
k
=
0
,
1
,
⋯
,
p
{\displaystyle \sum _{l=0}^{p}w_{n}(l)\left[\sum _{i=0}^{n}\lambda ^{n-i}\,x(i-l)x(i-k)\right]=\sum _{i=0}^{n}\lambda ^{n-i}d(i)x(i-k)\qquad k=0,1,\cdots ,p}
Овај облик може да се изрази у смислу матрице
R
x
(
n
)
w
n
=
r
d
x
(
n
)
{\displaystyle \mathbf {R} _{x}(n)\,\mathbf {w} _{n}=\mathbf {r} _{dx}(n)}
where
R
x
(
n
)
{\displaystyle \mathbf {R} _{x}(n)}
x
(
n
)
{\displaystyle x(n)}
r
d
x
(
n
)
{\displaystyle \mathbf {r} _{dx}(n)}
d
(
n
)
{\displaystyle d(n)}
x
(
n
)
{\displaystyle x(n)}
w
n
=
R
x
−
1
(
n
)
r
d
x
(
n
)
{\displaystyle \mathbf {w} _{n}=\mathbf {R} _{x}^{-1}(n)\,\mathbf {r} _{dx}(n)}
Избор
λ
{\displaystyle \lambda }
уреди
Мањи
λ
{\displaystyle \lambda }
више осетљивим на недавне узорке, што значи више флуктуације у филтеру коефицијента. За
λ
=
1
{\displaystyle \lambda =1}
растућег РЛС алгоритма. У пракси,
λ
{\displaystyle \lambda }
[1]
Рекурзивни алгоритам
уреди
Расправа је резултирала у једној једначини да се одреди коефицијент вектор који минимизира функцију трошкова. У овом одељку желимо да изведемо рекурзивно решење у облику
w
n
=
w
n
−
1
+
Δ
w
n
−
1
{\displaystyle \mathbf {w} _{n}=\mathbf {w} _{n-1}+\Delta \mathbf {w} _{n-1}}
где
Δ
w
n
−
1
{\displaystyle \Delta \mathbf {w} _{n-1}}
n
−
1
{\displaystyle {n-1}}
r
d
x
(
n
)
{\displaystyle \mathbf {r} _{dx}(n)}
r
d
x
(
n
−
1
)
{\displaystyle \mathbf {r} _{dx}(n-1)}
r
d
x
(
n
)
{\displaystyle \mathbf {r} _{dx}(n)}
=
∑
i
=
0
n
λ
n
−
i
d
(
i
)
x
(
i
)
{\displaystyle =\sum _{i=0}^{n}\lambda ^{n-i}d(i)\mathbf {x} (i)}
=
∑
i
=
0
n
−
1
λ
n
−
i
d
(
i
)
x
(
i
)
+
λ
0
d
(
n
)
x
(
n
)
{\displaystyle =\sum _{i=0}^{n-1}\lambda ^{n-i}d(i)\mathbf {x} (i)+\lambda ^{0}d(n)\mathbf {x} (n)}
=
λ
r
d
x
(
n
−
1
)
+
d
(
n
)
x
(
n
)
{\displaystyle =\lambda \mathbf {r} _{dx}(n-1)+d(n)\mathbf {x} (n)}
где је
x
(
i
)
{\displaystyle \mathbf {x} (i)}
p
+
1
{\displaystyle {p+1}}
x
(
i
)
=
[
x
(
i
)
,
x
(
i
−
1
)
,
…
,
x
(
i
−
p
)
]
T
{\displaystyle \mathbf {x} (i)=[x(i),x(i-1),\dots ,x(i-p)]^{T}}
R
x
(
n
)
{\displaystyle \mathbf {R} _{x}(n)}
R
x
(
n
−
1
)
{\displaystyle \mathbf {R} _{x}(n-1)}
R
x
(
n
)
{\displaystyle \mathbf {R} _{x}(n)}
=
∑
i
=
0
n
λ
n
−
i
x
(
i
)
x
T
(
i
)
{\displaystyle =\sum _{i=0}^{n}\lambda ^{n-i}\mathbf {x} (i)\mathbf {x} ^{T}(i)}
=
λ
R
x
(
n
−
1
)
+
x
(
n
)
x
T
(
n
)
{\displaystyle =\lambda \mathbf {R} _{x}(n-1)+\mathbf {x} (n)\mathbf {x} ^{T}(n)}
Да би генерисали коефицијент вектора ми смо заинтересовани за супротност од детерминистичке матрице. Из тог задатка идентитет матрица долази у комбинацији.
Са
A
{\displaystyle A}
=
λ
R
x
(
n
−
1
)
{\displaystyle =\lambda \mathbf {R} _{x}(n-1)}
(
p
+
1
)
{\displaystyle (p+1)}
(
p
+
1
)
{\displaystyle (p+1)}
U
{\displaystyle U}
=
x
(
n
)
{\displaystyle =\mathbf {x} (n)}
(
p
+
1
)
{\displaystyle (p+1)}
V
{\displaystyle V}
=
x
T
(
n
)
{\displaystyle =\mathbf {x} ^{T}(n)}
(
p
+
1
)
{\displaystyle (p+1)}
C
{\displaystyle C}
=
I
1
{\displaystyle =\mathbf {I} _{1}}
Следи идентитет матрица
R
x
−
1
(
n
)
{\displaystyle \mathbf {R} _{x}^{-1}(n)}
=
{\displaystyle =}
[
λ
R
x
(
n
−
1
)
+
x
(
n
)
x
T
(
n
)
]
−
1
{\displaystyle \left[\lambda \mathbf {R} _{x}(n-1)+\mathbf {x} (n)\mathbf {x} ^{T}(n)\right]^{-1}}
=
{\displaystyle =}
λ
−
1
R
x
−
1
(
n
−
1
)
{\displaystyle \lambda ^{-1}\mathbf {R} _{x}^{-1}(n-1)}
−
λ
−
1
R
x
−
1
(
n
−
1
)
x
(
n
)
{\displaystyle -\lambda ^{-1}\mathbf {R} _{x}^{-1}(n-1)\mathbf {x} (n)}
{
1
+
x
T
(
n
)
λ
−
1
R
x
−
1
(
n
−
1
)
x
(
n
)
}
−
1
x
T
(
n
)
λ
−
1
R
x
−
1
(
n
−
1
)
{\displaystyle \left\{1+\mathbf {x} ^{T}(n)\lambda ^{-1}\mathbf {R} _{x}^{-1}(n-1)\mathbf {x} (n)\right\}^{-1}\mathbf {x} ^{T}(n)\lambda ^{-1}\mathbf {R} _{x}^{-1}(n-1)}
У складу са стандардном литературом, дефинишемо
P
(
n
)
{\displaystyle \mathbf {P} (n)}
=
R
x
−
1
(
n
)
{\displaystyle =\mathbf {R} _{x}^{-1}(n)}
=
λ
−
1
P
(
n
−
1
)
−
g
(
n
)
x
T
(
n
)
λ
−
1
P
(
n
−
1
)
{\displaystyle =\lambda ^{-1}\mathbf {P} (n-1)-\mathbf {g} (n)\mathbf {x} ^{T}(n)\lambda ^{-1}\mathbf {P} (n-1)}
где је "добијен вектор"
g
(
n
)
{\displaystyle g(n)}
g
(
n
)
{\displaystyle \mathbf {g} (n)}
=
λ
−
1
P
(
n
−
1
)
x
(
n
)
{
1
+
x
T
(
n
)
λ
−
1
P
(
n
−
1
)
x
(
n
)
}
−
1
{\displaystyle =\lambda ^{-1}\mathbf {P} (n-1)\mathbf {x} (n)\left\{1+\mathbf {x} ^{T}(n)\lambda ^{-1}\mathbf {P} (n-1)\mathbf {x} (n)\right\}^{-1}}
=
P
(
n
−
1
)
x
(
n
)
{
λ
+
x
T
(
n
)
P
(
n
−
1
)
x
(
n
)
}
−
1
{\displaystyle =\mathbf {P} (n-1)\mathbf {x} (n)\left\{\lambda +\mathbf {x} ^{T}(n)\mathbf {P} (n-1)\mathbf {x} (n)\right\}^{-1}}
Пре него што кренемо даље, неопходно је да се донесе
g
(
n
)
{\displaystyle \mathbf {g} (n)}
g
(
n
)
{
1
+
x
T
(
n
)
λ
−
1
P
(
n
−
1
)
x
(
n
)
}
{\displaystyle \mathbf {g} (n)\left\{1+\mathbf {x} ^{T}(n)\lambda ^{-1}\mathbf {P} (n-1)\mathbf {x} (n)\right\}}
=
λ
−
1
P
(
n
−
1
)
x
(
n
)
{\displaystyle =\lambda ^{-1}\mathbf {P} (n-1)\mathbf {x} (n)}
g
(
n
)
+
g
(
n
)
x
T
(
n
)
λ
−
1
P
(
n
−
1
)
x
(
n
)
{\displaystyle \mathbf {g} (n)+\mathbf {g} (n)\mathbf {x} ^{T}(n)\lambda ^{-1}\mathbf {P} (n-1)\mathbf {x} (n)}
=
λ
−
1
P
(
n
−
1
)
x
(
n
)
{\displaystyle =\lambda ^{-1}\mathbf {P} (n-1)\mathbf {x} (n)}
Одузимањем другог мандата на левој страни приноса
g
(
n
)
{\displaystyle \mathbf {g} (n)}
=
λ
−
1
P
(
n
−
1
)
x
(
n
)
−
g
(
n
)
x
T
(
n
)
λ
−
1
P
(
n
−
1
)
x
(
n
)
{\displaystyle =\lambda ^{-1}\mathbf {P} (n-1)\mathbf {x} (n)-\mathbf {g} (n)\mathbf {x} ^{T}(n)\lambda ^{-1}\mathbf {P} (n-1)\mathbf {x} (n)}
=
λ
−
1
[
P
(
n
−
1
)
−
g
(
n
)
x
T
(
n
)
P
(
n
−
1
)
]
x
(
n
)
{\displaystyle =\lambda ^{-1}\left[\mathbf {P} (n-1)-\mathbf {g} (n)\mathbf {x} ^{T}(n)\mathbf {P} (n-1)\right]\mathbf {x} (n)}
Са рекурзивном дефиницијом
P
(
n
)
{\displaystyle \mathbf {P} (n)}
g
(
n
)
=
P
(
n
)
x
(
n
)
{\displaystyle \mathbf {g} (n)=\mathbf {P} (n)\mathbf {x} (n)}
Сада смо спремни да завршимо рекурзију. Као што је наведено
w
n
{\displaystyle \mathbf {w} _{n}}
=
P
(
n
)
r
d
x
(
n
)
{\displaystyle =\mathbf {P} (n)\,\mathbf {r} _{dx}(n)}
=
λ
P
(
n
)
r
d
x
(
n
−
1
)
+
d
(
n
)
P
(
n
)
x
(
n
)
{\displaystyle =\lambda \mathbf {P} (n)\,\mathbf {r} _{dx}(n-1)+d(n)\mathbf {P} (n)\,\mathbf {x} (n)}
Други корак произлази из рекурзивне дефиниције
r
d
x
(
n
)
{\displaystyle \mathbf {r} _{dx}(n)}
P
(
n
)
{\displaystyle \mathbf {P} (n)}
g
(
n
)
{\displaystyle \mathbf {g} (n)}
w
n
{\displaystyle \mathbf {w} _{n}}
=
λ
[
λ
−
1
P
(
n
−
1
)
−
g
(
n
)
x
T
(
n
)
λ
−
1
P
(
n
−
1
)
]
r
d
x
(
n
−
1
)
+
d
(
n
)
g
(
n
)
{\displaystyle =\lambda \left[\lambda ^{-1}\mathbf {P} (n-1)-\mathbf {g} (n)\mathbf {x} ^{T}(n)\lambda ^{-1}\mathbf {P} (n-1)\right]\mathbf {r} _{dx}(n-1)+d(n)\mathbf {g} (n)}
=
P
(
n
−
1
)
r
d
x
(
n
−
1
)
−
g
(
n
)
x
T
(
n
)
P
(
n
−
1
)
r
d
x
(
n
−
1
)
+
d
(
n
)
g
(
n
)
{\displaystyle =\mathbf {P} (n-1)\mathbf {r} _{dx}(n-1)-\mathbf {g} (n)\mathbf {x} ^{T}(n)\mathbf {P} (n-1)\mathbf {r} _{dx}(n-1)+d(n)\mathbf {g} (n)}
=
P
(
n
−
1
)
r
d
x
(
n
−
1
)
+
g
(
n
)
[
d
(
n
)
−
x
T
(
n
)
P
(
n
−
1
)
r
d
x
(
n
−
1
)
]
{\displaystyle =\mathbf {P} (n-1)\mathbf {r} _{dx}(n-1)+\mathbf {g} (n)\left[d(n)-\mathbf {x} ^{T}(n)\mathbf {P} (n-1)\mathbf {r} _{dx}(n-1)\right]}
Са
w
n
−
1
=
P
(
n
−
1
)
r
d
x
(
n
−
1
)
{\displaystyle \mathbf {w} _{n-1}=\mathbf {P} (n-1)\mathbf {r} _{dx}(n-1)}
w
n
{\displaystyle \mathbf {w} _{n}}
=
w
n
−
1
+
g
(
n
)
[
d
(
n
)
−
x
T
(
n
)
w
n
−
1
]
{\displaystyle =\mathbf {w} _{n-1}+\mathbf {g} (n)\left[d(n)-\mathbf {x} ^{T}(n)\mathbf {w} _{n-1}\right]}
=
w
n
−
1
+
g
(
n
)
α
(
n
)
{\displaystyle =\mathbf {w} _{n-1}+\mathbf {g} (n)\alpha (n)}
Где је
α
(
n
)
=
d
(
n
)
−
x
T
(
n
)
w
n
−
1
{\displaystyle \alpha (n)=d(n)-\mathbf {x} ^{T}(n)\mathbf {w} _{n-1}}
e
(
n
)
=
d
(
n
)
−
x
T
(
n
)
w
n
{\displaystyle e(n)=d(n)-\mathbf {x} ^{T}(n)\mathbf {w} _{n}}
Δ
w
n
−
1
=
g
(
n
)
α
(
n
)
{\displaystyle \Delta \mathbf {w} _{n-1}=\mathbf {g} (n)\alpha (n)}
Овај интуитивно задовољавајући резултат указује да је корективни фактор директно пропорционалан грешкама и појачањима вектора, и да контролише колика осетљивост се жели.
RLS алгоритам резиме
уреди
RLS алгоритам за p се помоћу RLS филтера може сумирати на:
Параметри:
p
=
{\displaystyle p=}
λ
=
{\displaystyle \lambda =}
δ
=
{\displaystyle \delta =}
P
(
0
)
{\displaystyle \mathbf {P} (0)}
Иницијализација:
w
(
n
)
=
0
{\displaystyle \mathbf {w} (n)=0}
x
(
k
)
=
0
,
k
=
−
p
,
…
,
−
1
{\displaystyle x(k)=0,k=-p,\dots ,-1}
d
(
k
)
=
0
,
k
=
−
p
,
…
,
−
1
{\displaystyle d(k)=0,k=-p,\dots ,-1}
P
(
0
)
=
δ
−
1
I
{\displaystyle \mathbf {P} (0)=\delta ^{-1}I}
I
{\displaystyle I}
p
+
1
{\displaystyle p+1}
Обрачун:
За
n
=
1
,
2
,
…
{\displaystyle n=1,2,\dots }
x
(
n
)
=
[
x
(
n
)
x
(
n
−
1
)
⋮
x
(
n
−
p
)
]
{\displaystyle \mathbf {x} (n)=\left[{\begin{matrix}x(n)\\x(n-1)\\\vdots \\x(n-p)\end{matrix}}\right]}
α
(
n
)
=
d
(
n
)
−
x
T
(
n
)
w
(
n
−
1
)
{\displaystyle \alpha (n)=d(n)-\mathbf {x} ^{T}(n)\mathbf {w} (n-1)}
g
(
n
)
=
P
(
n
−
1
)
x
∗
(
n
)
{
λ
+
x
T
(
n
)
P
(
n
−
1
)
x
∗
(
n
)
}
−
1
{\displaystyle \mathbf {g} (n)=\mathbf {P} (n-1)\mathbf {x} ^{*}(n)\left\{\lambda +\mathbf {x} ^{T}(n)\mathbf {P} (n-1)\mathbf {x} ^{*}(n)\right\}^{-1}}
P
(
n
)
=
λ
−
1
P
(
n
−
1
)
−
g
(
n
)
x
T
(
n
)
λ
−
1
P
(
n
−
1
)
{\displaystyle \mathbf {P} (n)=\lambda ^{-1}\mathbf {P} (n-1)-\mathbf {g} (n)\mathbf {x} ^{T}(n)\lambda ^{-1}\mathbf {P} (n-1)}
w
(
n
)
=
w
(
n
−
1
)
+
α
(
n
)
g
(
n
)
{\displaystyle \mathbf {w} (n)=\mathbf {w} (n-1)+\,\alpha (n)\mathbf {g} (n)}
Имајте на уму да рекурзија за
P
{\displaystyle P}
[2]
Рекурзивне решетке најмањих квадрата филтера (LRLS)
уреди
Рекурзивне решетке најмањих квадрата филтера се односи на стандардни RLS, осим да је потребно мање аритметичких операција . Она нуди додатне предности у односу на конвенционалне LMS алгоритме као што су брже стопе конвергенције, модуларне структуре, и неосетљивост на варијацијама у ширења улазне корелационе матрице.LRLS алгоритам заснован је на грешкама и укључује нормализовани облик. Извођење је слична стандардном RLS алгоритму и заснива се на дефиницији
d
(
k
)
{\displaystyle d(k)\,\!}
d
(
k
)
=
x
(
k
)
{\displaystyle d(k)=x(k)\,\!}
x
(
k
−
1
)
{\displaystyle x(k-1)\,\!}
d
(
k
)
=
x
(
k
−
i
−
1
)
{\displaystyle d(k)=x(k-i-1)\,\!}
x
(
k
)
{\displaystyle x(k)\,\!}
[3]
Преглед параметара
уреди
κ
f
(
k
,
i
)
{\displaystyle \kappa _{f}(k,i)\,\!}
κ
b
(
k
,
i
)
{\displaystyle \kappa _{b}(k,i)\,\!}
e
f
(
k
,
i
)
{\displaystyle e_{f}(k,i)\,\!}
апостериори напредно предвиђање о грешци
e
b
(
k
,
i
)
{\displaystyle e_{b}(k,i)\,\!}
апостериори назадно предвиђање о грешци
ξ
b
m
i
n
d
(
k
,
i
)
{\displaystyle \xi _{b_{min}}^{d}(k,i)\,\!}
ξ
f
m
i
n
d
(
k
,
i
)
{\displaystyle \xi _{f_{min}}^{d}(k,i)\,\!}
γ
(
k
,
i
)
{\displaystyle \gamma (k,i)\,\!}
априори и апостериори, грешке
v
i
(
k
)
{\displaystyle v_{i}(k)\,\!}
ϵ
{\displaystyle \epsilon \,\!}
LRLS преглед алгоритма
уреди
Алгоритам за LRLS филтер се може сажети у
Иницијализација:
For i = 0,1,...,N
δ
(
−
1
,
i
)
=
δ
D
(
−
1
,
i
)
=
0
{\displaystyle \delta (-1,i)=\delta _{D}(-1,i)=0\,\!}
ξ
b
m
i
n
d
(
−
1
,
i
)
=
ξ
f
m
i
n
d
(
−
1
,
i
)
=
ϵ
{\displaystyle \xi _{b_{min}}^{d}(-1,i)=\xi _{f_{min}}^{d}(-1,i)=\epsilon }
γ
(
−
1
,
i
)
=
1
{\displaystyle \gamma (-1,i)=1\,\!}
e
b
(
−
1
,
i
)
=
0
{\displaystyle e_{b}(-1,i)=0\,\!}
End
Израчунавање:
For k ≥ 0
γ
(
k
,
0
)
=
1
{\displaystyle \gamma (k,0)=1\,\!}
e
b
(
k
,
0
)
=
e
f
(
k
,
0
)
=
x
(
k
)
{\displaystyle e_{b}(k,0)=e_{f}(k,0)=x(k)\,\!}
ξ
b
m
i
n
d
(
k
,
0
)
=
ξ
f
m
i
n
d
(
k
,
0
)
=
x
2
(
k
)
+
λ
ξ
f
m
i
n
d
(
k
−
1
,
0
)
{\displaystyle \xi _{b_{min}}^{d}(k,0)=\xi _{f_{min}}^{d}(k,0)=x^{2}(k)+\lambda \xi _{f_{min}}^{d}(k-1,0)\,\!}
e
(
k
,
0
)
=
d
(
k
)
{\displaystyle e(k,0)=d(k)\,\!}
For i = 0,1,...,N
δ
(
k
,
i
)
=
λ
δ
(
k
−
1
,
i
)
+
e
b
(
k
−
1
,
i
)
e
f
(
k
,
i
)
γ
(
k
−
1
,
i
)
{\displaystyle \delta (k,i)=\lambda \delta (k-1,i)+{\frac {e_{b}(k-1,i)e_{f}(k,i)}{\gamma (k-1,i)}}}
γ
(
k
,
i
+
1
)
=
γ
(
k
,
i
)
−
e
b
2
(
k
,
i
)
ξ
b
m
i
n
d
(
k
,
i
)
{\displaystyle \gamma (k,i+1)=\gamma (k,i)-{\frac {e_{b}^{2}(k,i)}{\xi _{b_{min}}^{d}(k,i)}}}
κ
b
(
k
,
i
)
=
δ
(
k
,
i
)
ξ
f
m
i
n
d
(
k
,
i
)
{\displaystyle \kappa _{b}(k,i)={\frac {\delta (k,i)}{\xi _{f_{min}}^{d}(k,i)}}}
κ
f
(
k
,
i
)
=
δ
(
k
,
i
)
ξ
b
m
i
n
d
(
k
−
1
,
i
)
{\displaystyle \kappa _{f}(k,i)={\frac {\delta (k,i)}{\xi _{b_{min}}^{d}(k-1,i)}}}
e
b
(
k
,
i
+
1
)
=
e
b
(
k
−
1
,
i
)
−
κ
b
(
k
,
i
)
e
f
(
k
,
i
)
{\displaystyle e_{b}(k,i+1)=e_{b}(k-1,i)-\kappa _{b}(k,i)e_{f}(k,i)\,\!}
e
f
(
k
,
i
+
1
)
=
e
f
(
k
,
i
)
−
κ
f
(
k
,
i
)
e
b
(
k
−
1
,
i
)
{\displaystyle e_{f}(k,i+1)=e_{f}(k,i)-\kappa _{f}(k,i)e_{b}(k-1,i)\,\!}
ξ
b
m
i
n
d
(
k
,
i
+
1
)
=
ξ
b
m
i
n
d
(
k
−
1
,
i
)
−
δ
(
k
,
i
)
κ
b
(
k
,
i
)
{\displaystyle \xi _{b_{min}}^{d}(k,i+1)=\xi _{b_{min}}^{d}(k-1,i)-\delta (k,i)\kappa _{b}(k,i)}
ξ
f
m
i
n
d
(
k
,
i
+
1
)
=
ξ
f
m
i
n
d
(
k
,
i
)
−
δ
(
k
,
i
)
κ
f
(
k
,
i
)
{\displaystyle \xi _{f_{min}}^{d}(k,i+1)=\xi _{f_{min}}^{d}(k,i)-\delta (k,i)\kappa _{f}(k,i)}
δ
D
(
k
,
i
)
=
λ
δ
D
(
k
−
1
,
i
)
+
e
(
k
,
i
)
e
b
(
k
,
i
)
γ
(
k
,
i
)
{\displaystyle \delta _{D}(k,i)=\lambda \delta _{D}(k-1,i)+{\frac {e(k,i)e_{b}(k,i)}{\gamma (k,i)}}}
v
i
(
k
)
=
δ
D
(
k
,
i
)
ξ
b
m
i
n
d
(
k
,
i
)
{\displaystyle v_{i}(k)={\frac {\delta _{D}(k,i)}{\xi _{b_{min}}^{d}(k,i)}}}
e
(
k
,
i
+
1
)
=
e
(
k
,
i
)
−
v
i
(
k
)
e
b
(
k
,
i
)
{\displaystyle e(k,i+1)=e(k,i)-v_{i}(k)e_{b}(k,i)\,\!}
End
End
Нормализован рекурзиван филтер најмањих квадрата (NLRLS)
уреди
Нормализована форма LRLS има мање рекурзије и променљивих. Може се израчунати применом нормализације интерних варијабли алгоритма који ће задржати своју величину. Ово се углавном не користи у реалном времену апликације због броја одељења и квадратног корена операција која долази са високим рачунарским оптерећењем.
NLRLS преглед алгоритма
уреди
Алгоритам за NLRLS филтер се може сажети у
Иницијализација:
For i = 0,1,...,N
δ
¯
(
−
1
,
i
)
=
0
{\displaystyle {\overline {\delta }}(-1,i)=0\,\!}
δ
¯
D
(
−
1
,
i
)
=
0
{\displaystyle {\overline {\delta }}_{D}(-1,i)=0\,\!}
e
¯
b
(
−
1
,
i
)
=
0
{\displaystyle {\overline {e}}_{b}(-1,i)=0\,\!}
End
σ
x
2
(
−
1
)
=
λ
σ
d
2
(
−
1
)
=
ϵ
{\displaystyle \sigma _{x}^{2}(-1)=\lambda \sigma _{d}^{2}(-1)=\epsilon \,\!}
Израчунавање:
For k ≥ 0
σ
x
2
(
k
)
=
λ
σ
x
2
(
k
−
1
)
+
x
2
(
k
)
{\displaystyle \sigma _{x}^{2}(k)=\lambda \sigma _{x}^{2}(k-1)+x^{2}(k)\,\!}
σ
d
2
(
k
)
=
λ
σ
d
2
(
k
−
1
)
+
d
2
(
k
)
{\displaystyle \sigma _{d}^{2}(k)=\lambda \sigma _{d}^{2}(k-1)+d^{2}(k)\,\!}
e
¯
b
(
k
,
0
)
=
e
¯
f
(
k
,
0
)
=
x
(
k
)
σ
x
(
k
)
{\displaystyle {\overline {e}}_{b}(k,0)={\overline {e}}_{f}(k,0)={\frac {x(k)}{\sigma _{x}(k)}}\,\!}
e
¯
(
k
,
0
)
=
d
(
k
)
σ
d
(
k
)
{\displaystyle {\overline {e}}(k,0)={\frac {d(k)}{\sigma _{d}(k)}}\,\!}
For i = 0,1,...,N
δ
¯
(
k
,
i
)
=
δ
(
k
−
1
,
i
)
(
1
−
e
¯
b
2
(
k
−
1
,
i
)
)
(
1
−
e
¯
f
2
(
k
,
i
)
)
+
e
¯
b
(
k
−
1
,
i
)
e
¯
f
(
k
,
i
)
{\displaystyle {\overline {\delta }}(k,i)=\delta (k-1,i){\sqrt {(1-{\overline {e}}_{b}^{2}(k-1,i))(1-{\overline {e}}_{f}^{2}(k,i))}}+{\overline {e}}_{b}(k-1,i){\overline {e}}_{f}(k,i)}
e
¯
b
(
k
,
i
+
1
)
=
e
¯
b
(
k
−
1
,
i
)
−
δ
¯
(
k
,
i
)
e
¯
f
(
k
,
i
)
(
1
−
δ
¯
2
(
k
,
i
)
)
(
1
−
e
¯
f
2
(
k
,
i
)
)
{\displaystyle {\overline {e}}_{b}(k,i+1)={\frac {{\overline {e}}_{b}(k-1,i)-{\overline {\delta }}(k,i){\overline {e}}_{f}(k,i)}{\sqrt {(1-{\overline {\delta }}^{2}(k,i))(1-{\overline {e}}_{f}^{2}(k,i))}}}}
e
¯
f
(
k
,
i
+
1
)
=
e
¯
f
(
k
,
i
)
−
δ
¯
(
k
,
i
)
e
¯
b
(
k
−
1
,
i
)
(
1
−
δ
¯
2
(
k
,
i
)
)
(
1
−
e
¯
b
2
(
k
−
1
,
i
)
)
{\displaystyle {\overline {e}}_{f}(k,i+1)={\frac {{\overline {e}}_{f}(k,i)-{\overline {\delta }}(k,i){\overline {e}}_{b}(k-1,i)}{\sqrt {(1-{\overline {\delta }}^{2}(k,i))(1-{\overline {e}}_{b}^{2}(k-1,i))}}}}
δ
¯
D
(
k
,
i
)
=
δ
¯
D
(
k
−
1
,
i
)
(
1
−
e
¯
b
2
(
k
,
i
)
)
(
1
−
e
¯
2
(
k
,
i
)
)
+
e
¯
(
k
,
i
)
e
¯
b
(
k
,
i
)
{\displaystyle {\overline {\delta }}_{D}(k,i)={\overline {\delta }}_{D}(k-1,i){\sqrt {(1-{\overline {e}}_{b}^{2}(k,i))(1-{\overline {e}}^{2}(k,i))}}+{\overline {e}}(k,i){\overline {e}}_{b}(k,i)}
e
¯
(
k
,
i
+
1
)
=
1
(
1
−
e
¯
b
2
(
k
,
i
)
)
(
1
−
δ
¯
D
2
(
k
,
i
)
)
[
e
¯
(
k
,
i
)
−
δ
¯
D
(
k
,
i
)
e
¯
b
(
k
,
i
)
]
{\displaystyle {\overline {e}}(k,i+1)={\frac {1}{\sqrt {(1-{\overline {e}}_{b}^{2}(k,i))(1-{\overline {\delta }}_{D}^{2}(k,i))}}}[{\overline {e}}(k,i)-{\overline {\delta }}_{D}(k,i){\overline {e}}_{b}(k,i)]}
End
End
^ Emannual C. Ifeacor, Barrie W. Jervis. Digital signal processing: a practical approach, second edition. Indianapolis: Pearson Education Limited. (2002). стр. 718.
^ Welch, Greg and Bishop, Gary "An Introduction to the Kalman Filter" , Department of Computer Science, University of North Carolina at Chapel Hill, September 17, 1997, accessed July 19, 2011.
^ Albu, Kadlec, Softley, Matousek, Hermanek, Coleman, Fagan "Implementation of (Normalised) RLS Lattice on Virtex" Архивирано на сајту Wayback Machine (4. март 2016), Digital Signal Processing, 2001, accessed December 24, 2011.
Литература
уреди
Hayes, Monson H. (1996). „9.4: Recursive Least Squares”. Statistical Digital Signal Processing and Modeling 541 . ISBN 978-0-471-59431-4 . Haykin, Simon (2002). Adaptive Filter Theory . Prentice Hall. ISBN 978-0-13-048434-5 . M.H.A Davis, R.B. Vinter (1985). Stochastic Modelling and Control . Springer. ISBN 978-0-412-16200-8 . Weifeng Liu, Jose Principe and Simon Haykin (2010). Kernel Adaptive Filtering: A Comprehensive Introduction . John Wiley. ISBN 978-0-470-44753-6 . R.L.Plackett, Some Theorems in Least Squares , Biometrika, 1950, 37, 149-157, ISSN 0006-3444
C.F.Gauss, Theoria combinationis observationum erroribus minimis obnoxiae , 1821, Werke, 4. Gottinge 
![{\displaystyle \mathbf {x} _{n}=[x(n)\quad x(n-1)\quad \ldots \quad x(n-p)]^{T}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/09eb921b307dabe5f3f396085912215d09c02114)
![{\displaystyle \sum _{i=0}^{n}\lambda ^{n-i}\left[d(i)-\sum _{l=0}^{p}w_{n}(l)x(i-l)\right]x(i-k)=0\qquad k=0,1,\cdots ,p}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f227f57b5708e2279ff63386d33c501f76f500b7)
![{\displaystyle \sum _{l=0}^{p}w_{n}(l)\left[\sum _{i=0}^{n}\lambda ^{n-i}\,x(i-l)x(i-k)\right]=\sum _{i=0}^{n}\lambda ^{n-i}d(i)x(i-k)\qquad k=0,1,\cdots ,p}](https://wikimedia.org/api/rest_v1/media/math/render/svg/43bb38e8f5f1fa0bb012d33ae44308679a9707c2)
![{\displaystyle \mathbf {x} (i)=[x(i),x(i-1),\dots ,x(i-p)]^{T}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/dab2ea44a54d82de74ac9f6d26e3f5f6c2a44d8a)
![{\displaystyle \left[\lambda \mathbf {R} _{x}(n-1)+\mathbf {x} (n)\mathbf {x} ^{T}(n)\right]^{-1}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f12c798517a6c530e616e5915429e3e16370785e)
![{\displaystyle =\lambda ^{-1}\left[\mathbf {P} (n-1)-\mathbf {g} (n)\mathbf {x} ^{T}(n)\mathbf {P} (n-1)\right]\mathbf {x} (n)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3baaff4ae27f9cfc51e54ada85a9de0999978262)
![{\displaystyle =\lambda \left[\lambda ^{-1}\mathbf {P} (n-1)-\mathbf {g} (n)\mathbf {x} ^{T}(n)\lambda ^{-1}\mathbf {P} (n-1)\right]\mathbf {r} _{dx}(n-1)+d(n)\mathbf {g} (n)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d1dfdfb80807912183bd47c28d76f65ea9d4c553)
![{\displaystyle =\mathbf {P} (n-1)\mathbf {r} _{dx}(n-1)+\mathbf {g} (n)\left[d(n)-\mathbf {x} ^{T}(n)\mathbf {P} (n-1)\mathbf {r} _{dx}(n-1)\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/9800c914543c33d7b8ebd7f295efc9fdc51b57e7)
![{\displaystyle =\mathbf {w} _{n-1}+\mathbf {g} (n)\left[d(n)-\mathbf {x} ^{T}(n)\mathbf {w} _{n-1}\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/78ebe76268d69116b2d676aab45f0272977a6df2)
![{\displaystyle \mathbf {x} (n)=\left[{\begin{matrix}x(n)\\x(n-1)\\\vdots \\x(n-p)\end{matrix}}\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d85a8706d78172d40a299b2bb60ae26b22a21f6c)
![{\displaystyle {\overline {e}}(k,i+1)={\frac {1}{\sqrt {(1-{\overline {e}}_{b}^{2}(k,i))(1-{\overline {\delta }}_{D}^{2}(k,i))}}}[{\overline {e}}(k,i)-{\overline {\delta }}_{D}(k,i){\overline {e}}_{b}(k,i)]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/580293031a5a01b0b256042558d14b8ae206561d)