.. _sec_rcnn:
Bölge tabanlı CNN'ler (R-CNN'ler)
=================================
:numref:`sec_ssd` içinde açıklanan tek atışta çoklu kutu algılamanın
yanı sıra, bölge tabanlı CNN'ler veya CNN özniteliklerine (R-CNN) sahip
bölgeler de nesne algılamaya :cite:`Girshick.Donahue.Darrell.ea.2014`
derin öğrenmeyi uygulamanın öncü yaklaşımları arasında yer almaktadır.
Bu bölümde R-CNN ve onun iyileştirilmiş serilerini tanıtacağız: Hızlı
R-CNN :cite:`Girshick.2015`, daha hızlı R-CNN
:cite:`Ren.He.Girshick.ea.2015` ve maske R-CNN
:cite:`He.Gkioxari.Dollar.ea.2017`. Sınırlı alan nedeniyle, sadece bu
modellerin tasarımına odaklanacağız.
R-CNN'ler
---------
*R-CNN* ilk olarak girdi imgesinden birçok (örneğin, 2000) *bölge
önerisi* ayıklar (örneğin, çapa kutuları bölge önerileri olarak da kabul
edilebilir), sınıflarını ve kuşatan kutuları (örneğin, ofsetler)
etiketler :cite:`Girshick.Donahue.Darrell.ea.2014`. Sonra bir CNN, her
bölge önerisi üzerinde ileri yaymayı gerçekleştirmek için öznitelikleri
kullanır. Sonrasında, her bölge önerisinin öznitelikleri, bu bölge
önerisinin sınıfını ve kuşatan kutusunu tahmin etmek için kullanılır.
.. _fig_r-cnn:
.. figure:: ../img/r-cnn.svg
R-CNN modeli.
:numref:`fig_r-cnn` R-CNN modelini gösterir. Daha somut olarak, R-CNN
aşağıdaki dört adımdan oluşur:
1. :cite:`Uijlings.Van-De-Sande.Gevers.ea.2013` girdi imgesinden
birden fazla yüksek kaliteli bölge önerisi ayıklamak için *seçici
arama* gerçekleştirin. Önerilen bu bölgeler genellikle farklı şekil
ve boyutlarda çoklu ölçeklerde seçilir. Her bölge önerisi bir sınıf
ve bir gerçek referans değeri kuşatan kutu ile etiketlenecektir.
2. Önceden eğitilmiş bir CNN seçin ve çıktı katmanından önce budayın.
Her bölge önerisini ağın gerektirdiği girdi boyutuna yeniden
boyutlandırın ve bölge önerisi için ayıklanan öznitelikleri ileri
yayma yoluyla çıktılayın.
3. Her bölge önerisinin çıkarılan özniteliklerini ve etiketlenmiş
sınıfını örnek olarak ele alın. Her destek vektör makinesinin,
örneğin belirli bir sınıfı içerip içermediğini ayrı ayrı belirlediği
nesneleri sınıflandırmak için birden fazla destek vektör makinesini
eğitin.
4. Örnek olarak her bölge önerisinin ayıklanan öznitelikleri ve etiketli
kuşatan kutusunu alın. Gerçek referans değer kuşatan kutuyu tahmin
etmek için doğrusal bağlanım modelini eğitin.
R-CNN modeli imge özniteliklerini etkili bir şekilde ayıklamak için
önceden eğitilmiş CNN'ler kullansa da yavaştır. Tek bir girdi imgesinden
binlerce bölge önerisini seçtiğimizi düşünün: Bu nesne algılamayı
gerçekleştirmek için binlerce CNN ileri yaymasını gerektirir. Bu devasa
bilgi işlem yükünden dolayı, R-CNN'lerin gerçek dünyadaki uygulamalarda
yaygın olarak kullanılmasını mümkün değildir.
Hızlı R-CNN
-----------
Bir R-CNN'nin ana performans darboğazı, her bölge önerisi için
hesaplamayı paylaşmadan bağımsız CNN ileri yaymasında yatmaktadır. Bu
bölgelerde genellikle çakışmalar olduğundan, bağımsız öznitelik
ayıklamaları çok fazla tekrarlanan hesaplamaya yol açar. *Hızlı
R-CNN*'nin R-CNN'den sağladığı en önemli iyileştirmelerden biri, CNN
ileri yaymasının yalnızca tüm imge üzerinde :cite:`Girshick.2015`
gerçekleştirilmesidir.
.. _fig_fast_r-cnn:
.. figure:: ../img/fast-rcnn.svg
Hızlı R-CNN modeli.
:numref:`fig_fast_r-cnn` hızlı R-CNN modelini açıklar. Başlıca
hesaplamaları şöyledir:
1. R-CNN ile karşılaştırıldığında, hızlı R-CNN'de, öznitelik ayıklama
için CNN'nin girdisi, bireysel bölge önerilerinden ziyade tüm
imgedir. Dahası, bu CNN eğitilebilir. Bir girdi imgesi göz önüne
alındığında, CNN çıktısının şekli
:math:`1 \times c \times h_1 \times w_1` olsun.
2. Seçici aramanın :math:`n` bölge önerileri oluşturduğunu varsayalım.
Bu bölge önerileri (farklı şekillerde) CNN çıktısındaki ilgi
bölgelerini (farklı şekillerdeki) işaretler. Daha sonra kolayca
birleştirilebilmesi için ilgili bu bölgelerin aynı şekle sahip
öznitelikleri ayıklanır (yükseklik :math:`h_2` ve genişlik
:math:`w_2` diye belirtilir). Bunu başarmak için hızlı R-CNN, *ilgili
bölge (RoI) ortaklama* katmanı sunar: CNN çıktısı ve bölge önerileri
bu katmana girilir ve tüm bölge önerileri için daha da ayıklanmış
:math:`n \times c \times h_2 \times w_2` şekilli bitiştirilmiş
öznitelikleri ortaya çıkarır.
3. Tam bağlı bir katman kullanarak, bitiştirilmiş öznitelikleri
:math:`n \times d` şeklinde bir çıktıya dönüştürün; burada :math:`d`
model tasarımına bağlıdır.
4. :math:`n` bölge önerilerinin her biri için sınıfı ve kuşatan kutuyu
tahmin edin. Daha somut olarak, sınıf ve kuşatan kutu tahmininde, tam
bağlı katman çıktısını :math:`n \times q` şeklinde (:math:`q` sınıf
sayısıdır) ve :math:`n \times 4` şeklinde çıktıya dönüştürün. Sınıf
tahmini softmaks bağlanım kullanır.
Hızlı R-CNN'de önerilen ilgi bölgesi ortaklama katmanı
:numref:`sec_pooling` içinde tanıtılan ortaklama katmanından
farklıdır. Ortaklama katmanında, ortaklama penceresinin, dolgunun ve
adımın boyutlarını belirterek çıktı şeklini dolaylı olarak kontrol
ediyoruz. Buna karşılık, doğrudan ilgi bölgesi ortaklama katmanı çıktı
şeklini belirtebilirsiniz.
Örneğin, her bölge için çıktı yüksekliğini ve genişliğini sırasıyla
:math:`h_2` ve :math:`w_2` olarak belirtelim. :math:`h \times w`
şeklindeki herhangi bir ilgi bölgesinin penceresi için, bu pencere, her
alt pencerenin şekli yaklaşık :math:`(h/h_2) \times (w/w_2)` olduğu
:math:`h_2 \times w_2` bir alt pencere ızgarasına ayrılmıştır. Pratikte,
herhangi bir alt pencerenin yüksekliği ve genişliği tamsayıya yuvarlanır
ve en büyük eleman, alt pencerenin çıktısı olarak kullanılacaktır. Bu
nedenle, ilgi bölgeleri farklı şekillere sahip olsa bile ilgi bölgesi
ortaklama katmanı aynı şekle sahip öznitelikler ayıklayabilir.
Açıklayıcı bir örnek olarak, :numref:`fig_roi` içinde,
:math:`4 \times 4` girdisinde sol üst :math:`3\times 3` ilgi bölgesi
seçilir. Bu ilgi bölgesinde :math:`2\times 2`'lik çıktı elde etmek için
bir :math:`2\times 2` ilgi bölgesi ortaklama katmanı kullanıyoruz. Dört
bölünmüş alt pencerenin her birinin 0, 1, 4 ve 5 (5 maksimumdur)
öğelerini içerdiğini unutmayın; 2 ve 6 (6 maksimumdur); 8 ve 9 (9
maksimumdur) ve 10.
.. _fig_roi:
.. figure:: ../img/roi.svg
:math:`2\times 2`'lik ilgi bölgesi ortaklama katmanı
Aşağıda ilgi bölgesi ortaklama katmanı hesaplanması gösterilmektedir.
CNN çıkarılan özniteliklerin, ``X``'in, yüksekliğinin ve genişliğinin,
her ikisinin de 4 olduğunu ve yalnızca tek bir kanal olduğunu
varsayalım.
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
from mxnet import np, npx
npx.set_np()
X = np.arange(16).reshape(1, 1, 4, 4)
X
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
array([[[[ 0., 1., 2., 3.],
[ 4., 5., 6., 7.],
[ 8., 9., 10., 11.],
[12., 13., 14., 15.]]]])
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
import torch
import torchvision
X = torch.arange(16.).reshape(1, 1, 4, 4)
X
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
tensor([[[[ 0., 1., 2., 3.],
[ 4., 5., 6., 7.],
[ 8., 9., 10., 11.],
[12., 13., 14., 15.]]]])
.. raw:: html
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
rois = np.array([[0, 0, 0, 20, 20], [0, 0, 10, 30, 30]])
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
rois = torch.Tensor([[0, 0, 0, 20, 20], [0, 0, 10, 30, 30]])
.. raw:: html
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
npx.roi_pooling(X, rois, pooled_size=(2, 2), spatial_scale=0.1)
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
array([[[[ 5., 6.],
[ 9., 10.]]],
[[[ 9., 11.],
[13., 15.]]]])
.. raw:: html
.. raw:: html
.. raw:: latex
\diilbookstyleinputcell
.. code:: python
torchvision.ops.roi_pool(X, rois, output_size=(2, 2), spatial_scale=0.1)
.. raw:: latex
\diilbookstyleoutputcell
.. parsed-literal::
:class: output
tensor([[[[ 5., 6.],
[ 9., 10.]]],
[[[ 9., 11.],
[13., 15.]]]])
.. raw:: html
.. raw:: html
.. raw:: html
`Tartışmalar `__
.. raw:: html
.. raw:: html
`Tartışmalar `__
.. raw:: html
.. raw:: html