๐ ๋ชฉ์ฐจ
์๋ก โ ๋ฅ๋ฌ๋์ด ์ธ๊ณต์ง๋ฅ ํ์ ์ ์ด๋๋ ์ด์
์ค๋๋ Deep Neural Network (DNN)๋ ์ด๋ฏธ์ง ์ธ์, ์์ฐ์ด ์ฒ๋ฆฌ, ์์ฑ ํฉ์ฑ ๋ฑ ๊ฑฐ์ ๋ชจ๋ AI ๋ถ์ผ์ ํต์ฌ ์์ง์ผ๋ก ์๋ฆฌ ์ก์์ต๋๋ค. ์ ๋ณด๊ด๋ฆฌ๊ธฐ์ ์ฌ(ITC)์ ๊ฐ์ ์ ๋ฌธ ์ํ์์๋ โ๋ฅ๋ฌ๋์ ์๋ฆฌ์ ์ต์ ํ๋ฆ์ ์ดํดํ๊ณ ์ค๋ฌด์ ์ ์ฉํ ์ ์๋๊ฐโ๊ฐ ํต์ฌ ํ๊ฐ ํญ๋ชฉ์ด๋ฏ๋ก, ์ ํํ๊ณ ๊น์ด ์๋ ์ดํด๊ฐ ํ์์ ๋๋ค.
ํต์ฌ ๊ฐ๋ ๋ฐ ์๋ ์๋ฆฌ
1๏ธโฃ ๋ค์ธต ๊ตฌ์กฐ๊ฐ ๋ง๋๋ โ์ถ์ํโ
DNN์ ์ ๋ ฅ โ ์๋์ธต(๋ค์) โ ์ถ๋ ฅ ์์๋ก ์ฐ๊ฒฐ๋ ์ธ๊ณต ๋ด๋ฐ๋ค์ ์งํฉ์ ๋๋ค. ๊ฐ ์๋์ธต์ ์ด์ ์ธต์ ์ถ๋ ฅ์ ๋น์ ํ ํจ์(ํ์ฑํ ํจ์)๋ก ๋ณํํด ๋ค์ ์ธต์ ์ ๋ฌํฉ๋๋ค. ์ด ๊ณผ์ ์ ํตํด ๋ชจ๋ธ์ โ์ ์ฐจ์ ํน์ฑ โ ๊ณ ์ฐจ์ ์๋ฏธโ๋ก ์ ๋ณด๋ฅผ ์ ์ง์ ์ผ๋ก ์์ถํ๊ณ ํ์ฅํฉ๋๋ค.
2๏ธโฃ ์ญ์ ํ(BackโPropagation)
ํ์ต์ ํต์ฌ์ ์ค์ฐจ์ญ์ ํ์
๋๋ค. ์ถ๋ ฅ๊ฐ๊ณผ ์ ๋ต ๋ผ๋ฒจ ์ฌ์ด์ ์์ค(Loss)์ ๋ฏธ๋ถํ์ฌ ๊ฐ์ค์น W์ ํธํฅ b๋ฅผ ์
๋ฐ์ดํธํฉ๋๋ค.
3๏ธโฃ ์ฑ๋ฅ ํฅ์์ ์ํ ํ ํฌ๋
- ํ์ฑํ ํจ์: ReLU, GELU ๋ฑ์ ๋น์ ํ์ฑ์ ๋ถ์ฌํ๊ณ ๊ธฐ์ธ๊ธฐ ์์ค์ ๋ฐฉ์งํฉ๋๋ค.
- ๋ฐฐ์น ์ ๊ทํ(Batch Normalization): ๋ฐ์ดํฐ ๋ถํฌ๋ฅผ ์ ๊ทํํ์ฌ ํ์ต ์๋๋ฅผ ๋์ ๋๋ค.
- ๋๋กญ์์(Dropout): ๊ณผ์ ํฉ ๋ฐฉ์ง๋ฅผ ์ํด ์ผ๋ถ ๋ด๋ฐ์ ํ์ต์์ ์ ์ธํฉ๋๋ค.
2024๋ ๊ธฐ์ค ์ต์ ํ๋ฆ
์ค๋ฌด ์ ์ฉ ๊ฐ์ด๋
์ค์ ํ๋ก์ ํธ์์๋ ๋ชจ๋ธ๋ง๋ณด๋ค ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ๊ณผ ์๋น(Serving)์ด ๋ ํฐ ๋น์ค์ ์ฐจ์งํฉ๋๋ค.
๐ ์์จ ์ฃผํ (Computer Vision)
๊ฐ์ฒด ํ์ง(YOLO), ์ธ๊ทธ๋ฉํ
์ด์
๋ฑ์ ์ค์๊ฐ์ฑ์ด ์ค์ํ๋ฏ๋ก TensorRT ์ต์ ํ๊ฐ ํ์์
๋๋ค.
๐ณ ๊ธ์ต (FDS)
์ด์ ๊ฑฐ๋ ํ์ง์๋ ์๊ณ์ด ์ฒ๋ฆฌ์ ๊ฐํ LSTM, Transformer ๊ตฌ์กฐ๋ฅผ ์ฌ์ฉํฉ๋๋ค.
์ ๋ฌธ๊ฐ ์ธ์ฌ์ดํธ
๐ก Data is King
๋ชจ๋ธ ์ํคํ ์ฒ๋ฅผ ๋ฐ๊พธ๋ ๊ฒ๋ณด๋ค, ๋ผ๋ฒจ๋ง ์ค๋ฅ๋ฅผ ์์ ํ๊ณ ๋ฐ์ดํฐ ๋ถํฌ๋ฅผ ๋ง์ถ๋ ๊ฒ์ด ์ฑ๋ฅ ํฅ์์ 3๋ฐฐ ์ด์ ํจ๊ณผ์ ์ ๋๋ค.
๐ฎ ๋ฏธ๋ ์ ๋ง
์์ผ๋ก๋ ๋ชจ๋ธ์ ์ง์ ๋ฐ๋ฐ๋ฅ๋ถํฐ ๋ง๋๋ ์ผ๋ณด๋ค, Pre-trained ๋ชจ๋ธ์ ์ฐ๋ฆฌ ๋๋ฉ์ธ ๋ฐ์ดํฐ๋ก ํ์ธํ๋(Fine-tuning)ํ๋ ๋ฅ๋ ฅ์ด ํต์ฌ ๊ฒฝ์๋ ฅ์ด ๋ ๊ฒ์ ๋๋ค.
๋ถ๋ก: ํ์ต์ ์๋ฆฌ (Loss Landscape)
๊ฒฝ์ฌ ํ๊ฐ๋ฒ(Gradient Descent)์ ์๋ ๊ทธ๋ฆผ์ฒ๋ผ ์ธํ๋ถํํ ์ฐ(Loss Function)์์ ๊ฐ์ฅ ๋ฎ์ ์ง์ (์ต์ ๊ฐ)์ ์ฐพ์ ๋ด๋ ค๊ฐ๋ ๊ณผ์ ๊ณผ ๊ฐ์ต๋๋ค.
๊ฒฐ๋ก
DNN์ ๋จ์ํ ์ฝ๋ฉ ๊ธฐ์ ์ด ์๋๋๋ค. ๋ฐ์ดํฐ(Data)๋ฅผ ์ดํดํ๊ณ , ์ํ์ ์๋ฆฌ(Math)๋ฅผ ๋ฐํ์ผ๋ก ์ต์ ์ ๋ชจ๋ธ์ ์ค๊ณํ๋ ์ข ํฉ ์์ ์ ๋๋ค. ์ง๊ธ ๋ฐ๋ก ์์ ๋ฐ์ดํฐ์ ์ผ๋ก ์ค์ต์ ์์ํด๋ณด์ธ์.