Deep Learning - 1.Introduction(12~26p)

http://www.deeplearningbook.org/contents/intro.html

1.2 Historical Trends in Deep Learning

심층 학습의 역사적인 트랜드

It is easiest to understand deep learning with some historical context.

몇 가지 역사적인 맥락과 함께 하는 것이 심층 학습을 이해하기 더 쉽습니다.

Rather than providing a detailed history of deep learning, we identify a few key trends:

심층 학습에 대한 자세한 역사를 소개하기에 앞서 몇 가지 중요한 트랜드를 확인하겠습니다.

- Deep learning has had a long and rich history, but has gone by many names, reflecting different philosophical viewpoints, and has waxed and waned in popularity.

- 심층 학습은 길고 풍부한 역사를 가지고 있지만, 다른 철학적인 관점을 반영하였던 많은 이름들은 사라졌으며, 오래되었고 관심 속에서 사라져왔습니다.

- Deep learning has become more useful as the amount of available training data has increased.

- 심층 학습은 많은 양의 학습 데이터를 사용할 수 있게 되면서 유용해졌습니다.

- Deep learning models have grown in size over time as computer infrastructure (both hardware and software) for deep learning has improved.

- 심층 학습 모델들은 컴퓨터의 성능이 좋아지면서 성장하여 왔습니다.

- Deep learning has solved increasingly complicated applications with increasing accuracy over time.

- 심층 학습은 오랜 시간에 걸쳐서 정확도가 증가해왔고 그에 따라 점차 복잡한 응용 분야의 문제들을 풀어왔습니다.

1.2.1 The Many Names and Changing Fortunes of Neural net-works

신경망의 많은 이름들과 변화한 운명들

We expect that many readers of this book have heard of deep learning as an exciting new technology, and are surprised to see a mention of “history” in a book about an emerging field.

우리는 이 책을 읽는 많은 독자들이 심층 학습을 신나는 새로운 기술이라고 알아왔을 것이며, 그래서 책 안에 새로운 분야에 “역사”라는 말을 언급한 것을 보고 놀라게 되었으리라 예상합니다.

In fact, deep learning dates back to the 1940s.

사실 심층 학습은 1940년대로 거슬러 올라갑니다.

Deep learning only appears to be new, because it was relatively unpopular for several years preceding its current popularity, and because it has gone through many different names, only recently being called “deep learning”.

심층 학습은 새로운 것으로만 여겨집니다. 왜냐하면 심층 학습은 과거에는 지금보다 상대적으로 인기가 없었고 많은 여러 가지의 이름으로 불려왔으며, 최근에서야 “심층 학습”이라고 불리게 되었기 때문입니다.

The field has been rebranded many times, reflecting the influence of different researchers and different perspectives.

이 분야는 다른 연구자들과 다른 관점의 영향을 받아 여러 번 새롭게 이미지가 개편되어 왔습니다.

A comprehensive history of deep learning is beyond the scope of this textbook.

심층 학습에 대한 광범위한 역사는 이 책으로 모두를 표현할 수는 없습니다.

Some basic context, however, is useful for understanding deep learning.

그러나 몇 가지 기본적인 내용들은 심층 학습을 이해하는데 유용할 것입니다.

Broadly speaking, there have been three waves of development:

크게 말해서, 3번의 큰 파도가 있었습니다:(큰 변화가 3번 있었다는 의미로 보입니다.)

Deep learning known as cybernetics in the 1940s-1960s, deep learning known as connectionism in the 1980s-1990s, and the current resurgence under the name deep learning beginning in 2006. 

심층 학습은 1940~60년대에는 사이버네틱으로 알려졌었고 1980~1990년대에는 컨넥션니즘(연결주의), 그리고 2006년부터 심층 학습이라는 이름으로 불려왔습니다. 

This is quantitatively illustrated in figure 1.7.

이는 그림 1.7에 묘사되어 있습니다.

그림 1.7: 인공신경망연구의 3개의 역사적인 파도 중 2개, 사이버네틱과 연결주의 혹은 신경 망이라 불리는 단어들의 빈도를 구글 책에서 측정하였습니다. cybernetic이라는 용어를 가진 첫 번째 파도는 생물학적 학습의 이론의 발전, perceptron처럼 하나의 뉴론처럼 학습할 수 있는 첫 번째 모델과 함께 1940-1960년대에 시작되었습니다.

연결주의 접근이라는 용어를 가진 두 번째 파도는 1980-1995년대에 한 개 혹은 두 개의 은닉 층을 가진 신경 망을 학습시키는데 사용되는 back-propagation과 함께 시작되었습니다.

현재이자 세 번째 파도인 deep learning은 약 2006년에 시작했고 책의 형태로는 2016년이 되어서야 나타났습니다.(책의 형태 : 출판)

다른 두 개의 파도들은 과학적인 활동이 생겨난 것보다 많이 늦게 책의 형태로 비슷한 시기에 나타났습니다.(책의 형태 : 출판)

Some of the earliest learning algorithms we recognize today were intended to be computational models of biological learning, that is, models of how learning happens or could happen in the brain.

오늘날 우리가 알고 있는 학습 알고리즘들의 몇 가지는 초반에 생물학적 학습 방식=뇌에서 발생할 수 있거나 학습하는 방법에 대한=을 모델로 삼았습니다.

As a result, one of the names that deep learning has gone by is artificial neural ne

tworks(ANNs).

그 것은 심층 학습이 수행해왔던 이름들 중 하나로 인공신경망이었습니다.

The corresponding perspective on deep learning models is that they are engineered systems inspired by the biological brain.(whether the human brain or the brain of another animal).

심층 학습 모델들 중 대응되는 관점은 심층 학습은 생물학적 뇌에 의해 영감을 얻은 시스템이라는 점입니다.(인간 뇌든 다른 동물의 뇌든)

While the kinds of neural networks used for machine learning have sometimes been used to understand brain function, they are generally not designed to be realistic models of biological function.

기계 학습을 위해 사용된 여러 신경망들은 뇌를 이해하기 위해 사용되어왔지만, 일반적으로 뇌 기능의 진짜 모델처럼 설계되지는 않았습니다.

The neural perspective on deep learning is motivated by two main ideas.

심층 학습의 뉴런 관점은 두 개의 주요 아이디어에서 나왔습니다.

One idea is that the brain provides a proof by example that intelligent behavior is possible, and a conceptually straightforward path to building intelligence it to reverse engineer the computational principles behind the brain and duplicate its functionality.

한 가지 아이디어는 현명한 행동이 가능한 예의 증거를 뇌가 제공한다는 것이었고, 뇌 뒤에서 일어나는 계산 원리 및 기능을 복제하여 사용하자는 것이었습니다.

Another perspective is that it would be deeply interesting to understand the brain and the principles that underlie human intelligence, so machine learning models that shed light on these basic scientific questions are useful apart from their ability to solve engineering applications.

또 다른 관점은 인간 지능에 기저하는 원리와 뇌를 이해하는 것에 깊은 흥미를 가지는 것이었고, 그러므로 이러한 기본적인 과학적 질문들에 빛을 비추는(답을 알려주는) 기계 학습 모델은 공학 응용 프로그램을 해결하는 능력과는 별개로 유용하였습니다.

The modern term “deep learning” goes beyond the neuroscientific perspective on the current breed of machine learning models.

현재의 기계 학습 모델에 신경 과학 관점이 들어가 심층 학습이라는 단어가 나온 것입니다.

It appeals to a more general principle of learning multiple levels of composition, which can be applied in machine learning frameworks that are not necessarily neutrally inspired.

이 단어는 스스로 영감을 얻지 못하는 기계 학습 틀에 적용될 수 있는 여러 레벨의 구성물로 학습에 대한 일반적인 원리가 적용되었음을 어필합니다.

The earliest predecessors of modern deep learning were simple linear models motivated from a neuroscientific perspective.

현대 심층 학습의 이전 단계는 신경 과학 관점으로부터 나온 간단한 선형 모델이었습니다.

These models were designed to take a set of n input values x 1… x n and associate them with an output y.

이러한 모델들은 입력 값 x들과 관련 있는 출력 값 y들의 관계를 설계한 것입니다.

These models would learn a set of weights w 1….w n and compute their output f(x,w)=x1w1 +x2w2….

이러한 모델들은 가중치를 학습할 수 있었고, 출력을 계산할 수 있었습니다.

(x가 y가 되도록 하는 파라메터w를 학습할 수 있었다는 의미입니다.)

This first was of neural networks research was known as cybernetic, as illustrated in figure 1.7

신경망 연구의 첫 번째는 그림 1.7에 묘사된 것처럼 사이버네틱으로 알려져 있습니다.

The McCulloch-Pitts neuron was an early model of brain function.

McCulloch-Pitts 뉴론이 뇌 기능의 초기 모델이었습니다.

This linear model could recognize two different categories of inputs by testing whether f(x,w) is positive or negative.

선형 모델은 f(x,w)가 긍정인지 부적인지 테스트함으로써 입력 값을 두 개의 다른 범주로 구분할 수 있었습니다.

Of course, for the model to correspond to the desired definition of the categories, the weights needed to be set correctly.

물론 범주에 맞는 정의에 대응하는 모델을 위해서 가중치들은 정확하게 셋팅되어야 할 필요가 있었습니다.

(분류의 정확도를 높이기 위해서는 가중치들이 정확하게 셋팅되어야 할 필요가 있었습니다.)

These weights could be set by the human operator.

가중치는 인간 작업자에 의해 셋팅될 수 있었습니다.

In the 1950s, the perceptron became the first model that could learn the weights that defined the categories given examples of inputs from each category.

1950년대에는 퍼셉트론이 각각의 카테고리로부터 주어진 입력 값을 정의된 카테고리로 정의하는 가중치를 학습할 수 있는 첫 번째 모델이었습니다.(이전에는 사람이 w를 넣어주었다면, 퍼셉트론부터는 기계가 알아서 가중치를 조정하여 w를 교정하였다는 의미로 보입니다.)

The adaptive linear element(ADALINE), which dates from about the same time, simply returned the value of f(x) itself to predict a real number and could also learn to predict these numbers from data.

그리고 퍼셉트론과 거의 동시에 나온 ADALINE은 진짜 숫자를 예측하기 위해 그 자체인 f(x)의 값을 반환했고, 데이터로부터 이 숫자들을 예측하는 방법도 학습할 수 있었습니다.(ADALINE은 함수 결과를 보고 어떤 부분을 수정해야 하는지 알았다는 것으로 보입니다.)

These simple learning algorithms greatly affected the modern landscape of machine learning.

이 간단한 학습 알고리즘들은 근대 기계 학습의 조망에 커다란 영향을 주었습니다.

The training algorithm called stochastic gradient descent.

이 학습 알고리즘은 stochastic gradient descent(확률론적 경사 하강법)이라고 불립니다.

Slightly modified versions of the stochastic gradient descent algorithm remain the dominant training algorithms for deep learning models today.

stochastic gradient descent 알고리즘의 약간 변형된 버전들이 오늘날 심층 학습 모델에서 주요한 학습 알고리즘으로 남아 있습니다.

Models based on the f(x,w) used by the perceptron and ADALINE are called linear models.

Perceptron과 ADALINE에서 사용된 함수 f(x,w)에 기초한 모델들은 선형 모델이라 불립니다.

These models remain some of the most widely used machine learning models, though in many cases they are trained in different ways than the original models were trained.

이 모델들은 가장 널리 사용되는 기계 학습 모델의 몇 가지에 남아있습니다(물론 원천 모델이 학습하는 방법과는 다른 방법으로 학습을 합니다). 

Linear models have many limitations.

선형 모델은 많은 한계점들을 가지고 있다.

Most famously, they cannot learn the XOR function, where f([0,1],w) =1 and f([1,0],w) =1 but f([1,1],w) = 0 and f([0,0],w) = 0.

가장 유명한 것은 선형 모델은 XOR 기능을 배울 수 없다는 점입니다.

Critics who observed these flaws in linear models caused a backlash against biologically inspired learning in general.

선형 모델에서 관찰된 이 결함에 대한 비판으로 생물학 상에서 일반적인 영감을 얻은 학습에 대한 반발을 일으켰습니다.

This was the first major dip in the popularity of neural networks.

이것이 신경망의 인기를 감소시키는 첫 번째 원인(관심이 없어지게 하는)이 되었습니다. 

Today, neuroscience is regarded as an important source of inspiration for deep learning researchers, but it is no longer the predominant guide for the field.

오늘날, 신경 과학은 심층 학습 연구자들에게 영감을 얻게 하는 주요 원천으로써 여겨지지만, 이 분야에서는 더 이상 지배적이지는 않습니다.

(영향력이 많이 줄었다는 의미로 보입니다)

The main reason for the diminished role of neuroscience in deep learning research today is that we simply do not have enough information about the brain to use it as a guide.

심층 학습 분야에서 오늘날 신경 과학의 역할이 감소한 주요 이유는 가이드로써 사용하기 위한 뇌에 대한 정보가 충분하지 않기 때문입니다.

To obtain a deep understanding of the actual algorithms used by the brain, we would need to be able to monitor the activity of (at the very least) thousands of interconnected neurons simultaneously.

뇌에서 사용하고 있는 알고리즘의 깊은 이해를 얻기 위해서는 서로 동시에 연결되어 있는 적어도 수천 개의 뉴런 활동을 관찰할 필요가 있습니다.

Because we are not able to do this, we are far from understanding even some of the most simple and well-studied parts of the brain.

우리는 이런 활동을 할 수 없기 때문에 뇌에 대해 잘 이해하고 있지 못합니다.

Neuroscience has given us a reason to hope that a single deep learning algorithm can solve many different tasks.

신경 과학은 심층 학습 알고리즘이 많은 다른 문제들을 해결할 수 있다는 희망에 대한 근거를 제공해왔습니다.

Neuroscientists have found that ferrets can learn to “see” with the auditory processing region of their brain if their brains are rewired to send visual signals to that area.

신경 과학자들은 흰담비를 통해 시각 정보를 보내는 영역을 다시 매핑하여 청각 정보를 담당하는 지역이 본다는 역할을 학습할 수 있음을 발견하였습니다.

This suggests that much of the mammalian brain might use a single algorithm to solve most of the different tasks that the brain solves.

이 결과는 많은 포유류의 뇌가 대다수의 다른 과제들을 풀기 위해 단일 알고리즘을 사용할 것이라는 것을 제안하였습니다.

(여러 과제를 수행함에 있어 하나의 알고리즘을 활용할 수 있음을 의미합니다.)

Before this hypothesis, machine learning research was more fragmented, with different communities of researchers studying natural language processing, vision, motion planning and speech recognition.

가설 이전에 기계 학습 연구는 자연어 처리, 시각, 움직임 계획, 음성 인식 등과 같은 다른 커뮤니티로 나뉘어져 있었습니다.

Today, these application communities are stile separate, but it is common for deep learning research groups to study many or even all these application areas simultaneously.

오늘날에도 이들은 여전히 나뉘어 있지만, 심층 학습 연구 분야에서는 이 전체 분야 혹은 여러 분야를 동시에 연구한다.

(예전에는 한 주제만 가지고 연구했다면 지금은 여러 연구를 같이 한다 라는 의미로 보입니다.)

We are able to draw some rough guidelines from neuroscience.

신경 과학 분야로부터 몇 가지 가이드를 얻을 수 있습니다.

The basic idea of having many computational units that become intelligent only via their interactions with each other is inspired by the brain.

각각의 다른 것(세포?물체)들이 서로 상호 작용하여 하나의 지능을 만드는 많은 계산을 할 수 있는 유닛들을 가진다는 기본적인 생각은 뇌에서 나온 것 것 입니다.

The neocognitron introduced a powerful model architecture for processing images that was inspired by the structure of the mammalian visual system and later became the basis for the modern convolutional network, as we will see in section 9.10.

neocognitron은 포유류의 시각 시스템의 구조에서 영감을 받아 이미지 처리를 위한 강력한 모델 아키텍처를 도입했습니다. 

이는 나중에 9.10 절에서 볼 수 있는 현대적인 길쌈 네트워크의 기초가 되었습니다.

Most neural networks today are based on a model neuron called the rectified linear unit.

대부분의 신경망들은 오늘날 정류된 선형 유닛이라 불리는 뉴런 모델에 기초를 두고 있습니다.

The original cognitron introduced a more complicated version that was highly inspired by our knowledge of brain function.

최초 인식기는 뇌의 기능에서 영감을 얻은 복잡한 모델이었습니다.

The simplified modern version was developed incorporating ideas from many viewpoints, with Nair and Hinton and Glorot et al citing neuroscience as an influence, and Jarrett et al citing more engineering-oriented influences.

더욱 단순화된 현재 버전들은 많은 관점으로부터 나온 아이디어들을 포함하여 개발되었습니다.

While neuroscience is an important source of inspiration, it need not be taken as a rigid guide.

신경 과학은 중요한 원천 요소들이지만 엄격하게 지켜질 필요는 없습니다.

We know that actual neurons compute very different functions than modern rectified linear units, but greater neural realism has not yet led to an improvement in machine learning performance.

우리는 변형된 선형 유닛들과는 매우 다른 기능을 실제 뉴런들이 수행하고 있다는 것을 알고 있으며, 뉴런 실제주의는 기계 학습 수행에 아직은 커다란 진보를 이끌지는 못하고 있습니다.

Also, while neuroscience has successfully inspired several neural network architectures, we do not yet know enough about biological learning for neuroscience to offer much guidance for the learning algorithms we use to train these architectures.

또한 신경 과학이 몇 개의 신경 망 구조에 성공적으로 영감을 주어왔지만 우리가 사용하는 기계학습 알고리즘에 더 많은 생물학적 학습에 대해 넣기에는 정보가 부족합니다.

Media accounts often emphasize the similarity of deep learning to the brain.

언론에서는 종종 뇌와 심층 학습과의 유사성을 강조합니다.

While it is true that deep learning researchers are more likely to cite the brain as an influence than researchers working in other machine learning fields, such as kernel machines or Bayesian statistics, one should not view deep learning as an attempt to simulate the brain.

심층 학습 연구자들이 커널 머신이나 베이지안 통계와 같은 다른 기계 학습 분야에서 종사하는 연구자들보다 뇌를 더 많이 인용하는 것은 사실이지만, 심층 학습을 뇌를 시뮬레이션하는 그러한 시도로는 보지 않습니다.

Modern deep learning draws inspiration from many fields, especially applied math fundamentals like linear algebra, probability, information theory, and numerical optimization.

특히 근대의 선형대수, 확률론, 정보처리, 수치 최적화 방법과 같은 수학의 요소들이 적용된 많은 분야에서 영감을 얻었습니다.

While some deep learning researchers cite neuroscience as an important source of inspiration, others are not concerned with neuroscience at all.

몇몇 심층 학습 연구자들은 여전히 신경 과학을 영감을 얻는 주요 요소로써 인용하지만 다른 사람들은 전혀 신경 과학과 관련이 없다고도 이야기 합니다.

It is worth noting that the effort to understand how the brain works on an algorithmic level is alive and well.

알고리즘 수준에서 두뇌가 어떻게 작동하는지 이해하려는 노력은 살아 있고 잘 작동한다는 것을 알아야 합니다.

This endeavor is primarily known as “computational neuroscience” and is a separate field of study from deep learning.

이 노력은 “계산 신경 과학”으로 알려져 있으며 심층 학습으로부터 분리된 분야입니다.

It is common for researchers to move back and forth between both fields.

연구자들이 두 분야 사이에서 왔다 갔다 하는 것은 공통적이다.

The field of deep learning is primarily concerned with how to build computer systems that are able to successfully solve tasks requiring intelligence, while the field of computational neuroscience is primarily concerned with building more accurate models of how the brain actually works.

딥 러닝 분야에서는 성공적으로 과제를 수행하기 위해 어떻게 컴퓨터 시스템을 설계할지 우선적으로 고려하지만, 계산 신경 과학은 어떻게 뇌가 작동하는지 보다 정확하게 구현하는 것을 우선적으로 고려합니다.

In the 1980s, the second wave of neural network research emerged in great part via a movement called connectionism, or parallel distributed processing.

1908년대 connectionism 혹은 병렬 분산 처리라 불리는 신경망 연구의 두 번째 파도(빅이슈)가 나타났습니다.

Connectionism arose in the context of cognitive science.

Connectionism은 인지 과학의 맥락에서 나타났습니다.

Cognitive science is an interdisciplinary approach to understanding the mind, combining multiple different levels of analysis.

인지 과학은 다양하면서도 다른 수준의 분석을 결합하여 마음을 이해하는 여러 교육(학제 간) 접근 방식입니다.

During the early 1980s, most cognitive scientists studied models of symbolic reasoning.

1980년대 초기에 대부분의 인지 과학자들은 symbolic reasoning의 모델을 연구했었습니다.

(symbolic reasioning = 기호 모델 : 현실의 현상을 알기 쉽게 기호로 표기한 것)

Despite their popularity, symbolic models were difficult to explain in terms of how the brain could actually implement them using neurons.

인기가 있었음에도 불구하고 기호 모델은 어떻게 뇌에서 뉴런들이 작동하는지 설명하기 어려웠습니다.

The connectionists began to study models of cognition that could actually be grounded in neural implementations, reviving many ideas dating back to the work of psychologist Donald Hebb in the 1940s.

1940년대에 심리학자 도날드 허브의 연구에서 많은 아이디어를 얻은 연결주의 연구자들은 뉴런 수준에서의 수행과 관련이 있는 인지 모델을 연구하기 시작했습니다.

The central idea in connectionism is that a large number of simple computational units can achieve intelligent behavior when networked together.

연결주의의 주요 아이디어는 많은 단순 계산 유닛들을 네트워크로 연결했을 때 지능적인 행동을 달성할 수 있다는 것이었습니다.

This insight applies equally to neurons in biological nervous systems as it does to hidden units in computational models.

이러한 인사이트는 계산 모델에서 은닉 유닛으로 작동하는 것과 생물학적 신경 시스템에서의 뉴런들이 하는 행동을 거의 유사하다고 고려하였고 적용하엿습니다.

(여러 뉴런의 조합으로 지능적인 행동이 이뤄지니 여러 계산 유닛의 조합으로 만들면 이와 비슷하지 않겠는가?라고 생각한 것으로 보입니다.)

Several key concepts arose during the connectionism movement of the 1980s that remain central to today’s deep learning.

1980년대의 연결주의 운동 안에 나타난 몇 가지 주요 개념들은 오늘날의 심층 학습에서 중요한 것으로 남아 있습니다.

One of these concepts it that of distributed representation.

여러 개념 중 하나는 분산 표현의 개념입니다.

This is the idea that each input to a system should be represented by many features, and each feature should be involved in the representation of many possible inputs.

이 개념은 시스템에서 각각의 입력은 많은 특징들로 표현되어야 하며, 각각의 특징들은 많은 가능한 입력 데이터들의 표현 안에 포함되어 있어야 한다는 생각입니다.(쉽게 말하면 입력 데이터들은 많은 특징들을 포함해야 한다는 의미입니다.)

For example, suppose we have a vision system that can recognize cars, trucks, and birds, and these objects can each be red, green, or blue.

예를 들자면 우리는 차 트럭 새를 인식 할 수 있고, 각각의 색도 인식할 수 있는 시각 시스템을 가지고 있습니다.

One way of representing these inputs would be to have a separate neuron or hidden unit that activates for each of the nine possible combinations: red truck, red car, red bird, green truck, and so on.

이 입력 데이터들을 대표하는 한 가지 방법은 9개의 가능한 각각의 조합으로 활성화시키는 뉴론 혹은 은닉 유닛으로 나누는 것입니다 : 빨간 트럭, 빨간 차, 빨간 새, 녹색 트럭 등등

This requires nine different neurons, and each neuron must independently learn the concepts of color and object identity.

이를 위해서는 9개의 다른 뉴런들이 필요하며 각각의 뉴런은 물체의 정체성과 색에 대한 개념을 독립적으로 학습하여야 합니다.

One way to improve on this situation is to use a distributed representation, with three neurons describing the color and three neurons describing the object identity.

이 상황을 향상시키는 한 가지 방법은 물체를 설명하는 3개의 뉴런과 색을 설명하는 3개의 뉴런을 가지는 분산 표현을 사용하는 것입니다.

This requires only six neurons total instead of nine, and the neuron describing redness is able to learn about redness from images of cars, trucks and birds, not just from images of one specific category of objects.

이러한 경우 9개 대신 6개의 뉴런만 필요하며 빨강을 설명하는 뉴런은 물체를 하나의 특화된 범주 이미지로 나누는 것이 아니라 차, 트럭, 새의 이미지로부터 빨강에 대해 학습할 수 있어야 합니다.

The concept of distributed representation is central to this book and is described in greater detail in chapter 15.

분산 표현 개념이 이 책에서도 중요하며 챕터 15에 보다 자세히 기술되어 있습니다.

Another major accomplishment of the connectionist movement was the successful use of back-propagation to train deep neural networks with internal representations and the popularization of the back-propagation algorithm.

Connetionist들의 활동에서 다른 주요한 성취는 내부의 표상과 함께 심층 신경망을 학습하기 위해 역전파를 성공적으로 사용했다는 점과 역전파 알고리즘의 대중화입니다.

This algorithm has waxed and waned in popularity but, as of this writing, is the dominant approach to training deep models.

이 알고리즘의 인기는 커졌다가 작아졌다 하는 등으로 변하지만 이 글을 쓸 때는 심층 모델들을 학습시키기 위한 주요 접근법인 상황입니다.

During the 1990s, researchers made important advances in modeling sequences with neural networks.

1990년대에 연구자들은 연속적인(순서정보를 가진) 신경망을 모델링하는데 중요한 진보를 이루어냈습니다.

Hochreiter and Bengio et al identified some of the fundamental mathematical difficulties in modeling long sequences, described in section 10.7

Hochreiter and Bengio et al은 섹션 10.7에 기술된 것과 같이 긴 연속된 어떠한 것에 대해 모델링할 때 몇 가지 중요한 수학적인 어려움을 밝혀냈습니다.

Hochreiter and Schmidhuber introduced the long short-term memory (LSTM) network to resolve some of these difficulties.

Hochreiter and Schmidhuber은 이러한 어려움을 해결하기 위해 the long short-term memory (LSTM) network을 제안했습니다.

The second wave of neural networks research lasted until the mid-1990s.

신경망 연구의 두 번째 파도는 1990년대 중반까지 지속되었습니다.

Ventures based on neural networks and other AI technologies began to make unrealistically ambitious claims while seeking investments.

신경망과 다른 AI 기술에 기반한 벤처기업들은 투자를 찾는 동안 비현실적이며 야망이 담긴 주장을 만들기 시작했습니다.

When AI research did not fulfill these unreasonable expectations, investors were disappointed.

AI연구가 합리적이지 않은 기대들을 만족시키지 못하면서 투자자들은 실망했습니다.

Simultaneously, other fields of machine learning made advances.

동시에 기계학습의 다른 분야들은 진보를 이뤄냈습니다.

Kernel machines and graphical models both achieved good results on many important tasks.

커널 기계와 그래픽 모델들은 많은 중요한 과제들에서 좋은 성과를 이루어냈습니다.

These two factors led to a decline in the popularity of neural networks that lasted until 2007.

2007년까지 지속되었던 신경망의 인기는 이들 두 요인들에 의해 내리막을 걷게 되었습니다.