모든 행복 아드레날린

Let me share a paradox. 

역설을 하나 공유해 볼게요. 

For the last 10 years, many companies have been trying to become less bureaucratic, 

지난 10년 간 많은 회사들은 관료주의,

to have fewer central rules and procedures, more autonomy for their local teams to be more agile. 

중심적인 규칙, 절차에서 벗어나고 각 부서가 더욱 민첩하게끔 자율적으로 만들고 있습니다. 

And now they are pushing artificial intelligence, AI, 

그리고 회사들이 강조하는 대단한 기술인 AI가

unaware that cool technology might make them more bureaucratic than ever. 

그 어느 때 보다도 사람들을 더욱 관료적으로 만드는지 인지하지 못하고 있습니다.

Why? 

왜죠?

Because AI operates just like bureaucracies. 

바로 AI가 관료주의처럼 작동하기 때문입니다. 

The essence of bureaucracy is to favor rules and procedures over human judgment. 

관료주의의 본질은 인간의 판단보다 규칙과 절차를 선호합니다.

And AI decides solely based on rules. 

그리고 AI는 오직 규칙들에 기반해 결정합니다. 

Many rules inferred from past data but only rules. 

많은 규칙들을 과거 데이터에서 추론해왔습니다. 하지만 규칙만 추론했습니다.

And if human judgment is not kept in the loop, 

만약 인간의 판단이 의사결정 과정에 없다면 

AI will bring a terrifying form of new bureaucracy -- 

AI는 무시무시한 형태의 새로운 관료주의를 가져올 것입니다. 

I call it "algocracy" -- 

저는 이걸 '알고크라시 (알고리즘에 의한 지배)'라고 부릅니다.

where AI will take more and more critical decisions by the rules outside of any human control. 

AI가 인간의 통제를 벗어나 규칙을 이용해 점점 더 많은 비판적인 결정을 내릴 것입니다. 

Is there a real risk? Yes. 

이게 진짜 위험할까요? 네 

I'm leading a team of 800 AI specialists. 

저는 AI 전문가 800명을 이끌고 있습니다.

We have deployed over 100 customized AI solutions for large companies around the world. 

저희는 맞춤화된 AI 솔루션을 100개 이상 전세계 대형 회사들에 배치했습니다. 

And I see too many corporate executives behaving like bureaucrats from the past. 

그리고 저는 너무나 많은 경영진이 옛날 관료처럼 행동하는 것을 봤습니다.

They want to take costly, old-fashioned humans out of the loop and rely only upon AI to take decisions.

그들은 돈 많이 드는, 유행 지난 사람들을 의사결정 과정에서 내보내고 오로지 AI에 의지해 결정을 내리고 싶어합니다.

I call this the "human-zero mindset." 

저는 이걸 '인간제로 사고방식'이라 부릅니다.

And why is it so tempting? 

이게 왜 그렇게 솔깃하게 들릴까요?

Because the other route, "Human plus AI," is long, costly and difficult. 

왜냐하면 다른 방식인 "인간 플러스 AI"는 소요 시간이 길고 비싸고 실행하기 어렵기 때문입니다.

Business teams, tech teams, data-science teams have to iterate for months to craft exactly how humans and AI can best work together. 

비즈니스 팀, 기술 팀, 데이터 과학자 팀들은 몇 개월 동안 반복 작업을 통해 인간과 AI가 어떻게 최고의 협업을 할 수 있는지 정확히 만들어야 합니다. 

Long, costly and difficult. But the reward is huge. 

오래 걸리고, 비싸고, 어렵죠. 하지만 성과는 거대합니다. 

A recent survey from BCG and MIT shows that 18 percent of companies in the world are pioneering AI, making money with it. 

최근 BCG와 MIT의 조사에 따르면 전세계 18퍼센트의 회사는 AI를 일찍이 도입하고 이를 통해 수익을 얻습니다. 

Those companies focus 80 percent of their AI initiatives on effectiveness and growth, 

이 회사들은 AI 계획 중 80퍼센트를 효율성과 발전,

taking better decisions -- not replacing humans with AI to save costs. 

더 나은 결정을 위해 집중하지만 비용 절약을 위해 AI로 인간을 대체하지 않습니다. 

Why is it important to keep humans in the loop? 

인간을 의사결정 과정에 두는 것이 왜 중요할까요?

Simply because, left alone, AI can do very dumb things. 

쉽게 말해, AI를 혼자 두면 아주 멍청한 행동을 할 수 있습니다.

Sometimes with no consequences, like in this tweet.

가끔 이 트윗처럼 답이 없습니다. 

"Dear Amazon, I bought a toilet seat. 

"아마존에게 전 변기를 하나 샀어요.

Necessity, not desire. 

변기가 필요 했을 뿐, 욕구 충족이 아니죠. 

I do not collect them, I'm not a toilet-seat addict. 

저는 변기를 수집하지 않아요. 저는 변기 중독자가 아니라고요.

No matter how temptingly you email me, I am not going to think, 

여러분이 어떤 솔깃한 이메일을 보내더라도 저는 절대로

'Oh, go on, then, one more toilet seat, I'll treat myself.' " 

'오, 좋아, 그럼 변기 하나를 더 구매해서 나에게 선물해야지' 생각하지 않을 것입니다. 

Sometimes, with more consequence, like in this other tweet. 

어떤 때에는 또 이 트윗처럼 더 심각한 결과를 가져옵니다. 

"Had the same situation with my mother's burial urn." 

"저의 어머니의 유골함 때와 비슷한 상황에 처한 적이 있어요."

"For months after her death, I got messages from Amazon, saying, 'If you liked that ...' " 

"어머니가 돌아가신 후 아마존에서 '만약 귀하의 마음에 들었다면...' 이라는 문자를 받았어요. 

Sometimes with worse consequences. 

어떤 때에는 더 심각한 결과를 가져옵니다. 

Take an AI engine rejecting a student application for university. 

AI가 어떤 학생의 대학교 지원을 거부할 수 있습니다. 

Why? 

왜죠? 

Because it has "learned," on past data, characteristics of students that will pass and fail. 

왜냐하면 과거 데이터를 통해 합격, 불합격 학생들의 특징을 배우기 때문입니다.

Some are obvious, like GPAs. 

GPA 같은 건 명확할 겁니다.

But if, in the past, all students from a given postal code have failed, 

그러나 만약에 특정 우편번호를 사용한 학생들이 모두 탈락했다면

it is very likely that AI will make this a rule and will reject every student with this postal code, 

AI는 이를 규칙으로 만들 가능성이 매우 높고 이 우편번호를 사용한 모든 학생들을 탈락시킬 것이며

not giving anyone the opportunity to prove the rule wrong. 

누구에게도 이 잘못된 규칙을 증명할 기회를 주지 않을 것입니다. 

And no one can check all the rules, because advanced AI is constantly learning. 

그리고 아무도 이 모든 규칙을 검사할 수 없죠. 뛰어난 AI는 끊임없이 배우니까요.

And if humans are kept out of the room, there comes the algocratic nightmare. 

만약 인간이 이 틀을 벗어나고자 한다면 이는 알고크라시 악몽이 될 것입니다.

Who is accountable for rejecting the student? 

입학 거부에 대해 누가 책임을 지나요? 

No one, AI did. 

아무도 없습니다. AI가 한 것입니다. 

Is it fair? 

공평한가요?

Yes. 

네.

The same set of objective rules has been applied to everyone. 

왜냐하면 객관적인 평가가 모든 사람에게 똑같이 적용되었기 때문입니다. 

Could we reconsider for this bright kid with the wrong postal code? 

잘못된 우편번호를 사용한 똑똑한 아이에게 다른 기회를 줄 수 있을까요?

No, algos don't change their mind. 

안됩니다. 알고리즘은 결정을 번복하지 않습니다. 

We have a choice here. 

그러나 우리는 지금 한 가지 선택권이 있습니다.

Carry on with algocracy or decide to go to "Human plus AI." 

알고크라시로 계속 가시든지 아니면 '인간 플러스 AI'로 결정할 수가 있습니다. 

And to do this, we need to stop thinking tech first, and we need to start applying the secret formula. 

이를 위해서 우리는 기술에 대한 생각을 먼저 멈추고 은밀한 공식을 적용시켜야 합니다.

To deploy "Human plus AI," 

"인간 플러스 AI"를 적용하기 위해 

10 percent of the effort is to code algos; 

알고리즘 코드 제작에 10% 노력을 쏟고

20 percent to build tech around the algos, collecting data, building UI, integrating into legacy systems; 

20퍼센트는 알고리즘 관련 기술을 만들고 데이터 수집, UI 제작, 기존 시스템과의 통합이 이루어집니다. 

But 70 percent, the bulk of the effort, is about weaving together AI with people and processes to maximize real outcome. 

그러나 70%에 달하는 많은 노력은 AI에 인간과 프로세스를 함께 엮음으로서 최대의 성과를 얻게끔 하는 것입니다. 

AI fails when cutting short on the 70 percent. 

AI는 이 70%에 미치지 못하면 실패합니다.

The price tag for that can be small, wasting many, many millions of dollars on useless technology. 

이를 위한 비용은 줄어들 수도 있겠지만 수백만 달러를 쓸모없는 기술에 낭비하게 되겠죠. 

Anyone cares? 

누가 신경이나 쓸까요?

Or real tragedies: 

혹은 이러한 비극이 있죠.

346 casualties in the recent crashes of two B-737 aircrafts when pilots could not interact properly with a computerized command system. 

346명의 사상자를 낸 최근 2번의 B-737기 사고 이유는 파일럿이 컴퓨터화된 명령 시스템과 적절히 상호작용을 하지 못했기 때문입니다 

For a successful 70 percent, the first step is to make sure that algos are coded by data scientists and domain experts together. 

성공적인 70%를 위해서 첫 번째 단계는 알고리즘이 데이터 과학자와 특정 분야 전문가에 의해 코드로 짜여져야 합니다. 

Take health care for example. 

건강 관리를 예로 들어봅시다.

One of our teams worked on a new drug with a slight problem. 

저희 팀 하나가 작은 문제가 있는 신약에 관해 작업했습니다. 

When taking their first dose, some patients, very few, have heart attacks. 

신약 첫 복용시 아주 소수의 환자들에게 심장마비가 옵니다. 

So, all patients, when taking their first dose, have to spend one day in hospital, for monitoring, just in case. 

그리하여 첫 복용을 하는 모든 환자들은 반드시 병원에서 하루를 지내며 만약을 대비해 경과를 지켜봅니다. 

Our objective was to identify patients who were at zero risk of heart attacks, who could skip the day in hospital. 

저희의 목적은 심장마비의 위험이 전혀 없는 환자를 가려내서 병원에서 경과를 지켜보는 일을 없애는 것이었죠. 

We used AI to analyze data from clinical trials, to correlate ECG signal, blood composition, biomarkers, 

저희는 AI를 통해 임상 실험 환자 데이터를 분석해 ECG신호, 혈액 성분, 생체지표와 

with the risk of heart attack. 

심장마비 가능성을 연관지었습니다. 

In one month, our model could flag 62 percent of patients at zero risk. 

한 달 후, 저희 모델에서 62%의 환자는 위험성이 전혀 없을 수도 있었습니다. 

They could skip the day in hospital. 

이들은 병원에서 경과를 지켜볼 필요가 없죠. 

Would you be comfortable staying at home for your first dose if the algo said so? 

그런데 여러분은 알고리즘이 말한대로 신약 첫 복용 후 집에서 편히 계실 수 있나요? 

Doctors were not. 

의사들은 아니었습니다. 

What if we had false negatives, meaning people who are told by AI they can stay at home, and die? 

만약 우리가 거짓 부정 판단을 했다면, AI가 첫 복용 후 바로 귀가해도 된다던 사람들이 죽으면 어떻게 되나요? 

There started our 70 percent. 

여기서 저희의 70%가 시작됐습니다. 

We worked with a team of doctors to check the medical logic of each variable in our model. 

저희는 의사들과 협력해 현재 모델에서 각 변수의 의학 논리를 체크하기로 했습니다. 

For instance, we were using the concentration of a liver enzyme as a predictor, 

예를 들면, 저희는 간 효소를 예측 변수로 사용했는데 

for which the medical logic was not obvious. 

의학 논리가 명확하지 않았습니다. 

The statistical signal was quite strong. 

통계 신호는 상당히 강했습니다.

But what if it was a bias in our sample? 

그러나 만약 이것이 저희 샘플의 편향이면요?

That predictor was taken out of the model. 

그래서 이 예측 변수는 저희 모델에서 제외되었습니다. 

We also took out predictors for which experts told us they cannot be rigorously measured by doctors in real life. 

또한 전문가들이 언급한, 실생활에서 의사들이 정밀하게 측정할 수 없는 예측 변수를 제외시켰습니다.

After four months, we had a model and a medical protocol. 

4개월 후, 저희는 새로운 모델과 의학 지침을 만들었습니다.

They both got approved my medical authorities in the US last spring, 

모두 작년 봄, 미국의 권위있는 의학 전문가들에게 새로운 모델이 절반 이상의 환자들에게

resulting in far less stress for half of the patients and better quality of life. 

훨씬 적은 스트레스와 더 나은 생활을 가져다 준다는 결과를 인정받게 되었습니다. 

And an expected upside on sales over 100 million for that drug. 

그리고 신약 매출이 1억이 넘을 것이라고 예상했습니다. 

Seventy percent weaving AI with team and processes also means building powerful interfaces for humans and AI to solve the most difficult problems together. 

70퍼센트나 팀과 프로세스를 통해 AI와 결합한다는 것은 인간과 AI가 가장 어려운 문제를 함께 풀 수 있도록 강력한 접점을 만들었다는 것도 의미하죠. 

Once, we got challenged by a fashion retailer. 

언젠가 저희는 의류 업체의 도전장을 받았습니다. 

"We have the best buyers in the world. Could you build an AI engine that would beat them at forecasting sales? 

"저희에게는 세계 최고의 구매자가 있습니다. 혹시 구매자들의 예상 판매량을 이길 AI 엔진을 제작할 수 있나요?

At telling how many high-end, light-green, men XL shirts we need to buy for next year? 

저희가 얼마나 많은 하이엔드, 밝은 초록색 남자 XL사이즈 셔츠를 내년을 위해 구입해야 할까요?

At predicting better what will sell or not than our designers." 

어떤 제품이 더 팔릴지 저희 디자이너들보다 좀 더 정확히 예측해 주세요."

Our team trained a model in a few weeks, on past sales data, and the competition was organized with human buyers. 

저희 팀은 과거 판매 데이터를 기반으로 AI 모델을 몇 주간 훈련시켰고 대결은 인간 구매자들과 이루어졌습니다.

Result? AI wins, reducing forecasting errors by 25 percent. 

결과는? AI가 이겼습니다. 예측 오류를 25%나 줄였죠. 

Human-zero champions could have tried to implement this initial model and create a fight with all human buyers. 

인간제로 챔피언이 이 최초의 모델을 도입하고 모든 인간 구매자와 싸움을 일으킬 수도 있었을 겁니다.

Have fun. 

재밌겠죠. 

But we knew that human buyers had insights on fashion trends that could not be found in past data. 

하지만 우리는 인간 구매자가 갖는 패션 트렌드에 대한 안목을 과거 데이터에서 찾을 수 없을지도 모른다는걸 압니다. 

There started our 70 percent. 

바로 거기에서 저희 70%가 시작했습니다.

We went for a second test, 

그리하여 저는 두 번째 실험을 진행했습니다.

where human buyers were reviewing quantities suggested by AI and could correct them if needed. 

인간 구매자들은 AI가 추천하는 수량을 검토할 수 있고 필요하다면 이를 수정할 수도 있게끔 말이죠. 

Result? Humans using AI ... lose. 

결과는? 인간이 AI를 이용한 결과 졌습니다. 

Seventy-five percent of the corrections made by a human were reducing accuracy. 

인간이 수정한 75%는 정확도를 떨어트렸기 때문입니다. 

Was it time to get rid of human buyers? 

인간 구매자를 없애야 했나요?

No. 

아니요. 

It was time to recreate a model where humans would not try to guess when AI is wrong, 

이는 인간이 언제 AI가 틀렸다는 것을 맞추는 것이 아닌 

but where AI would take real input from human buyers. 

AI가 인간 구매자에게서 현실적인 입력 값을 받도록 모델을 다시 만들어야 할 때였습니다.

We fully rebuilt the model and went away from our initial interface, which was, more or less, 

저희는 모델을 완전히 다시 만들었고 저희 최초의 접점과 멀어져 버려서 거의 이랬습니다. 

"Hey, human! This is what I forecast, correct whatever you want," 

"인간아! 이건 내가 예측한건데 수정하고 싶은 건 다 수정해."

and moved to a much richer one, more like, 

그러나 더 정교한 모델은, 좀 더 이랬죠. 

"Hey, humans! I don't know the trends for next year. 

"인간아! 나는 내년의 트랜드를 모르겠어. 

Could you share with me your top creative bets?" 

그러니 너의 창의적인 안목을 함께 공유 하겠니?"

"Hey, humans! Could you help me quantify those few big items? 

"인간아! 이 큰 제품들 수량화 좀 도와주겠니? 

I cannot find any good comparables in the past for them." 

예전 데이터에서 좋은 비교치를 찾지 못했어."

Result? 

결과는?

"Human plus AI" wins, reducing forecast errors by 50 percent. 

"인간 플러스 AI"의 승리이고 예측 오류를 50%나 줄였답니다. 

It took one year to finalize the tool. 

이 도구를 완성하는데 1년이나 걸렸죠.

Long, costly and difficult. 

오래 걸리고, 돈이 많이 들고, 어려웠습니다.

But profits and benefits were in excess of 100 million of savings per year for that retailer. 

그러나 이익과 혜택을 통해 해당 의류 업체는 매년 1억 달러를 이상 절약했습니다. 

Seventy percent on very sensitive topics also means human have to decide what is right or wrong and define rules for what AI can do or not, 

70%를 민감한 주제에 대해 다룬다는 건 인간이 옳고 그름을 결정하고 AI가 할 수 있는 일과 없는 일을 규정하는 겁니다. 

like setting caps on prices to prevent pricing engines [from charging] outrageously high prices to uneducated customers who would accept them. 

말하자면 가격 상한선을 정해서, 가격 설정 엔진이 터무니없이 높은 가격을 아무것도 모르는 고객에게 제시해 그걸 수용하는 일을 예방하는 것처럼 말이죠.

Only humans can define those boundaries -- 

그리고 오직 인간만이 이 경계값을 설정할 수 있습니다. 

there is no way AI can find them in past data. 

AI가 과거 데이터에서 이 경계값을 찾지 못합니다. 

Some situations are in the gray zone. 

회색 지대에 있는 상황들도 있죠. 

We worked with a health insurer. 

저희는 건강보험사와 일한 적이 있습니다.

He developed an AI engine to identify, among his clients, 

보험사는 AI 엔진 개발을 통해 고객들 중

people who are just about to go to hospital to sell them premium services. 

곧 병원에 가야하는 고객을 식별해 프리미엄 서비스를 판매하고자 했습니다. 

And the problem is, some prospects were called by the commercial team 

그러나 문제는 바로, 광고팀 전화를 받은 목표 고객 중 일부는

while they did not know yet they would have to go to hospital very soon. 

아직 자신들이 그렇게나 일찍 병원에 가야 한다는 것을 모르는 상태였습니다. 

You are the CEO of this company. 

만약 당신이 이 회사의 CEO라면, 

Do you stop that program? 

그 프로그램을 그만 사용할 것인가요?

Not an easy question. 

이는 쉬운 문제는 아닙니다. 

And to tackle this question, some companies are building teams, defining ethical rules 

이 문제를 처리하기 위해 어떤 회사들은 팀을 조직하고, 윤리적 규칙과 표준을 설정해, 

and standards to help business and tech teams set limits between personalization and manipulation, customization of offers and discrimination, targeting and intrusion. 

비즈니스와 기술팀이 개인화와 조작, 요청의 맞춤화와 차별화, 목표 설정, 침범 사이에 한계를 정하도록 돕습니다. 

I am convinced that in every company, applying AI where it really matters has massive payback. 

저는 모든 회사들이 정말로 중요한 곳에 AI를 적용한다면 어마무시한 이익을 얻을 수 있다고 확신합니다. 

Business leaders need to be bold and select a few topics, and for each of them, mobilize 10, 20, 30 people from their best teams -- 

비즈니스 리더는 과감하게 몇 가지 사업 주제를 선정해 매 주제마다 10, 20, 30명씩 최고의 팀에서 온 사람들로

tech, AI, data science, ethics -- and go through the full 10-, 20-, 70-percent cycle of "Human plus AI," 

기술, AI, 데이터 과학, 윤리 등에서 동원하여 10%, 20%, 70% 주기의 "인간 플러스 AI"의 그 모든 과정을 거쳐야 합니다.

if they want to land AI effectively in their teams and processes. 

만약 AI를 효과적으로 팀과 프로세스에 정착시키려 한다면 말이죠.

There is no other way. 

다른 방법은 없습니다. 

Citizens in developed economies already fear algocracy. 

선진국 시민들은 이미 알고크라시를 두려워하고 있습니다.

Seven thousand were interviewed in a recent survey. 

최근 조사에서 7천 명을 인터뷰 했는데

More than 75 percent expressed real concerns on the impact of AI on the workforce, on privacy, on the risk of a dehumanized society. 

그 중 75퍼센트가 넘는 사람들은 심각하게 걱정합니다. AI가 일자리, 사생활 비인간적인 사회로의 위험성에 미치는 영향에 대해서요. 

Pushing algocracy creates a real risk of severe backlash against AI within companies or in society at large. 

알고크라시를 밀어붙이면, AI에 엄청나게 반발하는 실질적인 위험이 기업이나 사회 안에서 엄청나게 생겨날 것입니다.

"Human plus AI" is our only option to bring the benefits of AI to the real world. 

"인간 플러스 AI" 야말로 우리의 유일한 옵션으로 AI의 혜택을 현실 세계로 가져오게 할 것입니다.

And in the end, winning organizations will invest in human knowledge, not just AI and data. 

그리고 결국엔 성공한 기업들은 인류의 지식에 투자할 것입니다. AI와 데이터에만 투자하는 것이 아니라요.

Recruiting, training, rewarding human experts. 

전문가를 모집하고, 훈련하고, 보상하세요.

Data is said to be the new oil, but believe me, human knowledge will make the difference, 

모두들 데이터를 새로운 기름이 될 거라고 하지만 절 믿으세요. 인류가 갖고 있는 지식은 차이를 만들어낼 것입니다.

because it is the only derrick available to pump the oil hidden in the data. 

왜냐하면, 인간이야말로 유일하게 그 데이터에 숨겨진 기름을 뽑아낼 기중기니까요. 

Thank you. 

감사합니다. 

https://www.ted.com/talks/sylvain_duranton_how_humans_and_ai_can_work_together_to_create_better_businesses/transcript?language=ko