AI 검토 체크리스트

By in Uncategorized 1 Comment Tags: , , ,

1586734159905최근 몇 년 사이에 가장 핫해지고, 가장 큰 규모의 투자를 받는 분야는 AI다. 앞으로 더 커질 것이고, AI는 모든 비즈니스에서 없어서는 안 될 필수 요소가 될 것임에는 의심의 여지가 없다. 하지만, 갈 길은 멀다. 너무 멀다. 대부분의 AI 회사가 제시하는 장밋빛 그림은 비현실적이고, 가끔 나는 AI 회사가 피칭하는걸 듣고 있다 보면 저 창업가 분들은 어느 시대에 살고 있나, 미래에서 왔을까라는 생각을 할 정도로 황당했던 적이 몇 번 있다. 하지만, 내가 이 분야의 전문가는 아니라서, 나도 이 기술, 이 비즈니스, 이 회사가 약속하는 미래가 정말로 실현 가능한지가 제대로 판단되지 않을 때가 많고, 이럴 경우 주변의 다양한 분들한테 조언을 구하지만, 그래도 이런 회사를 검토하는 건 항상 어렵다.

완벽하진 않지만, Zest AI라는 회사의 CTO가 최근에 테크크런치에 기고한 글을 한번 읽어보면, AI 회사나 기술을 검토할 때, 투자자, 고객, 또는 협력업체 입장에서 확인해봐야 하는 6가지 사항들이 나열되어 있는데, 이 AI 회사가 정말로 뭔가 있는 건지, 아니면 그냥 AI로 겉만 번드르르하게 포장되어 있는 건지를 판단할 때 꽤 유용한 거 같아서 간략하게 소개해본다.

1/ AI 훈련에 어떤 데이터를 사용하나?
Garbage in, garbage out이라는 말이 있다. AI가 좋은 결과를 만들기 위해서는 좋은 데이터로 훈련을 시켜야 한다. 제대로 된 AI 회사라면 정확하게 어떤 데이터를 사용해서, 어떤 결과를 예측할 수 있는지에 대해서 자세히 설명할 수 있어야 한다.

2/ 사람이 하는 일을 AI가 어느 정도 대체하는가?
AI가 구현되면 사람이 전혀 필요 없다든지, 또는 수십 명 또는 수백 명의 사람을 즉시 대체할 수 있다고 하는 회사는 의심해봐야한다. 아직 AI는 그 수준까지 오지 못했다. AI가 할 수 있는 일과 할 수 없는 일을 정확하게 지적할 수 있고, 아직 사람이 필요한 프로세스에 AI가 어떻게 적용될 수 있는지 잘 설명할 수 있어야 한다.

3/ 실제 사례가 있는가?
이 AI 기술이 실제로 구현된 사례가 있는지, 그리고 있다면, 구체적으로 어떤 문제가 있었는데, 어떻게 AI가 해결을 했고, 그 결과를 정량적으로 수치화할 수 있었는지를 물어봐야한다. 연구실에서 테스팅해봤다고 현실에서도 AI가 작동하진 않는다. 한 연구에 의하면 연구실에서 만들어진 AI 중 20%만 현실에서 돌아간다고 하듯이, 실생활에서는 실험에 사용한 가정이나 제약조건이 존재하지 않기 때문에, 어떤 고객이 실제로 사용했고, 정확히 어떤 결과가 발생했는지 확인해봐야한다.

4/ AI를 구축하는데 얼만큼의 노력, 시간, 그리고 자원이 투입됐는가?
수십 명의 데이터과학자와 공학박사들이 AI 모델링을 하고, 수 년 동안 연구실에서 알고리즘을 개발한 건 대단하지만, 그렇다고 실제로 현실에 적용했을 때 만족할만한 결과가 나오는걸 보장할 순 없다. 위 3번과 같이 확인해봐야한다.

5/ AI의 결정과 추천사항을 명확하게 설명할 수 있는가?
단순히 좋아할 만한 기사나 옷을 추천하는 건 누구나 할 수 있지만, 앞으로 AI가 해야 할 일은 점점 더 복잡해지고, 점점 더 규제를 받게 될 것이다. AI 기반의 대출 결정을 하거나, 또는 자율주행 결정을 할 때는, 왜 AI가 그런 결정을 했고, 왜 그런 추천을 했는지 명확하게 설명할 수 있어야 한다. 규제가 까다로운 분야라면, 더욱더 그렇다.

6/ AI의 의사결정에 공정성이 있는가? 편견은 없는가?
AI를 훈련하는 데이터에는 어쩔 수 없이 어느 정도의 바이어스가 들어가 있다. 가장 이슈가 많이 되는 게 인종과 성차별에 대한 바이어스인데, AI를 연구하는 인력 대부분이 백인남성이라는 점을 고려하면, 의도하지 않게 이런 부분이 원데이터에 반영되고, 이게 AI를 통해서 처리되면, 공정성에 큰 문제가 발생할 수도 있다. 윤리적인 부분도 충분히 반영되어야 한다.

나도 이 기사를 접한 후에 AI 관련 회사를 만나면, 위 6가지 질문을 기본적인 프레임으로 삼으면서 비즈니스를 검토하는데, 상당히 도움이 많이 되고 있다.

<이미지 출처 = 크라우드픽>

통제 불가능한 건, 그냥 웃자

By in Uncategorized No Comments Tags: , , , , , ,

bottle-601566_1280나는 이제 7주째 재택근무를 하고 있다. 그리고 내가 말 하는 재택근무는, 사무실을 안 가는 개념도 포함하고 있지만, 아예 집 밖에 나가지 않는 것도 포함한다. 매주 월~금, 내가 집에서 보낸 시간을 계산해보니까, 대략 118시간이다. 불필요한 외출을 최대한 자제하고, 일주일에 2시간만 밖에서 보내고 있다. 우리 사무실이 있는 구글캠퍼스도 어차피 셧다운 돼서, 사무실 출근이 당분간 힘들어서 언제 재택근무를 끝낼 수 있을진 잘 모르겠다. 한국은 그나마 다른 나라에 비해서 상황이 좋지만, 조금만 방심해도 다시 크게 확산할 수 있는 가능성도 있어서, 상당히 조심하고 있긴 하다.

집에서 일한다고, 노는 건 아니다. 아니, 실은 사무실 출근할 때 만큼 많은 미팅을 소화해내고 있는데, 다만 물리적인 미팅은 아니고 Zoom으로 하는 화상 미팅만 열심히 하고 있다. 새로운 회사도 많이 만나고 있고, 우리 기존 투자사들과도 요샌 화상으로 미팅을 하고 있는데, 코로나바이러스가 다양한 분야의 스타트업에 어떤 영향을 미치는지 듣고 관찰해보면, 참 마음이 아프지만, 시장을 읽으려고 노력하는 학습자의 입장에서는 흥미롭고 신기하기까지 하다.

우린 기술 그 자체로 사업을 하는 deep tech 분야보단, 이런 기술을 기반으로 소비자 서비스를 만드는 온디맨드와 이커머스와 같은 생활 밀착형 서비스에 투자를 많이 하다 보니, 거시적인 흥미로운 트렌드가 보이긴 한다. 비대면 비즈니스인 이커머스 사업은 오히려 코로나바이러스 때문에 대부분 더 잘 되는 경우가 목격되는데, 너무 잘 되는 회사는 오히려 제조와 공급이 시장의 수요를 못 맞추는 현상을 경험하기까지 한다. 실은, 이런 많은 회사가 코로나바이러스 전에는 없는 수요를 어떻게 만들까 하는 고민을 정말 많이 했는데, 이렇게 바이러스 때문에 상황이 며칠 만에 역전되는 걸 보니 참 신기했다. 이와 반대로, 수요와 공급을 연결해주는 온디맨드(O2O) 또는 마켓플레이스 사업 중 오프라인 과정이 조금이라도 있으면, 막대한 타격을 입고 있는 걸 목격하고 있다.

여행 또는 오프라인 이벤트가 사업의 핵심인 우리 투자사들은 매출과 모든 수치가 거의 100% 감소해서, 그동안 수년 동안 갈고 닦은 비즈니스 자체가 사업 초반으로 리셋되는 좋지 않은 경험을 하고 있다. 이와는 극적으로 다르게, 인터넷으로 콘텐츠를 판매하고 배포하는 회사들은 역대급 호황을 누리고 있다. 나도 참 안타깝다. 작년 12월과 올해 1월 역대 최고 매출과 실적을 달성해서, 올해 정말로 크게 성장할 거로 예상되는 투자사들이 몇 있었는데, 2월부터 모든 수치가 곤두박질하면서, 이젠 생존을 위해서 몸부림치는 현실을 직면하고 있어서, 옆에서 이들을 보는 나도 참 애가 탄다.

그 누구도 이런 성장 또는 감소를 예상하고, 이에 대비하고 준비해서 만들어진 결과가 아니다. 코로나바이러스는 우리가 전혀 예측하지 못했고, 그래서 컨트롤할 수 없는 블랙스완인 셈이다. 하지만, 창업가들은 코로나바이러스만을 탓해서는 안 된다. 사업이 안 되고, 숫자가 좋지 않고, 모든 상황이 비즈니스에 불리하지만, “코로나 때문에”라는 생각을 하고, 우리 비즈니스가 잘 안되는 가장 크고, 어쩌면 유일한 이유가 코로나바이러스라는 생각을 하는 순간, 모든 창업가에게는 앞으로 더 내려갈 일밖에 남지 않았기 때문이다. 실은, 코로나바이러스 때문이 맞고, 코로나바이러스를 욕하고 탓하는 게 맞다. 이게 아니라면, 1월에 10억 원 매출하던 회사가 어떻게 2월, 3월 99% 감소한 1,000만 원밖에 못 할까? 그래도 우린 무조건 코로나바이러스만을 탓하면 안 된다. 컨트롤 할 수 있는 일에만 집중하면서, 이 개판 와중에도, 우리가 조절해서 조금이라도 상황을 개선할 수 있는 작은 것들을 찾아서 계속 실험해야한다. 코로나 때문에 어쩔 수 없다는 생각을 하는 순간, 어쩌면 마음은 편해지겠지만, 현실은 정말 절망적으로 변한다.

실은, “코로나 바이러스 때문에…”라는 말은 VC들도 요새 많이 하는걸 들었다. 투자하기로 했고, 악수도 했고, 계약 작업을 해야 하는데, 코로나바이러스 때문에 투자 철회하는 걸 이미 몇 번 봤고, 앞으로 이런 일이 더 많이 발생할 것이다. 실은, 투자자들한테도 가장 쉬운 변명이다. 코로나바이러스 때문에 세계 경제가 불확실하고, 돈줄을 잡고 있는 LP들이 돈을 안 풀고 등등, 뭐 이유는 그냥 만들면 된다. 하지만, 이건 정말 무책임한 태도다. 투자하겠다고 악수했으면, 무조건 투자 집행해야 한다고 난 생각한다. 정말 힘들면, 코로나바이러스 말고 다른 합당 하고 이해 갈만한 이유를 제공해줘야한다. 모든 걸 코로나 탓 하는 태도는 정말 아닌 거 같다.

다시 한번 강조하고 싶다. 코로나를 탓하는 건 만병통치약은 아니다. 이럴수록, 컨트롤 할 수 있는 부분에 집중해서, 할 수 있는 모든 걸 해봐야한다. 컨트롤할 수 없는 일에 대해서는? 이건 정말 어쩔 수 없다. 그냥 한번 크게 웃자.

<이미지 출처 = Pixabay>

동작의 시각화

By in Uncategorized 1 Comment Tags: , ,

1585723679874전에 내가 ‘이미지 트레이닝‘이라는 글을 올린 적이 있다. 몸으로 뭔가를 직접 하는 게 가장 효과적이지만, 관찰과 집중이 여기에 가미되면, 훨씬 더 많은 걸 배울 수 있고, 아무 생각 없이 몸으로 연습하는 것보다 집중해서 관찰하고, 그리고 연습을 많이 하면 학습효과가 훨씬 더 향상된다는 내용이다. 쉽게 말하면, 우리가 흔히 말하는 이미지 트레이닝은 정말로 과학적으로 효과가 있다는 뜻이다. 이와 비슷하면서도, 조금은 더 진보된 내용을 얼마 전에 읽었다. 스탠포드 대학 생체공학과 교수 Krishna Shenoy 팀이 연구한 바에 의하면, 우리가 흔히 말하는 “Practice makes perfect”를 더 정확하게 표현하자면, “Mindful practice makes perfect”가 맞다고 한다.

무슨 말이냐 하면, 농구공을 슈팅하기 전에 마이클 조던이나 코비 브라이언트와 같이 공을 던진다는 생각을 머리에서 한 번 하고, 공을 던지면 어떤 궤도를 그리면서 바스켓 안으로 들어갈지를 시각화하고, 그리고 공을 던지면 들어갈 확률이 더 높아진다는 뜻이다. 그리고, 골프 퍼팅을 하기 전에 타이거 우즈가 긴 퍼팅을 했을 때의 모습을 시각화하면, 공이 홀에 더 가깝게 갈 확률이 높아진다는 뜻이다. 이미지 트레이닝에 대해서 한 번이라도 생각해봤다면, 이게 너무나 당연하게 들리겠지만, 실은 신경과학적으로는 이게 상당히 새로운 이론이라고 한다.

원래 과거의 이론들은 몸을 잘 움직이기 위해서는, 같은 동작을 반복하는 연습 과정 자체가 가장 중요하다고 주장했는데, 이 팀의 연구에 의하면, 몸이 어떤 동작을 하기 위해서는 뇌가 여러 가지 배움의 과정을 거치는데, 이 과정에서 뇌는 실제 신체 운동이 일어나기 전에 어떤 일이 일어나는지에 훨씬 더 민감하게 반응한다고 한다. 그래서, 실제 신체 움직임이 일어나기 전에 그 움직임을 시각화하는 게, 그 동작을 여러 번 반복 연습하는 거보다, 효과적이라는 결과가 실험을 통해서 밝혀졌다고 한다. 원숭이를 대상으로 진행한 이 실험에 대해서 더 잘 알고 싶으면, 이 논문을 읽어보면 된다.

기존 신경과학 분야에서는 특정 신체 움직임이 일어나는 순간에 그 움직임에 대한 뇌와 근육의 행동에 의해서 움직임이 향상되는 이론이 더 설득력이 있었지만, 이번 실험을 통해서 증면된 건, 신체 움직임이 일어나기 전에 뇌에서 일어나는 학습과 이미지 트레이닝에 의해서 동작이 개선되고 향상된다는 사실이다. 타이거 우즈가 퍼팅 연습하는 시나리오를 여기에 적용해보면, 첫 번째 퍼트가 심하게 빗나가면, 머리로 충분히 생각할 시간을 주지 않고, 그냥 몸으로만 계속 같은 퍼팅을 하는 것보단, 한 번 퍼팅하고, 머릿속에서 다음 퍼팅을 어떻게 할지에 대해서 충분히 생각하고 퍼트를 시각화하고, 그 이후에 다시 퍼팅하면, 홀에 넣을 확률이 더 높아진다는 뜻이다.

준비하는 과정이 뇌의 학습에서 가장 큰 부분을 차지한다고 하는 이 새로운 결과는, 운동선수나 예술인이 완벽해지기 위해서는 무작정 연습하기보단, 그 전에 연습해야 하는 동작을 머릿속에서 시각화해서, 마음이 몸이 할 동작에 대해서 생각하고 준비할 시간을 더 줘야 한다는 걸 의미한다. 이게 사업에도 적용될 수 있을진 모르겠지만, 어쨌든, 뭔가를 하기 전에 항상 머릿속에서 시각화하고 이미지 트레이닝을 먼저 하는 게 중요한 거 같다. 물론, 이와 동시에 반복적인 연습도 같이하면 훨씬 도움이 된다.

<이미지 출처 = 크라우드픽>

선택, 결정, 그리고 책임

By in Uncategorized No Comments Tags: ,

주말에 TV 리모컨을 이리저리 돌리다가, 어벤져스 인피니티워를 상영하길래, 이미 두 번 봤지만, 또 봤다. 슈퍼히어로물 치곤 이야기가 꽤 복잡해서 세 번째 보니까 또 새로운 것들이 보여서 여전히 재미있게 보긴 했는데, 이 중 오늘 글과 관련된 건 닥터스트레인지의 5번째 스톤이다. 타노스가 아이언맨을 죽이려고 하자, 닥터스트레인지가 5번째 스톤(타임 스톤)을 넘겼고, 이 타임스톤으로 시간을 되돌려서 6번째 스톤까지 얻은 후에 지구를 파멸시킨다. 아이언맨이 닥터스트레인지한테 왜 스톤을 타노스에게 줬냐고 원망하니까, “There was no other way(=다른 방법이 없었어 또는 선택의 여지가 없었어)”라는 말을 했다. 이 말을 들으니까 얼마 전에, 내가 아는 분이 오랫동안 시도하던 일을 갑자기 중단했고, 내가 계속하지 왜 그랬냐고 물어보니, “선택의 여지가 없어서” 그렇게 할 수밖에 없었다고 한 일이 생각났다.

“선택의 여지가 없다” – 생각해보면, 우리는 이 말을 너무나 자주 하고, 너무나 자주 듣는다. 이 분을 비롯해서 올해만 해도 이미 나는 이 말을 주위에서 너무 많이 들었다. 전에 나도 이 말을 습관처럼 하긴 했는데, 어느 순간 부터 의도적으로 잘 안 하려고 한다. 왜냐하면, 누구나 다, 그 어떤 상황에서든, 엄밀히 말하면 선택의 여지는 있지만, 우리가 특정 선택을 한 것이다. 주로, 내 의지와는 반대의 선택을 했을 때 대부분의 사람은 “선택의 여지가 없었다”라는 말을 하는걸 나는 자주 경험했다. 인피니티워에서 실은 닥터스트레인지는 미래를 봤기 때문에, 그리고 그나마 최선의 선택은 타노스한테 스톤을 주는거라서 그렇게 선택을 한 것이다. 선택의 폭은 좁았지만, 나름 최선의 선택을 한 것이다. 이게 맞는 선택인지, 틀린 선택인지는, 시간만이 알려 줄 것이다. 하지만, 어쨌든, 선택의 여지는 있었다.

모든 게 이와 비슷하다고 생각한다. 인생은 결정의 연속이고, 상황이 아무리 나빠도, 모든 결정에는 선택의 여지가 항상 있다. 쉬운 선택도 있고 어려운 선택도 있지만, 어쨌든 옵션은 있으니 신중하게 선택을 하고 그 선택에 대해서는 책임을 져야 한다. 오히려, 선택의 여지가 없었다라고 하는 말은 책임을 회피하거나 좋은 게 좋은 거라는걸 합리화하기 위한 변명인 거 같다.

선택의 여지는 항상 있다. 더 많은 사람들이 “선택의 폭은 좁았지만, 선택의 여지는 있었고, 나는 선택을 했고, 이 선택에 대한 책임은 오롯이 내가 진다.”라는 말을 했으면 좋겠다.

과학적 접근

By in Uncategorized 2 Comments Tags: ,

15855218523302월 초에 읽었던 기사 중, 구글이 어떻게 구글만의 방식으로 직원들의 식습관과 건강을 개선하기 위해 노력하고 있는지에 대한 내용이 있었는데, 꽤 긴 미디엄 글이긴 하지만, 정말 재미있고, 유용하니, 관심 있는 분들은 읽어보시면 좋다.

글 전체를 번역할 순 없지만, 여기서 내가 이해했던 내용을 좀 공유해보고 싶다. 이 분야에서 일하는 분들은 구글 식당에서 실제로 밥을 먹어봤거나, 아니면 먹어본 친구나, 친구의 친구가 있을 것이다. 요샌 웬만한 실리콘밸리 회사에는 직원 혜택과 복지를 위해서 무료, 또는 매우 저렴한 구내 식당이 다 있지만, 2000년 도 초반에만 해도 이게 일반적인 건 아니었고, 어떻게 보면 구글이 시작한 거라고 할 수 있다. 지금은 구글 구내 식당에서 밥 먹은걸 페이스북에 올리면서 자랑하는 사람이 거의 없을 정도로 너무 일반적인 게 됐지만 – 그리고 페이스북과 같은, 그 이후에 창업된 회사는 더 좋기 때문에 – 몇 년 전만해도 실리콘밸리 구글 본사에서 밥 먹은 내용을 소셜미디어에 올리는 사람이 정말 많을 정도로, 구글의 구내 식당은 맛있었고, 획기적이었고, 그냥 쿨 했다.

많은 구글러들이 구글을 그만두지 못 하는 가장 큰 이유 중 하나로 구글의 공짜 음식을 손꼽는다. 특히, 맛도 좋지만, 건강하고, 건강한 음식은 맛이 없다는 개념을 깨기 위해서 구글만의 방식으로 다양한 시도를 하고 있다는 게 이 기사의 핵심이다. 음식을 맛있게 요리하기 위한 노력도 엄청나게 하고 있지만, 음식은 입으로 들어가기 전에 먼저 눈으로 보기 때문에, 음식을 프레젠테이션 하는 방법에 대해서도 체계적이고 반복적인 실험을 지금도 계속 하고 있다.

예를 들어, 구글의 뉴욕 사무실 카페는 다른 회사 식당과 똑같이 생겼지만, 자세히 보면 접시의 지름이 25㎝다. 이는 보통 식당에서 사용하는 30센티미터 접시보다 작다. 그리고 부페 줄의 시작부분에는 항상 채소가 있는데, 고기나 디저트에 도달할 시점에는 접시 자체가 가득 찼기 때문에, 고기 섭취가 자연스럽게 줄어들도록 설계해놨다. 구글에서 제공하는 부리또의 무게는 283g인데, 이는 치포틀레와 같은 식당에서 제공하는 부리또 무게보다 60%나 가볍다. 이 모든 게 우연히 설계된 건 아니다. 구글만의 체계적인 방법으로 마치 소프트웨어를 만들고 A/B 테스팅을 하듯이, 식당에서 다양한 테스팅을 해서, 가장 맛있는 음식을, 가장 건강하게, 구글 직원들에게 제공할 수 있는 공식을 만든 노력의 결과이다.

간식거리에도 구글은 이런 시도를 한다. 휴게실과 카페에 있는 커피머신에서 커피가 만들어지는데 걸리는 시간은 40초인데, 이 40초 동안 대부분의 사람이 아무것도 안 하고 기계 주변에서 기다린다. 아주 위험한 40초라고 하는데, 이 시간 동안 눈에 보이는 주전부리는 손으로 막 집어서 먹기 때문이다. 원래는 커피기계 주변에 쿠키, 초콜릿, 과일 등이 있었는데, 대부분 사람은 시각적, 심리적인 이유로 과일보단 몸에 좋지 않은 과자나 초콜릿을 선택한다. 그래서, 구글은 커피기계로부터 간식거리를 조금 더 멀리 배치해봤다. 원래는 2ｍ 반경 안에 있었는데, 이걸 5ｍ로 재배치 했고, 실은 4걸음 밖에 차이가 안 나지만, 간식 소비 확률이 거의 20%나 감소했다. 대부분의 구글러가 하루에 커피 3잔을 먹는다는 걸 고려하면, 이렇게 간단한 변화만으로 체중조절과 비만감소에 지대한 효과가 발생할 수 있다는 뜻이다. 이 실험에서 얻은 데이터를 기반으로, 전 세계 구글 카페에서 간식거리를 커피기계에서 멀리 배치했고, 대신 가까운 곳에 싱싱한 과일 바구니를 배치했다. 음료수도 비슷한 방법으로 재배치 했다. 휴게실이나 카페에 있는 냉장고 유리문의 하단은 반투명 처리를 했고, 이 부분에 설탕이 많이 들어간 음료수를 배치하고, 투명한 유리문을 통해서는 물이 보이게 했다. 물론, 탄산음료가 냉장고 안에 있다는건 모두 다 알고 있지만, 이렇게 하면 탄산음료 대신 물을 더 많이 마시는 결과가 만들어 진다.

실은 이런 체계적인 방법을 통해서 구글러들의 건강이나 체형에 어떤 긍정적인 정량적인 효과가 발생하고 있는지에 대한 내용은 이 글에 없었지만, 분명히 이런 데이터 또한 구글에서는 관리하고 있을 것 같은 생각이 든다.

구글이 한 건 단순히 건강한 음식의 맛과 질을 향상한 게 아니다. 구글은 거의 20만 명 되는 직원을 대상으로 1년 253일, 하루에 3번, 살아있는 체계적인 실험을 하고 있다. 그러면서 빠른 product iteration을 통해서 전 세계가 사용하는 소프트웨어를 만들듯이, food tech 분야에서도 큰 영향을 미치고 있다. 과학적 접근이라는 말을 우리는 좋아하는데, 음식 분야나 다른 soft한 분야에도 이런 과학적 접근이 많이 시도되길 바란다.

<이미지 출처 = 크라우드픽>

«< 106 107 108 109 110 >»