[lecture] DataDay@선릉 세번째 (data analysis for actions)

Subject	데이터를 접근해서 체계적으로 쌓고 이를 활용해서 인사이트를 얻는 데까지의 데이터 활용 프로세스의 전반적인 내용에 대한 다양한 주제의 발표로 이루어집니다.
Place	D.CAMP 6th Fl.
Time	November 18, 2014 (Tue) 19:30~21:30
Speaker	[meeting: link] 고객 관리를 위한 오퍼링 효과 분석 (권정민,데이터 분석가) Strata+HadoopWorld NY 2014 트위터로 둘러보기 (엄태욱, 데이터 프로그래머) 스타트업을 위한 지표 - 기본 개념과 활용 (서하연, 지표 전문가)
Host	twitter@DataDay_Seoul
Focus	data analysis for actions

1. Strata+HadoopWorld NY 2014 트위터로 둘러보기 (presentation slide: link) [엄태욱, Data Programmer]
1. lesson
1. coding in data science
1. data scientists need to solve problems through data analysis and data coding
2. knowing how to code prevents faking data (read Faking Big Data #strataconf)
2. empathic data interpretation: “walk in your data’s shoes” by @jeggers
3. prompt usage of data: data needs to be utilized on collection when they are fresh
4. behavior over identity: “Nowadays it’s not your identity that’s being tracked, it’s your behavior.” by Rachel Kalmar (@grapealope)
5. users over data: “Focus on your users first, then your data.” by Emil Ong (@OngEmil)
2. personal takeaway
1. be user-oriented
2. coding is required for data science

2. 세바시 429회 데이터로 세상이 다시 한번 바뀝니다 (YouTube video: link) [하용호, Data Scientist @SKT]
1. lesson: attention is the rarest resource and being able to match with that attention is the advantage a company will have
2. personal takeaway: provide useful action items to users as soon as users find you

3. 지표의 개념과 활용 (presentation: link) [서하연, CEO @Alex & Company]
1. lesson:
1. KPI = 지표 (key performance indicator); 1~2개의 숫자로 어떤 상태를 알려줌
1. 개념
1. key: 핵심 (the number of KPI is handful amount)
2. performance: 성과
3. indicator: 상태 like litmus paper
2. e.g. BMI
2. 지표의 작동 메커니즘
1. 좋은 지표는 현상을 잘 설명하고, 사람의 행동을 바꿔야 함
2. 지표: 활동을 숫자로 나타낸 것
1. 활동의 예: 수동 집계, 시스템 카운트, 로그 가공, 숫자 아닌 경우도 있음
1. e.g. 직원의 성실도: 기준 (e.g. 지각 정도)
2. 숫자로 표현되면서 일어나는 일: 객관화 (크고 작음이 명확해짐, 공통의 기준이 생김), 비교 (지표 공유가 활발해짐, 지표를 평가 도구로 사용하게 됨)
3. 지표에 평가가 연계될 때, 지표는 행동을 변화시킨다!
1. 활동 (업무, 전략)-> 수치화 (표현, 객관화) -> 비교 -> 평가
2. e.g. “숫자 피드백은 인간의 행동을 바꾸는 수단"- 토마스 괴테
3. Appendix
1. 숫자가 우리를 원하지 않는 방향으로 이끌기도 함
1. 숫자 (친구 수, 좋아요 수/조회 수)-> 반응 (좋아요 얼마나 받는 지 체크함)
2. Facebook Demetricator 벤자민 그로서
1. 효과: 핵심에 집중할 수 있었음
4. negative case: “매출”을 지표로 잡았더니, 주문 조작과 물량 푸쉬가 일어나기 시작
5. positive case: “해결 건수"에서 “혜택 받는 시민의 수"로 지표를 바꿨더니 시간 걸리더라도 어려운 일 처리
3. 지표를 완전하게 하는 것들
1. #1. 목표값:
1. 숫자가 목표를 만날 때, indicator가 됩니다.
2. 목표값은 무엇을 언제까지 실행할 지 결정하는 데 도움을 줍니다.
3. 지표는 스타트업 특성 상 수시로 변경되는 비즈니스 모델과 전략의 기준이 된다. e.g. Uber의 KPI (가동률 (%)-> 언제까지? 목표값 (60%))
2. #2. 관련지표:
1. KPI는 장기판의 말과 같습니다. (혼자서 돌아다닐 수는 있지만 이길 수는 없어요.)
2. 단일 업무에는 하나의 KPI를, 전략 실행을 위해서는 KPI set이 필요
3. e.g. Uber- 다운로드 수-> 활동유저 수-> 승차 유저 수-> 추천 유저 수
3. #3. 디멘젼 (쪼개서 보기)
1. 지표는 대표값입니다. 활용을 위해서는 피팅이 필요합니다.
2. 데이터를 확보할 수 있다면 대표값 활용을 피하고 쪼개서 보세요.
3. Appendix: “평균적인 가정에 기초한 계획은 평균적으로 잘못된다" - Sam Savage
1. meaning 지표는 현상을 설명하기 어려움
2. 세상의 대부분은 정규분포가 아님
4. 완전체가 된 지표의 모습
1. before: 승차 유저 수 4,351명
2. after: (디멘젼 분석: 지역별 승차유저 수 파악) 다운로드 수 - 활동유저 수 - 승차유저 수
1. e.g. 지난 주 TV 광고가 효과가 있어서 다운로드 증가하고 승차 유저도 늘었구나, 광고 타켓 고객이 많은
3. 허상 지표도 완전체가 되면, 쓸모가 있게 됨
5. 지표와 데이터 분석의 관계는?
1. 선행지표 분석, 이탈 분석
2. personal takeaway: concept of KPI, importance of 완전체 KPI and connection to related and relevant KPI

4. 고객 관리를 위한 오퍼링 효과 분석- 과연 ‘이게’ ‘제대로" 먹혔을까? [권정민 cojette@gmail.com, Data Analyst @SK planet]
1. lesson
1. offering 개념: classical strategy of CRM 즉 프로모션/이벤트 (예. 쿠폰, 찌라시)
1. 5W 1H: 타겟 고객들에게 (who) 적절할 때 (when) 우리 서비스/매장에서 (where) 적절한 benefit을 (what) 가능한 방법으로 (how) 제공; 목적 (why)은 LTV 증가/신규 고개 유입/이탈 고객 방지/서비스 인지도 상승
2. 적용: 고객을 분류-> offering 차별화
2. 기본 고객 관리
1. 고객의 전반적인 lifetime 영향을 미치는 속성 구분 (e.g. 빨리빠져나갈 사람)
2. 관련 데이터 수집 (e.g. 어떤 dungeon에선 이탈이 심함)
3. 지속적인 모니터링 및 현 상황에 대한 고객 관리 목표 설정
3. targetting
1. 목적 종류 (신제품 추천, 신규 고객 유도, 이탈 예상 고객군 관리 등)에 해당하는 고객군 생성 및 분류
2. 기본 속성(인구통계학 정보) 및 과거의 로그 데이터를 통한 고객군 생성
1. e.g. 서울 지역에선 먹히는 데, 타 지역에선 먹히지 않음
3. basic selection (rule-based: e.g. DOB, 20~30 women), classification, clustering,
4. campaign
1. 각각의 고객군에게 적합한 혜택을 제공함으로써 해당 목적에 도달할 수 있도록 함
1. e.g. 프로모션, 이벤트 등을 통한 특별한 혜택 제공 (e.g. 나가려는 유저에게 쉬운 monster 제공)
2. 제공할 campaign의 효과 및 고객군과의 적합도 등의 파악 + 예측 필요
5. multivariate testing (similar to A/B testing)
1. 초반 피크가 이후에까지 영향을 준다고 볼 수 없으나 장기적인 관측 필요 (e.g. 쿠폰은 일회성)
2. campaign 속성이 매번 변하므로 지속적 활용 어려움
6. 캠페인과 서비스 변경- 지속성
1. 일회성으로 끝나는 건 아닌가?
2. campaign 효과를 보기 위해 오래 기다릴 수 없는데?
3. 캠페인 안해도 상관없는 것?
4. 대조군을 만들 수 없는가?
5. 한꺼번에 여러 종류 campaign 진행해야 되는데?
7. use CausalImpact: Github link, Google uses R to calculate ROI on advertising campaigns,
2. personal takeaway: study new tool for offering evaluation (multivariate test + time-series causal analysis (CausalImpact: 시계열 분석))

[lesson] "The Data on Diversity: It’s not just about being fair" by Beryl Nelson

source: 
http://cacm.acm.org/magazines/2014/11/179827-the-data-on-diversity/fulltext
http://rule-of-one.blogspot.kr/2014/10/the-data-on-diversity-its-not-just.html

lesson: 

1. create heterogeneous work environment or at least acknowledge benefits of diversity: 
• "Social scientists have shown that teams and organizations whose members are heterogeneous in meaningful ways, for example, in skill set, education, work experiences, perspectives on a problem, cultural orientation, and so forth, have a higher potential for innovation than teams whose members are homogeneous." 
• "Diversity is important to organizations that innovate, but the culture of an organization determines whether minority members of the community can thrive." 
2. be aware of my bias and unlearn them: "Know your own biases. Read some of the literature about unconscious bias and about the IAT, and then take the Implicit Attitude test5 at https://implicit.harvard.edu/implicit/."
• after taking this IAT (Implicit Aptitude Test), learned that I'm a little bit biased towards the relationship between weight and positivity. [link] 

[my note] "The Best Recruiter at Google" by Laszlo Bock (SVP, People Operations at Google) at Talent Connect San Francisco 2014

<video source: link> 

Below is what I learned from this talk; almost all of them are not my words but Laszlo's. Bolded texts are personal key lessons from this talk.

1. set a high bar for quality … and never compromise 

2. assess candidates objectively… science FTW

• no names before resume screening
• 4 criteria of a Google interview
• general cognitive ability: how well someone can solve problems, how curious they are, and how fast they can pick new things up
• leadership: no titles and management necessary; emergent leadership!
• when they see a problem when they are a member of a team, and they see the problem and step in, help solve the problem but just as importantly as soon as the problem is resolved, they step back out; they are willing to relinquish power
• Googleyness: are they comfortable with ambiguity, do they have intellectual humility (i.e. able to say, "I was wrong" when presented with new data and change their positions), bring something new and different to our mix/organization 
• role-related knowledge: do they actually have skills and knowledge to do the job we’re hiring them for
• provide clear criteria to look for
• define what best, mediocre and bad examples
• structured interviews: consistent set of questions
• situational questions: hypothetical questions ("what would you do, why did you do that, what else would you do, why would you take other actions")
• behavioral questions: describe prior achievements
• "give me an example of an incredibly difficult problem you solved, tell me more"
• what candidates consider challenging or exemplifying that attributes and how to directly relate back to the job 

3. give candidates a reason to join

[lecture] Data Analysis on Clouds by Jun Sup Lee (이준섭, KT/SW개발센터장)

Title	Data Analysis on Clouds
Place	KAIST Dogok Software Grad School Chin’s AMP Hall 103-ho
Time	October 30, 2014 5PM~6PM
Speaker	Jun Sup Lee (이준섭, KT/SW개발센터장)
Organizer	KAIST Software Graduate Program
Focus	KT's cloud solution,

I.       Message

1. impact of disruptive technology: after industrial revolution, many people lost jobs; likewise, after self-driving car, many taxi drivers may lose jobs as well
2. reason behind Google's Map business involvement: Google wanted to know where people live perhaps because the company local marketing piece of ad was missing in its product and revenue stream portfolio
3. data analysis process and examples on clouds
1. general rule of thumb: create summary-> mine data-> select machine learning method -> ?
2. ad display logic: cluster similar behaviors when ads are shown to users-> display similar ads matching the cluster
3. movie recommendation logic: vector -> choose similar users-> recommend similar movies
4. lesson from Melon: need to discern data's end results such as how users would response to product of data analysis before developing data analysis product e.g. users only care for top 10 rankings instead of relevant music to their tastes
4. new lingo: ETL (extract, transform and load)

II.      My Takeaway

1. need to work on jobs that will survive in 10 to 20 years
2. think end results before development

[lecture] 디지털 교육의 현황과 미래 - KnowRe의 미국시장 진출 사례를 중심으로”<-(translation: the present and future of digital education - a focused example on KnowRe's U.S. market launch)

Title	"디지털 교육의 현황과 미래 - KnowRe의 미국시장 진출 사례를 중심으로” (translation: the present and future of digital education - a focused example on KnowRe's U.S. market launch)
Place	KAIST Dogok Software Grad School Chin’s AMP Hall 103-ho
Time	October 23, 2014 5PM~6PM
Speaker	김서준(Simon Seojoon Kim),  노리(KnowRe)/부사장(Co-Founder & Chief Product Officer)
Organizer	KAIST Software Graduate Program
Focus	digital education

I.       Message

1. In math, each problem acts like a stepping stone for the next place
1. “Each problem that I solved became a rule, which served afterwards to solve other problems.”- Descartes
2. finding a pattern: knowledge unit, example and explanation video for each unit, content matrix for entire knowledge unit
1. knowledge unit (interpretive; formulaic: formula; computational)
2. knowledge chain
3. math problem
4. knowledge matrix
3. business development process
1. market research: market penetration in the U.S., blended learning (e.g. 47% in 2014, expecting 98% in 2020)
2. market voice: received feedback at NCTM 2012 Philadelphia
1. positive feedback: met 200 teachers, received positive feedback “want to use at school” from 84% of interviewed teachers
3. hiring: interviewed and found a US rep person at NCTM 2012 Philadelphia
4. investment: K Startup funding -> series A round funding from SoftBank Ventures Korea
5. business type: game company-like business
1. content gathering takes first before anything else
6. recognition
1. education field:  NYC DOE Gap App Challenge (1st place)
2. media: Fast Company, the world’s top 10 most innovative companies in education
7. pilot program: selected 37 out of 150 school applications, receiving 87% satisfaction
8. risk management: dealt with teachers’ concern on “no-teacher needed?” question by providing improved engagement between through dashboard (i.e. check progress status)
4. reason for choosing U.S. market: learned that societal consensus for the solution is important
5. vision for digital edu: being able to provide contents customized for individual students
6. market expansion plan: global market opportunity of B2B (schools) and B2C (students/parents) from the U.S. to East Asia
7. business model: focus on schools in the U.S., direct-consumers in Korea, Japan and China
8. role of class: information sharing and supplemental support from teachers

II.      My Takeaway

1. Like solving a math problem or learning anything, each problem/challenge acts like a stepping stone for the next progress; thus, work hard to master each step as they approach
2. KnowRe's attempt to create a content matrix platform where knowledge of STEM (science, technology, engineering, and math) is broken down to small knowledge unit and each unit is connected to each other can become the next Google's Knowledge Graph initiative to organize the world's information

[info] 정보 패턴 분석=> 연관성 도출=> 의사 결정 활용=> OKR

<source: http://premium.chosun.com/site/data/html_dir/2014/10/19/2014101902729.html?outlink=facebook> 
정보의 패턴을 분석해 연관성을 가져오고, 이를 의사 결정에 활용하는 빅 데이터 활용 좋아요.
1. 미국 샌프란시스코시 범죄 지도: 8년간 발생한 200여 종 범죄로부터 범죄 유형과 발생 지역 분석 => 경찰력 효율적 배치 => 범죄 예측 정확도 70%
2. 구글의 독감 트렌드: 전 세계 이용자 독감 관련 검색 실태 분석 => 해당 국가/지역 실제 독감 창궐 시기 예측 => 독감 예측과 실제 발생 일치
3. 빅 데이터를 활용한 식중독 예방: 12년간 부산,울산,경남 식중독 발생 이력, 원인균, 지역, 발생 음식, 날씨 분석 => 기숙사 유무, 지하수 사용 여부, 쓰레기 소각장 식당 거리 자료에 따른 학교 선정 예방 컨설팅 => 올 상반기에 작년 대비 식중독 환자 수 69.2% 줌

[HCI Trends 02 2014] for inclusive design, be the disabled instead of think disabled

Lesson learned from reading HCI Trends 2014 02



title: 장애인과 UX
author: 문태경 (이언인사이트 수석연구원, moontk@aeoninsight.co.kr)
my takeaway: for inclusive design, people involved with product development need to actually role-play the disabled instead of thinking as a disabled
"내가 장애인이라면 이라는 생각을 갖고 개발하지 말고요, 장애인이 돼서 개발을 하면 쉬울 거예요. 저 사람은 목 밖에 안 움직이니까 이렇게 하면 쉽지 않을까가 아니라, 직접 목만 움직이면서 입에다가 터치 펜을 물고 해 보면 어떤 게 더 편하다, 어떤 게 더 불편하다, 정확하게 알 수 있겠죠." - 지체 장애그룹 FGI 중에서