1부-2

1부-2교시 김경성교수님

2026.01.09 금 오전 11:01 ・ 53분 15초

이해원

참석자 1 00:00이야기가 뭔지 아십니까? 바로

참석자 1 00:09오차 범위라고 그래요. 오차 범위 우리 오차 범위라는 말을 할 때 아나운서들이 뭐라고 얘기합니까?a 후보 72%, b 후보 73% 두 후보의 차이는 오차 범위 안에 있습니다.그게 무슨 뜻이죠? 오차 범위 안에 있습니다. 무슨 뜻이에요?예. 바뀔 수도 있단 말이야 오차 범위 안에 있고 바뀔 수도 있단 말이에요.얼마 안 오차 범위 밖에 있습니다. 그건 무슨 뜻이에요?바뀌기 힘들 정도예요. 오차 범위 밖에 있어요. 바꾸기 힘들어 차이 완전히 차이가 나는 거예요.그걸 통계적으로 분석하면 어떻게 어떻게 대답합니까?오차 범위 안에 있는 것은 통계적으로 의미 없는 차이예요.차이는 있지만 뒤바뀔 수 있는 차이를 통계적으로 의미 없는 차이라고 그래요.통계적으로 의미 있는 차이는 뭐죠? 오차 범위 바이에 그러면 보통 통계학에서는 보통 어떻게 얘기하죠?100번을 비교해 봐서 90 5번 이상 차이가 나야 차이가 난다고요 그럼 그것만 생각하시면 됩니다.

참석자 1 01:31통계적인 논문 가설 검증을 한다. 그럴 때 가설 검증의 기준이 뭐냐 오차 범위 안에 있느냐 오차 범위 밖에 있느냐 오차 범위는 누가 정해줘요?통계학자들의 계산으로 정해줘요. 여기까지가 오차 범위 안에 있는 거고 여기서부터는 오차 범위 밖에 있는 거야 하고 계산을 해줘요.그래서 항상 통계치는 뭐라고 나와요? p 값이 나와요 p 값이 나와서 p 값이 0.05보다 작으면 오차 범위 밖에 있는 거예요.거꾸로요. p 값이 0.05보다 크면 오차 범위 안에 있는 거예요.오차 범위 안에 있다는 말은 무슨 말이죠? 실제로는 차이가 있지만 바뀔 수 있는 차이예요.보통은 보통의 통계적인 검증은 95% 수준으로 잡습니다.그런데 우리 통계학 논문을 보면 95% 수준은 별이 하나, 99% 수준은 별이 둘, 또 99.9% 수준은 별이 3개, p가 0.001보다 작은 것은 별이 3개 이렇게 따져요.그건 이따가 설명을 하겠습니다.

참석자 1 02:48그러면 논문의 가설 검증을 할 때 가장 가설 검증에 많이 쓰는 것이 뭐죠?평균을 비교하는 겁니다. 티 테스트 아노바 이것이 가장 많이 써요.그럼 티 테스트를 한번 보도록 하겠습니다. 기본적으로 근무 평정 점수는 성별에 따라 차이가 있는가 이건 뭐죠?

참석자 1 03:20교무 평정 점수는 성적에 따라 차이가 있는가 잘 들리세요.김가연 선생님 잘 들리세요. 근무 평정 점수는 성별에 따라 차이가 있느냐?이게 무슨 뜻이냐 하면 남자의 점수와 여자의 점수가 차이가 있느냐 남자의 평균과 여자의 평균이 차이가 있느냐 남자의 평균과 여자의 평균이 통계적으로 차이가 있느냐 다시 쉽게 표현하면 남자의 평균과 여자의 평균이 오차 범위 안에 있느냐 오차 범위 밖에 있느냐를 찾는 거예요.그게 통계적인 의사결정이에요. 두 집 일단 평균의 차이를 통계적으로 의미가 있는지 없는지를 검증하는 통계 기법을 티 테스트라고 그래요.그 어떤 사람은 t 테스트를 t 검증 어떤 사람은 어떤 교수님은 t 검증 어떤 게 맞는 거죠?검정이 맞을까요? 검정이 맞을까요? 복잡하게 생각하실 건 없습니다.지도 교수님이 쓰시는 말이 맞는 거예요. 변수가 많으냐 변량이 많냐 배민이 많냐 변수가 많냐 변형이 많냐 지도 교수님이 쓰시는 거 쓰세요.

참석자 1 04:44그러면 티 테스트는 평균이 두 개 있을 때 그 차이를 비교하는 방법 통계적인 방법을 티테스라고 그러는데 원래 윌리엄 고셋이라는 사람이 자기가 만들었는데 대가들이 만든 앞에서 자기가 이런 걸 자기 이름을 써서 발표하는 게 좀 미안하니까 겸손하게 자기 이름을 스튜던이라고 적어놨어요.그래서 이 티테스트의 이름을 스튜던의 티테스트 이렇게 알려졌었습니다.그런데 하여튼 지금 요새 현대 사회의 통계 분석으로 가장 많이 쓰는 것 중에 하나죠.이 TTS 가정은 오후에 하고요. t 값이 한 집단의 평균은 82점, 또 다른 집단의 평균은 82점인데 1점 차이가 나요?어떤 주 집단은 평균이 75점과 87점인데 12점 차이가 나 어떤 집단은 850점과 평균이 850점과 225점, 625점의 차이가 나 어떤 차이가 가장 큰 차이일까 알 수가 없어요.원래 전체 점수가 몇 점인지를 알아야 상대적으로 알 수가 있잖아요.이거를 수 있는 알 수 없는 것은 언제부터를 비교하는 거랑 똑같아요.

참석자 1 05:58그러면 이 차이를 정확히 알려면은 이 차이를 표준화시켜야 돼요.이 세 개의 차이를 비교할 수 없는 이유는 어떤 집단에서 왔는지 모르기 때문에 비교할 수 없어요.이걸 비교하려면 이 차이를 표준화시켜야 돼요. t 검증을 하려면 꼭 필요한 것이 세 가지가 있습니다.t 값이 필요해요. 자유도가 필요해요. 자유도는 사례 수에 해당하는 겁니다.그다음에 p 값이 필요합니다. 통계 프로그램에서는 prob 프로버빌리티, 그다음에 시그니피컨스 프로버빌리티, t 프라버빌리티, f 여러 가지 말을 썼는데 전부 p 값이에요.p 값은 뭐죠? 통계적인 유효도 통계적인 유인도는 뭘 정하는 거라고요?오차 범위 안에 있느냐 오차 범위 밖에 있느냐 이걸 정하는 거예요.그러면 오차 범위 밖에 있다 하면 일률적으로 이렇게 얘기를 합니다.

참석자 1 06:56p 값을 해석할 때 p가 0.05보다 가거나 크면 통계적으로 갔다.아나운서 말로 하면 뭐라고 그래요? 오차 범위 안에 있다는 말이에요.요 위에 있는 건 오차 범위 안에 있다. 요 밑에 있는 거는 p가 0.05보다 작으면은 통계적으로 의미 있는 거 혹은 유의한 차이가 있다라고 얘기해요.이거는 오차 범위 밖에 있는 거예요. 오차 범위 밖에 있는 것은 p가 0.05보다 작아야 돼.이게 오차 범위 밖에 있는 거예요. 무조건 무조건 이거는 p가 0.05보다 작으면 끝에 종결 어미가 뭐라고 그래요?의미 있는 차이가 있다. 위에 것은 차이가 없다. 통계적인 검증은 뭐죠?차이가 있다 차이가 없다 둘 중에 하나예요. 아나운서 말로는 뭐죠?오차 범위 내에 있다. 오차 범위 밖에 있다. 아주 심플하고 간단합니다.그런데 복잡하게 별을 1개 붙이고 2개 붙이고 3개 붙였어요.왜 그랬을까 왜 별을 1개 2개 3개를 붙였을까 한번 생각해 보세요.

참석자 1 08:02여러분 작년 연말에 연기 대상 이런 거 나오죠. 옛날에는 가수상도 많이 했는데 요새는 그걸 잘 안 하는 것 같아요.연말 가수왕을 뽑는 특집 방송이 있었어요. 그러면 그 해에 노래를 제일 잘 부르는 사람 15명 정도 뽑아서 출연시킵니다.그 15명은 뭐에 해당하는 사람이죠? 바로 피 값으로 따지면은 키가 0.05보다 작은 사람이야.오차 범위 밖에 있을 정도로 노래 잘하는 사람 15명을 뽑았어.그중 15명은 나 노래 잘한다 하면 되는데 그 사람들을 등급을 매겨요.어떻게 등급을 매깁니까? 동상 은상 금상 대상 그랜드 프라이즈 그랑프리 이렇게 등급을 매겨요.잘하는 사람 가운데서도 등급이 있다는 것을 애써서 표현하는 말이 바로 별이 한 개 붙고 두 개 붙고 3개 붙는 거예요.그런데 별만 붙으면 뭐라고요? 아나운서 말로 오차 범위 밖에 있다.다시 말씀드려서 그 순위는 변하지 않는다.

참석자 1 09:15다시 말씀드려서 통계적으로 차이가 있다라고 얘기했죠.그러니까 우리가 통계적인 검증을 하면 결론은 어떻게 나와요?결론은 통계적으로 차이가 있다 혹은 없다. 통계적으로 차이가 없으면 무슨 뜻이에요?항상 휴리가 바뀔 수 있어요. 남녀 간의 차이를 통계적으로 차이가 있다.없다. 통계적으로 차이가 없다. 그러면 어떤 때는 남자가 조금 자랄 수도 있고 여자가 조금 자랄 수도 있어요.그렇지만 그 차이는 미미하기 때문에 언제든지 뒤치락엎지 엎치락뒤치락 해요.그런데 p 값이 0.05보다 작으면 항상 그 방향으로 차이가 있다라고 결정을 내리는 겁니다.지금 여러분들에게 보여드린 지금 요 p 값의 정의는 오늘 제가 강의하는 모든 강의에서 똑같아요.이 원칙 하나밖에 없어요. 그런데 이거를 똑같은 것을 어렵게 너무 어렵게 강의하고 있어요.또 나가봅니다.

참석자 1 10:20독립표본 t 검증은 뭐냐 지금 얘기한 게 독립표본 t 검증증 두 개의 서로 다른 표본에서 나온 평균을 비교하는 거예요.어느 반에서 남학생 여학생을 나눠서 남학생 평균 여학생 평균 이걸 비교해 보는 거예요.이거를 독립 표본 t 검증 우리가 보통 얘기하는 t 검증이라고 그래요.또 하나의 t 검증은 종속 표본 t 검증이라고 있어요.같은 집단을 두 번 측정해 보는 거예요. 그러니까 한 번 시험을 보고 나서 중간에 새로운 교수법으로 학생들을 가르친 다음에 또 시험을 봤어요.그래서 그 교수법의 효과가 있는지 없는지 비교하려면은 사전 검사와 사후 검사를 비교해 보는 거예요.그런데 사전 검사와 사후 검사는 뭐죠? 똑같은 사람에게 실시한 거예요.이걸 보고 뭐라고 그러냐면 반복 측정 혹은 종속 표본 t 검증 혹은 대응 표본 t 검증이라고 이야기합니다.

참석자 1 11:25t 검증 상황을 전형적인 t 검증 상황을 보면 성별에 따른 근무 평정 점수의 변화 남자 평균 여자 평균을 보는 거예요.또 강남과 강북에 사는 학생들의 영어 성적의 차이 강남 영어 성적 평균, 강북 영어 성적 평균을 비교해 보는 거예요.이렇게 두 개의 평균을 비교해 보는 겁니다.

참석자 1 11:50연구를 위해서 변수 설정을 해보면 이와 같은 남자의 근무 평정 점수와 여자의 근무 평정 점수의 차이를 연구한다.그러면 뭐가 필요해요? 종속 변수는 근무 평정 점수고 독립 변수는 사원의 성별입니다.남자 혹은 여자예요. 이 t 검증을 위해서 필요한 통계치는 두 개 집단의 평균과 표준편차 그다음에 자유도 그다음에 계산된 t 값에 대한 통계적인 유의도 p 값 뭐가 필요하다고요?평균 표준편차 두 집단의 평균 표준편차 자유도 그다음에 계산된 t 값의 통계적인 유의로 이거는 전부 다 다 프로그램이 다 계산을 해 줍니다.여러분 그걸 갖고 해석만 해주면 돼요. 지금은 100% 이해가 안 됐다고 그래도 오후에는 다 이해가 됩니다.프로그램을 보면 너무 쉽게 돼 있어서 금방 이해가 남자의 남자가 7명, 여자가 6명이 있다고 가정해 보겠습니다.

참석자 1 12:54그러면 남자의 평균은 82.2고 여자의 평균은 58.83이에요.두 개 평균의 차이가 차이가 뭐예요? 두 개 평균의 차이가 분자가 2개 평균의 차이예요.80.29 빼기 58.83 이게 평균의 차이예요.평균의 차이를 표준 편차 같은 걸로 줘 나눠주면은 t 값이 나옵니다.계산 과정은 여러분들이 아실 필요가 없습니다. t 값은 뭐냐 평균의 차이를 무언가의 표준 편차 같은 걸로 교정을 해줬어요.요 모양은 뭐하고 비슷하죠? 바로 표준 점수와 비슷합니다.이 공식을 보면 표준 점수는 어떻게 했죠? 이게 표준 점수예요.평균으로서부터의 편차를 표준 편차로 나는 게 표준 점수였어요.t 값은 뭐죠? 우리가 계산할 줄은 모르지만 t 값은 t 값은 어떻게 계산해요?점수의 차이를 무언가의 표준 편차로 나눠줬어요.그것이 t 값이에요. 이건 무슨 말이죠? t 값은 평균의 차이를 표준화시킨 거예요.

참석자 1 14:10평균의 차이를 표준화시킨 것 이것이 z 값이에요.g 값은 뭐예요? 두 개 평균의 차이를 표준화시킨 거예요.공식은 표준 점수 구하는 공식과 아주 흡사합니다.

참석자 1 14:29그래서 평균 표준편차 9회사는 평균을 제곱한 것이 분산입니다.표준 편차를 제곱한 것이 분산이다. 그래서 t 값을 이렇게 간단한 방식으로 통합 분산 분모에 해당하는 통합 분산을 구하고 분자에 해당하는 이 t 값을 구하는 것을 이렇게 하면 되는데 이건 아실 필요가 없습니다.여러분들이 계산할 필요가 없어요. 자유도는 뭐냐 하면 첫 번째 집단에서 두 번째 집단을 더하고 빼기 일을 하면 그것이 자유도예요.자유도가 뭐냐 하면 자유도를 쓰는 이유는 사례수를 쓰지 않고 자유도를 쓰는 이유는 모집단을 쓰지 않고 표집을 쓰기 때문에 모든 사례 수가 통계적으로 자유롭지 않습니다.통계적으로 자유롭게 자기 혼자만 변할 수 있는 사례 수가 몇 개냐 그걸 보고 자유도라고 그래요.자유롭게 돌아다니는 사례 수라는 뜻으로 디그리스 프리덤이라고 그럽니다.조금 이따 설명하겠습니다. 자꾸 조금 이따 설명한다고 그러고 끝에 가서 설명 안 하고 설정한다고 그러고 있는데 절대 그런 적이 없습니다.

참석자 1 15:45그러면은 결과 표를 구해 봤더니 이렇게 나왔어요.평균 표준편차 4수 t 값이 3.88 별이 2개가 붙어 있어요.별이 2개는 뭐예요? p가 0.01보다 작아 이건 뭐죠?통계적으로 차이가 있어 오차 범위 밖에 있어 그럼 무슨 뜻이에요?이게 근무 평정 점수는 성별로 오차 범위 밖에서 차이가 있다는 거예요.통계적인 말로 하면 통계적인 유일도를 계산하는 거는 엑셀로도 계산할 수 있어요.요 표를 가지고 우리가 어떻게 하는 아까 하는 건 설명을 했고요.

참석자 1 16:30보통 양방 검증이라고 얘기를 하는데 양방 검증은 가설을 세울 때 이렇게 세웁니다.근무 평정 점수는 성별에 따라 차이가 있을 것이다.이거 무슨 뜻이죠? 남자가 클 수도 있고 여자가 클 수도 있다는 가정이 있어요.이걸 보고 남자가 클 경우도 있고 여자가 클 경우도 있고 양쪽의 경우를 전부 다 다 검증하는 것을 양방 검증이라고 그래요.그다음에 일반 검증은 가설을 만들 때 어떻게 해요?남자의 점수가 여자의 점수보다 높을 것이다. 한쪽 방향을 정해준 거예요.그걸 일반 검증이라고 불러요. 실제로 t 검증을 할 때는 두 개가 구별됩니다.그런데 실제로 두 개를 구별을 해서 잘 쓸 수 있는 사람은 거의 없어요.여러분 이번 주에 3일 동안 교육받으셨지만 양반 검증과 일반 검증의 차이를 두고 분석해 봐.한번 세상 써봐 가서 써봐 잘하면 그런데 카이스트 우리 아이스셋은 이걸 여러분들이 걱정 안 해도 쓸 수 있도록 만들었어요.여러분 걱정하지 마십시오.

참석자 1 17:42자꾸 복잡한 얘기 점점 복잡하게 들어가면은 슬슬 이제 흥미가 떨어지기 시작하는 그러다가 모르는 게 나오면 이제 결정적으로 그만 나는 여기까지인가 봐 생각해요.절대 그러실 필요 없습니다. 그래서 아까 양방 검증으로 해석을 하면 어떻게 해석을 하면 이렇게 합니다.근무 평정 점수는 성별에 따라 의미 있는 차이가 있다.통계적으로 차이가 있다. 통계적으로 차이가 있으면 무슨 뜻이죠?오차 범위 바뀌어

참석자 1 18:18제가 목이 말라서

참석자 1 18:27술 먹습니다. 아 되게 건조하데요. 그렇지 않아요?건조하지 않아요 건조해요. 이게 사실 그래서 정확하게 확인했는데 제가 젊었을 때 어느 날 갑자기 가슴이 아프기 시작했어요.가슴에 막 통증이 와요. 병원에 갔어요. 엑스레이 찍었어요.아무렇지도 않아요. 초음파 엑스레이 막 다 찍었는데 아무렇지도 않아요.돈이 몇십만 원 들어갔어 나중에 의사 면담을 했었죠.혹시 무슨 일 하십니까? 선생님인데요. 그 자체가 혹시 강의한테 소리 지르지 않으세요?제가 큰 소리를 하긴 합니다. 그러니까 강의할 때 큰 소리를 하면 가슴이 떨려서 아픈 거예요.그때서부터 강의를 소리를 지르지 않고 조그맣게 안 먹어요.큰 소리를 하면 가슴이 떨려서 여기가 막 아파요. 통증이 있어 그럴 정도로 세게 했어요.아까로 다시 돌아가 보겠습니다. 아까 보니까 t 값이 3.88이고 별이 2개가 붙어 있었어요.무슨 뜻이죠? 별이 붙어 있으면 만 근무 평정 접수는 성별에 따라 통계적으로 차이가 있다라는 거예요.

참석자 1 19:51아나운서 말로는 뭐라고 그래요? 근무 평정 점수는 남자의 여자의 차이가 오차 범위 밖에 있다는 뜻이에요.이거를 통계적으로 표현하면 어떻게 해요? 근무 평정 점수는 성별에 따라 통계적으로 p가 0.01보다 작은 수준으로 해서 의미 있는 차이가 있다.빨간 것만 빼면 어떻게 해석할 수 있어요? 근무 평정 점수는 성별에 따라 차이가 있다.어떤 차이가 있어요? 통계적으로 차이가 있다 그거예요.그런데 별이 붙은 것을 한 개, 두 개 세 개 하는 것은 차이를 보기 위해서 그런 거죠.만약에 우리가 가설을 남자가 큰지 여자가 큰지 모르겠다 하는 수준으로 차이를 보면은 양반 검정 만약에 남자가 더 높을 것이다라고 방향을 정해주면 일반 검증 방향이 정해집니다.만약 일반 검증으로 가설을 만든다면 가설을 이렇게 만들어요.남자의 근무 평정 점수는 여자의 근무 평정 점수보다 높을 것이다.결론은 남자의 점수가 여자 점수보다 통계적으로 의미 있게 또 봤다

참석자 1 21:03아시겠죠?

참석자 1 21:07제가 프로그램을 하나하나 만들 적마다 통계를 전공하지 않은 우리 집사람을 앉혀놓고 시연을 보였어요.아니 방구석에서 이걸 만들어놨는데 자랑할 사람이 없는 거예요.집사람 여섯 곡 보고 있는데 끝나기를 기다렸다가 이거 여기 앉아 그냥 설명해줘요.그럼 이렇게 통계적으로 의미 있는 차이가 있다 없다.아 골치 아픈 거예요. 그러면 이걸 누가 정하냐는 거예요.이거 연구하는 사람이 자기가 이렇게 해석하면 된다.그러니까 예외가 있냐 없냐 물어보는 거예요. 예외 없다.야 예외가 없는 거를 왜 그러면 학생들 보고 하라고 그러냐 써주면 안 돼 당신이 좀 써줘.써주게 됐어요. 예외가 없는 거는 이제 써주면 안 되냐 그래서 그때 써주기 시작했어.우리 집사람이 알고 있는 컴퓨터 실력은 아래 안 그리에요.아래 한글처럼 되면 좋은 소프트웨어 아래 한글처럼 안 되면 별 볼 일 없는 소프트웨어로 바퀴정이 되는 거예요.

참석자 1 22:06그래서 아래 한글처럼 아래 한글은 파일을 여러 개를 한꺼번에 다 열어놓을 수 있잖아요.처음에 제가 프로그램 만들 때 데이터를 하나 열어놓고 분석하고 또 딴 거 지우고 또 새로운 거 부르고 그러는데 왜 들락말락하냐는 거예요.아래 한글도 파일을 여러 개 부를 수 있는데 이것도 여러 개 부르면 안 되냐 그래서 여러 개 부르게 됐습니다.또 그림을 그리는 것을 보여주다가 그림을 이렇게 이렇게 그리는 거라고 얘기했더니 그건 너무 복잡한데 예외가 있냐 없냐 없다.그러니까 그러면 당신이 이왕 하는 거 그려주지 왜 그거를 사람은 고생시키냐 그래서 우리 집사람의 조언을 가지고 아래 한 그 실력의 조언을 가지고 이 프로그램을 개량한 겁니다.일반 감정은 뭐냐 남자가 여자보다 높을 것이다라는 가정을 가지고 분석하는 게 일반 검증이죠.그러니까 여러분들은 일반 검증으로 검증할 거냐 양반 검증으로 검증할 거냐 그것만 찍으면 돼요.그것만 찍으면 알아서 가설을 만들어주고 알아서 결론을 내줘요.

참석자 1 23:12재밌을 것 같지 않습니까? 이게 그래야 오후에 딴 데 가지 않고 이제 다 오시는 거예요.중간중간에 심심할까 봐 AI를 집어넣었어요. AI는 공학 분야일까요?인문학 분야일까요? 둘 다 사람들은 AI가 공학 분야라고 생각해요.천만의 말씀이에요. AI는 이제 공학 분야를 탈피해서 인문학 분야예요.스토리텔링이 스토리를 갖고 있으면 AI를 쓸 수가 있어요.정말 AI를 내 비서 창출할 수 있어요. 모든 면에 가능해 집사람 얘기를 또 해야 되는데 집사람이 없으니까 막 얘기해도 됩니다.밖에 나가서 자기 얘기하지 말라고 그랬는데 어느 날 저보고 주변에서 다 AI AI 하니까 당신 AI 대학원장이라면서 AI가 어떻게 하는 건지 잘 가르쳐 달래요.그래서 챗gpt를 깔아줬어요. 30만 원짜리 내가 쓰는 30만 원짜리 챗gpt 프로를 깔아줬어요.그랬더니 어느 날 내가 집에 갔더니 동네 할머니들이 다 와 있어요.근데 우리 집사람이 강의를 하고 있는 거예요. AI 강의하고 있어요.

참석자 1 24:25우리 집사람은 가정학인데 우리 동네 할머니들 모아놓고 AI 강의하고 있어요.지금 도대체 뭐 하냐 그랬더니 자기가 AI를 갖고 한 거에 대한 경험을 얘기해 준대요.무슨 경험이냐? 얼마 전에 욕실에서 뒤로 자빠져가지고 허리를 다쳤어요.근데 약이 많아 약이 많은데 약을 먹었는데 어느 날 어지러운 거 어느 날 뭐 얼굴이 부어 그러니까 집사람이 걱정이 돼서 의사 선생님한테 물어봤더니 잘 안 가르쳐줘 얘기했는데 무슨 말인지 너무 빨리 해서 못 알아들었어요.녹음을 해갖고 왔는데 나도 못 알아듣겠더라고요.그러니까 챗gpt한테 물어봤어요. 내가 허리를 다쳐서 약을 먹는데 어지럽고 얼굴이 붉은데 왜 그러냐 물어봤더니 체치비티가 뭐라고 그러냐면 너 지금 무슨 약을 먹는지 약을 찍어봐 약국에 약 봉지를 쳐 그랬더니 어지러움증은 무슨 약을 먹어서 어지러운 거야?얼굴이 붙는 거는 무슨 양 이게 스트레이드 계통이니까 이거 먹으면 얼굴이 붙는 거야.

참석자 1 25:25그럼 어떻게 해야 되냐 그러니까 어지러운 것은 이 어지러운 약을 반으로 줄여 그러면 나는 얼굴이 붓는 거 싫은데 스트레이드 안 먹으면 안 되냐고 그러니까 그거 안 먹으면 안 돼.그것까지 가르쳐줘. 동네 할머니들한테 그거를 시연을 하는 거예요.난리가 났어요. 난리가 났어. 모든 면에서 내가 생각하는 것은 박사학위를 갖고 있는 사람만 10명쯤 줄 세워놓고 내가 물어보는 거하고 똑같아요.그리고 내가 프로그램을 뭘 하나 만들고 싶어 그러면 옛날에는 코딩을 해야 되는데 지금은 말로 프로그램을 할 수 있어요.어떤 사람이 프로그램을 만들어요? 생각이 기발한 생각을 갖고 있는 사람이 프로그램을 기발한 걸 만들 수 있어요.어떻게 만들어 말로 만들어요? 그걸 보고 뭐라 그래요?노 코딩이라고 그래요 노 코딩 코딩을 안 하고 프로그램을 만드는 그런 것이 나왔어요.여러분들은 AI를 쓰면 AI를 쓰면 프로그램도 하셨어?AI는 인문학 분야예요. 스토리텔링이야.

참석자 1 26:30여러분들이 어떤 스토리를 갖고 있으면은 의사 대신하는 걸 물어볼 수도 있고 내가 원하는 프로그램을 만들 수도 있어요.우리 아까 2분 단추를 하잖아. 이 통계책을 거기다가 딱 AI한테 집어넣고 논문 써달라고 그러면 안 되겠냐 아직 거기까지는 안 가는데 앞으로 가능할 겁니다.그런 발상을 하시는 것이 AI 시대에 가장 앞선 사람이에요.그런 황당한 생각을 하면서 그래서 우리 히드 그레이스에서도 지금 현재 그런 쉽게 가설 검증을 할 수 있는 우리가 주제만 집어넣으면은 가설 검증도 할 수 있고 결과도 할 수 있는 이런 AI 프로그램을 이미 만들어서 시험을 하고 있어요.앞으로 좋은 시대가 올 겁니다. 어디까지 얼마나 배워야 되느냐 죽을 때까지 배워야 됩니다.근데 지금은 옛날에는 공학 분야라고 그래서 이거를 누구든지 쓸 수 없는데 쓸 수 없었는데 지금은 말로 해도 돼요.누구든지 할 수 있습니다.

참석자 1 27:30두 번째로 평균 비교하는 데 가장 많이 쓰는 것이 분산 분석 옛날에는 별량 분석이라고 그랬어요.t 검증 프로모션 분산 분석 100%입니다.

참석자 1 27:46이런 분산 분석의 상황을 보면 상사의 유형이 상사 유형은 전제형 자유 방문형 민주형 상사 유형에 따라서 근무 만족도의 차이가 있을 것이다.어떤 것은 라면 값은 지역에 따라 차이가 있을 것이다.대도시, 중도시, 소도시에 더 차이가 있을 것이다.그다음에 성별에 따라 근무 평정 점수의 차이가 있을 것이다.이건 티 검증인데 마찬가지로 이것도 애플 원직으로도 할 수 있습니다.자원 지금은 세 집단 이상에 있는 것을 이야기하도록 하겠습니다.

참석자 1 28:22여러분들이 통계 분석을 할 때 옛날에는 통계책을 보고 통계를 배우고 아주 표를 어떻게 만들고 어떻게 가설을 쓰고 이런 거를 전부 다 다 알아야 쓸 수 있었지만 지금은 엔진의 구조를 몰라도 운전하는 것처럼 이런 어떤 분석의 상황만 알면 그 상황을 가지고 분석할 수 있어요.아주 좋은 시대가 왔습니다. 전재형 상사 밑에 있는 사람 6명의 평균은 8.0 자유방임형 상사를 갖고 있는 상사를 모시고 있는 사람 6명의 평균, 민주영 상사를 모시고 있는 사람의 근무 만들 때 평균이 이렇게 나왔어요.8.0 8.33 11.33 아까 t 검증은 2개의 평균을 비교했는데 이 분산 분석은 평균을 3개를 비교한 거예요.평균 3개 비교한 거예요. 그래서 우리의 관심이 있는 평균은 뭐냐 하면 집단 간 평균이에요.집단 간 평균이 통계적으로 의미가 있느냐 없느냐를 보는 거예요.그런데 집단 감편이에요.

참석자 1 29:38집단 간의 민주영 상사 밑에 있는 사람이 제일 만족도가 높네.그다음에 전재영 상사 밑에 있는 사람이 만족도가 떨어지네.이걸 보고 뭐라고 그러냐면 집단 간의 차이를 보는 거예요.집단 간의 차이, 집단 간의 차이가 얼마나 퍼져 있느냐를 보는 것은 분산을 봐야 돼요.아까 분산했었죠 분산은 뭐죠? 표준 편차의 제곱이 분산이에요.분산도 그러니까 표준 편차를 구하는 표준 편차를 구하는데 표준편차의 제곱은 분산이에요.분산을 구해 분산은 무슨 뜻이다.

참석자 1 30:15변수가 얼마나 커져 있느냐를 점수가 이 점수가 퍼져 있으면 무슨 뜻이죠.차이가 많이 나 상사 유형에 따라 차이가 많이 나 이건 무슨 뜻이죠 상사의 유형이 만족도에 영향을 미친다는 거예요.그런데 세계의 평균이 분산이 0에 가까워 분산이 0에 가깝다는 건 무슨 뜻이에요?세 집단 평균이 거의 똑같아요. 그럼 무슨 뜻이야?상사의 유형에 따라서 만족도의 차이가 없다는 뜻이에요.분산의 크기에 따라서 분산의 크기에 따라서 영향이 있다 없다로.

참석자 1 31:08그런데 이거는 조금 이론적으로 조금 아셔야 될 것이 전재형 집단의 점수를 보면은 평균이 8.0이죠.이상적인 상황에서는 전부 8.0이어야 돼. 그런데 집단 내에도 차이가 있어 집단 내에도 차이가 있어.이걸 보고 집단 내의 차이 통계 통계학에서는 오차라고 그래 집단 내에서는 이론적으로는 차이가 없어야 되는데 차이가 있거든.그래서 집단 내에 차이가 있는 것을 집단 내에 분산 집단 집단 내에 분산 ss 따블도 집단 내의 분산이라고 이 6개의 점수가 평균으로부터의 차이 이 6개의 점수가 집단 평균으로부터의 차이 요 6개 점수가 집단 평균으로부터의 차이.집단 내에서 차이가 나는 것을 집단 내에 분산 다른 말로 오차라고 그래요.다시 올라가 보겠습니다. 아까 뭐죠? 8.0 8.33 11.33의 차이는 집단 간 현상이다.

참석자 1 32:29그런데 실제로 집단 내에도 차이가 있어 집단 내에는 원래 차이가 없어야 되는데 차이가 생겼어 이 없애야 되는데 차이가 생긴 것을 뭐라고 그래요?오차라고 그래요. 잔차라고 그래요.

참석자 1 32:49그러면 여기서 9에 보면 집단 간 제곱합 집단 간 분산은 40.44, 집단 내에서 차이가 나는 제곱합은 74.67, 전체는 115.21 게 전체 분산이 있어요.하지만 집단 간에서 차이가 나는 것이 요만큼이고 집단 내에서 차이가 나는 것이 이만큼이에요.근데 집단 내에는 전체 세 집단 중에서 자유도는 2예요.2로 나누면은 20.22가 집단 간 평균 제곱이에요.그다음에 집단 내 평균 직업은 평균 제곱은 4.98이에요.다시 말씀드려서 집단 간 평균 제곱을 집단 내의 평균 제곱으로 교정해 주면 거기서 나오는 값이 f 값이에요.4.0625 그거에 p 값을 구하니까 0.0389 0.05보다 작으니까 별이 한 개 붙어요.뭘까 이렇게 나왔었어요.

참석자 1 33:55다시 말씀드려서 이렇게 세 집단 평균의 차이를 집단 간 평균 집단 내의 평균 집단 간 분산 집단 내의 분산으로 나눠서 f 값을 구해봤더니 4.0625가 나왔고 4.0625는 별이 한 개 붙어 있어요.요 표만 있으면 우리는 뭐든지 해석할 수 있어요. 어떻게 해석해요?어떻게 해석해요? p 값이 0.05보다 작아 별이 한 개 붙어 있어.그럼 뭐라고 그래 통계적으로 p가 0.05보다 작은 수준에서 유리한 차이가 있다.이렇게 얘기를 해요. 넘어가 볼까요? 가설은 연구 가설은 상사의 유형에 따라 근무 만족도 차이가 있을 것이다.이거는 일반 감정 양반 검증이 없습니다. 세 집단이기 때문에 세 집단 이상이기 때문에 여러분들 결론은 뭐냐 근무 만족도는 상사의 명에 따라서 p가 0.05보다 작은 수준에서 통계적으로 유리한 차이가 있다.이렇게 결론을 내립니다. 이 표를 가지고

참석자 1 34:58한번 잘 보십시오. 다른 사람이 쓴 논문을 한번 보겠습니다.

참석자 1 35:06어떤 사람이 쓴 논문이에요 어떤 사람이 쓴 논문에 티 검증 테이블을 내가 가져왔어요.

참석자 1 35:16가설이 뭐냐 하면 성별에 따라 아동의 창의적 인지 능력은 유의미한 차이를 보일 것이다.그러면은 여기에 왼쪽에 있는 것이 창의적 인지 능력이 중속 독립 변수는 성별이야.그러면 이 이 5개의 종속 변수가 5개의 종속 변수가 성별로 통계적으로 의미 있는 차이가 있는가 없는가를 보려면 어디를 봐야 돼요?맨 오른쪽을 봐야죠. 오른쪽에 봐서 별이 붙어 있으면 의미는 차이가 있다.별이 안 붙어 있으면 차이 없다. 바나사 말로 뭐예요?오차 범위 내에 있다. 언제든지 뒤바뀔 수 있다는 거죠.그러니까 별이 붙어 있는 것만 보면 유창성은 통계적으로 의미 차이가 있다.유창성 정교성 전체 합계 점수는 통계적으로 의미의 차이가 있어요.근데 여기 보면 마이너스가 나왔어 마이너스가 무슨 뜻인지 아세요?뒤의 평균이 앞에 평균보다 크면 마이너스가 나와요.그러면 이것은 세계는 통계적으로 의미가 있지만 전부 다 다 여자의 점수가 남자의 점수보다 여자의 평균이 남자의 평균보다 큰 거예요.

참석자 1 36:32그러니까 유창성 정교성 합계 점수는 통계적으로 의미 차이가 있고 세 점수 모두 여자가 남자보다 높은 창의적 인지 능력을 보인다라고 해석하면 됩니다.이제는 이런 표를 봐도 이런 t 검증표를 봐도 이제 어떻게 해석을 해야 되는지를 금방 표만 보면 알 수 있어요.표만 보면 오른쪽 딱 보면 별이 붙어 있는 게 있나 보고 별이 붙어 있는 것만 통계적으로 차이가 있다.별이 안 붙어 있으면 해석의 여지가 없어요. 오차 범위 안에 있어 언제든지 바뀔 수 있어.이건 통계적인 차이가 아니야.

참석자 1 37:18그래서 제가 장난으로 AI로 프로그램을 한번 만들어 봤어요.챗gpt한테 챗gpt한테 이런 명령을 집어넣었어요.뭐라고 그러냐면 다음과 같이 아노바 프로그램을 만들어줘.데이터는 첫 번째 칼럼은 독립 변수, 두 번째 칼럼은 종속 변수야.그리고 데이터 형식은 엑셀이나 CSV 파일로 이용할 수 있게 해줘.데이터 파일은 마우스를 긁어서 프로그램에 떨어뜨리면 해석하게 해줘.이 연구 가설을 써주고 바노바 테이블 집단간 민 테이블을 만들어서 APA 타입으로 결론을 써줘.프로그램은 자바스크립트를 이용을 해서 HTML로 만들 수 있도록 해줘.실제로 이렇게 만들었어요. 보여드릴까요? 어떻게 만들었냐 하면

참석자 1 38:29찾으려면 없어

참석자 1 38:46원의 아마 프로그램을 만든 거예요. 이게 챗gpt가 만들어준 거예요.챗gpt를 만들어줬어요. 그래서 여기에다가 뭘 집어넣어요?데이터를 데이터를 내가 필요한 데이터를 잡아다가 떨어뜨리면 돼.아노바 데이터 파일을 여기다가 떨어뜨려 여기 떨어뜨렸어.분석 실행해 봐 분석해 봐 이거를 챗gpt가 만들어준 거예요.여러분 챗gpt로 통계 프로그램을 5분도 안 돼서 만들 수 있어요.놀랍지 않습니까? 딴 데 가면 다 박수 치고 그러는데요.

참석자 1 39:32너무 놀라서 너무 제가 깜짝 놀랐어요. 여러분들이 관심이 없나 보겠어요 다시 한번 가볼게요.이 내용을 제가 집어넣었어요. 그러면 우리 선생님들은 여기 이 강의 들은 선생님들은 저 선생님 뻥 치는 거 아닌가 이렇게 생각하시는데 한번 직접 한번 넣어볼게요.이놈을 제가 제 티피티에다가 넣어볼게요. 해주나 안 해주나 할 것 같습니다.저 치 PT 여기에다가

참석자 1 40:18이렇게 해달라고 했어요. 여기다가

참석자 1 40:30지금 생각하고 있습니다.

참석자 1 40:37물론 이거보다 엄청 복잡한 프로그램도 있지 말만 하면 만들어

참석자 1 40:50프로그램 짜고 있는 거예요. 제가

참석자 1 41:01이런 거를 한 번도 안 해보신 분들은 신세계도 이런 신세계가 없어요.세상에 오늘 오전에 강의 들은 거 통계적으로 의미가 있다 없다.오차 범위 내에 있다. 밖에 있다. 이런 말만 해도 프로그램 짜줘요.놀랍지 않습니까? 물론 공짜 프로그램으로는 조금 하기 힘들고 그러니까 한 달에 2만 9천 원을 내야 저희가 할 수 있어요.저는 우리 새로운 대학에 갔더니 조교가 없는 거예요.굉장히 힘들었는데 체지 피티가 나왔어요. 바로 체지 피티는 박사 학위 갖고 있는 조교를 10명째 옆에 세워놓고 있는 거니 너무 잘해요.너무너무 잘해요. 그러면

참석자 2 41:48아직 확장 어렸어요.

참석자 2 41:54이게 파이썬이에요.

참석자 1 41:56네

참석자 2 41:57이게 지금 양식이 8세

참석자 1 42:01이게 지금 세츠 피티가 자기가 프로그램을 만들었어요.이제 아직 이제 조금 있으면 끝났는데 이걸 만들면 이거를 복사해 가지고 파일에 집어넣고 누르면 돌아와요.프로그램을 상상이 안 가시지만 전문적인 프로그래머가 프로그램을 하는 것처럼 가죽 타고 있죠.아주 타고 있어요. 이렇게 지금 아노바의 개념을 아셨잖아요 그럼 아노바의 개념을 아셨으면 그 개념을 내가 이해한 대로 거기다 쓰면 그 프로그램을 많이 있어요.내가 개념을 정확하게 알고 있으면 정확하게 그게 만약에 쓰면 다 들어 그만 대단하 그러니까 공학을 몰라도 프로그램을 몰라도 프로그램 잘 들어주는 거예요.중요한 건 뭐겠습니까? 개념을 정확하게 알아야 우리가 책을 쓰고 있으니까 히든 그레이스에서 책 쓰고 있으니까 책이 나오는 거 한번 보세요.그 책에 있는 내용이 잘 설명돼 있으니까 그 내용을 공식 같은 거 외울 필요 없어요.이런 식으로 말만 잘해도 프로그램을 만들어줘요.한번 보겠습니다. 제대로 됐는지

참석자 1 43:12이 프로그램이 아직 타고 이렇게 엄청난 프로그램을 지금 만들고 있어요.

참석자 1 43:39기억났나 계속

참석자 1 43:47제가 여러분들을 놀래키려고 AI로 프로그램 만드는 거를 이렇게 얘에다가 집어넣었어요.그럼 이거는 여러분들이 당장 AI 전문가가 되지는 않더라도 여러분들이 자신을 가질 수 있어요.나도 이렇게만 하면 할 수 있겠구나.

참석자 2 44:07근데 교수님이 얘기하는 건 파이썬이나 아까 이거는 그거 배우면 학생들 다른 학교 지금 어린 학생들 같은 경우는 저기서 자기가 필요한 것만 잘라다가 또 쓸 수 있다는 얘기를 하시는 거죠.다시 들어 뭐지 파이썬이나 뭐 이런 작업 갖고 가는 게 아 그거 배우면 제가 중학생 아이가 있어서 여쭤보는 건데 자기가 배우면 그 부분 자기가 원하는 걸 잘라다가 다시 만들어서 또 할 수 있다는 거죠.안 배울 수 있어

참석자 1 44:36저도 저는 사실 자바를 몰라요. 자바를 모르는데 자바 스크립트를 짜면 프로그램을 파일 한개도 만들 수 있어요.저는 손자 손녀가 3명인데요. 우리 며느리가 전화를 했어요.미국에 있는데 애들이 하도 이상한 게임만 하는데 아버님 프로그램 하나 만들어 주세요.그래서 내가 동물 잡기 프로그램을 잡아 그래서 보내줬어요.그 손녀한테 전화가 왔어요. 이거는 자기 게 아니래요.자기 이름 스펠링을 틀리게 대 없는 스펠링을 고쳐서 만들 수 있어요.중학생도 초등학생도 할 수 있어요. 가서 오늘 얘기를 해보세요.

참석자 2 45:16아니 저런 게 좀 힘들다고 하더라고요. 학교에서 동아리 같은 걸 해서 하는데 자기는 하고 싶으나 이제 컴퓨터 이렇게 컴퓨터 안에서만 하는데 아이가 있는 학교 상황은 아예 동작하게 하나 봐요.자기는 이쪽 분야가 재밌을 것 같은데 오늘

참석자 1 45:40이 학생들의 수준은 선생님의 수준이 결정한 거고요.뭐든지 할 수 있는데 선생님의 한계예요. 그래서 그런 학생은 서울로 한번 데리고 오세요.상담을 해드릴게요. 친 하고 싶은 사람 동기 부여가 되고 싶은 사람은 데리고 오세요.프로그램이 끝났습니다. 이렇게 프로그램을 다 만들었어요.프로그램을 만들어서 이제 그러면 자기가 또 그래요.야 이 프로그램 더 확장해 줄게 하고 또 얘기를 해. 몇 대 키 있는 것만 갖고 한번 해보자.이렇게 있는 코드를 전부 복사해 가지고 여기 바탕 화면에 제가 하나 만듭니다.뭘 만드냐 하면 새로 만들기 새로 만들기 위해서 텍스트 문서를 만들겠습니다.그래서

참석자 1 46:42프로그램이라는 이름으로 만들었습니다. 어디 갔어 얼로 도망갔어 책 사고 입고 다 그래서 프로그램이라는 걸로 만들어서 메모장에서 열어서 이 속에 프로그램을 컨트롤 c에서 컨트롤 v를 해서 붙였어요.그럼 이 이름을 이름을 이름을 바꾸겠습니다. 다른 이름으로 저장을 하는데 어떻게 바꾸냐면 프로그램 점 HTML이라는 걸로 바꿔야 실행이 됩니다.

참석자 1 47:18이것이

참석자 1 47:24거기 왼쪽에 이게 지금 안 해도 돼요. 이거 눌러보겠습니다.이런 분산 분석. 여기에 파일을 드래그 앤 드라 하세요 하고 나와요.아까 데이터 파일을 여기다 떨어뜨려 볼게요. 데이터

참석자 3 47:42교수님 지금 이 화면은 어떻게 만드신 거예요? 이 파일은 지금 바탕 화면에 어떻게 게 있는 거

참석자 1 47:50지금 금방 했던 대로 챗gpt에 그래서 이제 조금은 이게 처치 피티거든요.금방 처치 피티 만들어지거든.

참석자 3 48:04네 복사해서 메모장에까지 넣은 다음에

참석자 1 48:07파이썬으로 안 해도 돼요. 지금은 쉽게 자바스크립트를 갔어요.

참석자 1 48:17이거예요. 이 자바스크립트를 만들었죠. 그리고 자바스크립트의 코드를 내가 복사했어요.복사했죠 메모리 복사해서 갖고 있어요. 그러면은 여기다가 파일을 한 개 만들어요.텍스트 파일을 만들어요. 새로 만들기 텍스트 문서를 만들어 그럼 여기에다가 텍스트 문서를 프로그램

참석자 1 48:52프로그램 1 그럼 이게 뭐가 돼요? 프로그램 1.txt가 됐죠 이게 BN 파일이 하나 있어요.그렇죠 여기 빈 파일에 아까 그거 복사해 복사했죠.이거를 그러면 이 파일은 프로그램 일정 TXT라는 게 있어요.네 이걸로는 프로그램이 수행이 안 돼. 네 그렇죠 그 프로그램이 수행이 되기 위해서는 TXT를 HTML로 바꿔야 돼.그럼 이거를 HTML로 바꾸려면 f2를 눌러서 이렇게 HTML 이렇게 바꾸면 HTML로 바뀌었죠.

참석자 3 49:34그것만 바꾸면 문서가 저렇게 생기는 거예요.

참석자 1 49:37그럼 이게 프로그램이 된 거예요. 그러면 이걸 가지고 아까 데이터가 있어 데이터 데이터 어디 손써 데이터 이게 파일이 많으니까 이렇게 데이터가 있죠.여기 데이터에 보면은 아노바 점 엑셀로 s x 파일이 있어요.아노바를 열어보면 첫 번째 칼럼에 상사의 비용, 두 번째 칼럼의 근무 만족도 첫 번째 칼럼에 독립 변수 두 번째 칼럼은 종속 변수 넣을 수 있게 해달라고 아까 얘기했어요.이 파일을 이 파일을 그냥 끌어다가 여기다 넣으면 돼.그러면 분석이 됐어. 아르바 테이블도 나오고 가설도 나오고 집단별 차이도 나오고 결과가 이렇게 딱 나왔어요.대단하지 않습니까?

참석자 3 50:37근데 교수님 근데 이 결과가 맞는지 안 맞는지 우리가 신뢰할 수 있을까요?

참석자 1 50:43맞는지 안 맞는지 알아보려면 이제 SBSS 같은 걸로 한 번에

참석자 3 50:47해 봐야죠. 한번

참석자 1 50:49한번 비교해 봐야 새로운 프로그램을 만들면 오리지널하고 비교를 해봐야죠.여기 보면 t 값이 4.063 p 값이 0.003으로 나왔죠.기억하고 계세요. 우리 강의 여기 보이네. f 값이 4.0625 p 값이 0.0389 p 값이 0.039 똑같아요.틀릴 리가 없죠. 이렇게 쉽게 보통 통계 분석이라고 그러면 굉장히 어렵다고 생각했는데 이거 뭐야 말로 몇 글자 몇 줄 적었다고 그래서 우리 지금 강의했던 내용 자체를 프로그램으로 만들어줬어요.이런 세상이 왔습니다. 거기다가 이 프로그램 만드는 것도 우리 이분단 주반장이 저한테 질문하신 대로 약간만 트립만 알면 돼요.그게 어려운 게 아니야. 여러분들이 하고 싶은 거는 통계 분석을 프로그래밍을 몰라도 통계를 많이 몰라도 오늘 저한테 강의 들은 정도의 개념만 알면 프로그램 만들 수 있어요.그리고 이 프로그램을 인터페이스를 내 마음대로 고칠 수가 있어요.내 마음대로 편리하게.

참석자 1 52:07그래서 저는 여러분보다 조금 다른 것이 경험이 많고 어떤 점을 사용자가 갖기를 원하는지를 잘 알기 때문에 그 모양대로 이 인터페이스를 새로 만들죠.여러분 챗gpt가 프로그램 만들어주는 거에 조금 충격을 받으신 것 같아요.대박 이거보다 더 큰 충격이 남아 있습니다. 앞으로 어떻게 하려고 그러세요?

참석자 1 52:36제가 너무 기분이 좋은데 여러분들 제가 통계 강의는 재미가 없는 게 아니라 꼭 한두 분은 좋은 분이 계신데 여러분 좋은 분이 있어서 굉장히 도움이 됩니다.너무 좋아요. 계속 나갑니다. 너무 열심히 하다 보니까 시간이 이렇게 되는데 6분만 쉬었다가 12시에 다시.

clovanote.naver.com