수학의 꽃이 함수라면, 사회과학분야에 있어 통계의 꽃은 회귀분석입니다.

회귀분석을 통해 어떤 변인이 다른 변인에게 유의미한 영향을 주는지 확인할 수 있습니다.

(회귀분석은 등간척도 또는 비율척도에서만 가능합니다.)


회귀분석은 상관분석(관계성)과 달리 방향성이 있습니다.

따라서 A가 B에 미치는 영향과 B가 A에 미치는 영향은 다릅니다.

(어머니가 아들에게 유의미하게 영향을 주지만, 아들은 어머니에게 영향을 주지 못할 수 있는 것과 같습니다.)

그리고 회귀분석을 하기 전에 상관관계 분석을 진행한 이유가 있습니다.

회귀분석을 진행하기 위한 전제조건은 독립변수들간의 상관관계가 없다는 조건입니다.

따라서 회귀분석을 진행하기 전 상관관계 분석에서, 다중공선성이 발생했다면 회귀분석을 진행할 수 없습니다.

만약 다중공선성이 발생했다면, 문제가 되는 변수를 제거하거나, 설문문항을 추가하여 다중공선성을 희석시켜야 합니다.



독립변수가 한 개인 회귀분석을 단순회귀분석,

독립변수가 두 개 이상인 회귀분석을 다중회귀분석이라고 합니다. 



회귀분석은 종속(영향을 받는)변인에 1개의 변인만 설정할 수 있습니다.

따라서 위 이미지의 왼쪽과 같은 경우, A→B, A→C, A→D, A→E, A→F 이렇게 5번의 단순회귀분석을 진행해야 합니다.

오른쪽의 경우는 (A, B, C, D, E)→F 이렇게 1번만 다중회귀분석을 진행합니다.



하위요인을 3개 갖고 있는 독립변수 A가, 하위요인을 2개 갖고 있는 종속변수 B에게 미치는 영향에 대해 회귀분석을 하려면

종속변수가 BA인 경우와, 종속변수가 BB인 두 경우로 나누어, 다중회귀분석을 2번 진행해야 합니다.




위 매개효과 연구모형을 기준으로 회귀분석은 5번 진행되어야 합니다.


1. A(팀분위기)가 B(이직의도)에 미치는 영향

1-1) A(AA, AB, AC, AD) → BA

2. C(여가만족)가 B(이직의도)에 미치는 영향

2-1) C(CA, CB, CC) → BA

3. A(팀분위기)가 C(여가만족)에 미치는 영향

3-1) A(AA, AB, AC, AD) → CA

3-2) A(AA, AB, AC, AD) → CB

3-3) A(AA, AB, AC, AD) → CC


이 중 1-1) A(AA, AB, AC, AD) → BA에 미치는 영향을 회귀분석을 하겠습니다.



예제로 사용할 SPSS 파일이 준비되어 있지 않으신 분은 아래의 파일를 다운로드 해주세요.


rawdata2(sample).sav


출력결과2.spv



※ 이미지들은 클릭하면 원본이미지로 크게 보실 수 있습니다.



메뉴에서 [분석-회귀분석-선형]을 선택합니다.



변수 AA, AB, AC, AD를 독립변수로 선택합니다.



BA를 종속변수로 선택합니다.



우측의 [통계량] 옵션에서 공성성 진단Durbin-Watson을 체크합니다.

(다중회귀분석에서만 선택합니다.)



[확인]을 클릭하여 회귀분석을 실행합니다.



뷰어에 회귀분석 결과가 추가되었습니다.



독립변수가 AA, AB, AC, AD이고

종속변수사 BA인 것을 확인할 수 있습니다.



R값을 확인하여, 독립변수와 종속변수의 상관관계를 확인합니다.

R=.357로, 독립변수와 종속변수는 낮은 상관관계를 나타나고 있습니다.


<참고: R값에 따른 상관관계의 정도>

r이 -1.0과 -0.7 사이이면, 강한 음적 선형관계,

r이 -0.7과 -0.3 사이이면, 뚜렷한 음적 선형관계,

r이 -0.3과 -0.1 사이이면, 약한 음적 선형관계,

r이 -0.1과 +0.1 사이이면, 거의 무시될 수 있는 선형관계,

r이 +0.1과 +0.3 사이이면, 약한 양적 선형관계,

r이 +0.3과 +0.7 사이이면, 뚜렷한 양적 선형관계,

r이 +0.7과 +1.0 사이이면, 강한 양적 선형관계


R제곱값을 확인하여, 종속변수가 독립변수에 의해 설명되는 비율흘 확인할 수 있습니다.

R 제곱=.127로, 종속변수가 독립변수에 의해 12.7% 설명되고 있습니다.

Durbin-Watson(DW)값을 확인하여, 잔차(residual)간의 상관관계를 확인합니다. 

DW=1.750으로 2에 근접하여, 잔차(residual)간의 상관관계가 없어 회귀모형이 적합한 것으로 나타나고 있습니다.


<참고: Durbin-Watson>

더빗-왓슨(DW)값은 데이터들의 1차 자기상관을 나타냅니다.

DW의 범위는 0~4이며,

0: 양의 자기상관

2: 독립

4: 음의 자기상관을 의미합니다.

정확한 기준은 아직 없으나, 보통 1.5~2.5 사이이면 독립으로 판단하여, 1보다 작거나, 3보다 크면 자기상관이 있어 회귀모형이 적합하지 않은 것으로 판단합니다.



유의확률이 0.05보다 작은지 확인합니다. 

F값은 7.107로 나타고, 유의확률은 .000으로 회귀모델이 적합하다는 것을 알 수 있습니다.

(유의확률이 .05 이상인 경우 회귀선이 모델에 부적합하다고 할 수 있습니다.)



비표준화 계수는 회귀선의 기울기와 기울기 표준오차를 의미합니다.(논문에서는 중요하지 않음)


t값이 ±1.96보다 크고, 유의확률(p)가 .05보다 작을 때 영향을 미친다는 가설을 유의미하다고 판단합니다.

변수 AA는 t값이 -2.493이고, p<.05이므로 BA에 부적인 영향을 미친다고 할 수 있습니다.

변수 AB는 t값이 -.687이고, p>.05이므로 BA에 유의미한 영향을 미친다고 할 수 없습니다.

변수 AC는 t값이 1.656이고, p>.05이므로 BA에 유의미한 영향을 미친다고 할 수 없습니다.

변수 AD는 t값이 -4.300이고, p<.05이므로 BA에 부적인 영향을 미친다고 할 수 있습니다.

(t값이 1.96이면, 유의확률(p)는 .05이므로 둘 중에 하나만 확인해도 무방합니다.)

(t값의 부호가 +면 정적인 영향, -면 부적인 영향을 미치는 것입니다.)


 표준화 계수 β값을 확인하여 어떤 변인이 상대적으로 더 많은 영향을 주는 지 판단할 수있습니다.

변수 AA는 β값이 -.199이고 AD는 β값이 -.320이므로, AD가 상대적으로 AA보다 더 큰 영향을 미친다고 할 수 있습니다.


 공차한계(Tolerance)와 VIF를 확인하여, 다중공선성을 진단할 수 있습니다.

공차한계가 모두 .100 이상이며, VIF가 10 미만이므로 다중공선성의 문제가 없어 회귀 모형이 적합하다고 할 수 있습니다.

(공차한계가 .1보다 작거나, VIF가 10 이상이면 다중공선성으로 판단합니다.(공차한계가 .1일 때, VIF는 10))



(다중공선성 문제를 확인하려면 아래를 클릭)

2015/12/11 - [논문통계/통계기초] - 다중공선성(Multicollinearity)이란?






회귀분석 결과를 논문작성중인 한글파일에 작성하기 위해, 회귀분석 표를 작성합니다.



회귀분석 결과를 표에 입력합니다.



회귀분석 결과해설을 작성합니다.





회귀분석을 모두(총 5번) 실시한 후, 뷰어파일(출력결과)를 저장합니다.

아래 첨부파일과 같은 SPSS 파일이 저장되어 있으면 성공입니다.


출력결과2.spv



(엑셀에서 회귀분석 하는 방법을 알고 싶다면 아래를 클릭)

2015/12/10 - [논문통계/엑셀] - 엑셀(Excel)에서 회귀분석으로 영향을 미치는지 확인하기






회귀분석을 5회 진행하면 아래와 같은 결과를 확인할 수 있습니다.



회귀분석(regression analysis)이란

관찰된 연속형 변수들에 대해 독립변수와 종속변수 사이의 상관관계를 나타내는 선형 관계식을 구하는 기법 및 이렇게 얻은 모형의 적합도를 측정하는 분석 방법이다.






관련 글 보기


2015/12/03 - [논문통계/SPSS] - SPSS에서 엑셀데이터 불러와서 저장하기(예제파일포함)


2015/12/03 - [논문통계/SPSS] - SPSS에서 빈도분석으로 인구통계적 특성 파악하기


2015/12/05 - [논문통계/SPSS] - SPSS에서 요인분석으로 타당도 측정하기


2015/12/05 - [논문통계/SPSS] - SPSS에서 크론바흐 알파(Cronbach's α)로 신뢰도 측정하기


2015/12/06 - [논문통계/SPSS] - SPSS에서 변수 계산으로 요인 평균값 만들기


2015/12/06 - [논문통계/SPSS] - SPSS에서 상관관계분석으로 변수 간 상관도 분석하기


2015/12/06 - [논문통계/SPSS] - SPSS에서 회귀분석으로 영향을 미치는지 확인하기


2015/12/06 - [논문통계/SPSS] - SPSS에서 3단계 회귀분석으로 매개변수의 매개효과 확인하기


2015/12/06 - [논문통계/SPSS] - SPSS에서 위계적 회귀분석으로 조절변인의 조절효과 확인하기


2016/01/11 - [논문통계/SPSS] - SPSS에서 더미변수를 이용하여 회귀분석하기


2016/01/11 - [논문통계/SPSS] - SPSS에서 T-test로 두 집단간의 평균 비교하기


2016/01/17 - [논문통계/SPSS] - SPSS에서 One-Way-Anova(일원배치분석)으로 여러 집단간의 평균 비교하기


2016/02/10 - [논문통계/SPSS] - SPSS에서 카이제곱 분석으로 변수들간의 독립성과 관련성 분석하기


2016/02/10 - [논문통계/SPSS] - SPSS에서 군집분석으로 집단을 군집으로 분류한 후 특성 확인하기

  1. 이전 댓글 더보기
  2. 2016.10.19 17:33

    비밀댓글입니다

    • Favicon of https://learnx.tistory.com BlogIcon Learn X BboL 2016.10.20 18:21 신고

      통계가 눈에 익어간다니 다행이시네요. 문의해주신 내용 답변드렸습니다.^^

  3. 2016.11.17 22:50

    비밀댓글입니다

    • Favicon of https://learnx.tistory.com BlogIcon Learn X BboL 2016.11.18 11:46 신고

      자기상관을 교정하는 방법은 1계차분변형법, 뉴이-웨스트 표준오차, 등등 있습니다...
      자기상관 해결법으로 검색하시면, 계량경제학 같은 책에서 방법이 나오긴 하지만, 쉽지 않습니다.

  4. 2016.11.27 18:51

    비밀댓글입니다

    • Favicon of https://learnx.tistory.com BlogIcon Learn X BboL 2016.11.29 10:07 신고

      독립 따로 하지말고 4개 다 넣고 한 번 돌리시면 더 좋을 것 같습니다.

  5. 유성 2017.02.04 16:48

    저 또한 많은 도움이 되어 깊이 감사드립니다. 다만 한가지 질문을 해도 되겠는지요 ?
    DW값이 1 보다 작게 나오는데 어떻게 해결 해야 될까요 ?

    • Favicon of https://learnx.tistory.com BlogIcon Learn X BboL 2017.02.05 14:34 신고

      DW<1인 원인을 간단하게 생각하면 2가지 일 것 같습니다. 연구자가 잘못된 예측을 하여 연구모형을 현실과 다르게 만들었거나, 설문응답자들이 대충 설문에 응하여 데이터에 noise가 많거나 입니다.^^

  6. brownie 2017.02.08 19:56

    정말 큰 도움을 받았습니다.
    이해하기 쉬운 설명, 친절함에 감사드리구요, 앞으로 자주 뵙겠습니다.

  7. 먹깨비 2017.03.26 16:56

    선생님 도움으로 단순회귀분석과 다중회귀분석까지 진행했습니다.
    설명력에 대한 부분이 궁굼해서 글을 쓰게 되었는데요.

    R .347로 낮은 상관이고, R제곱이 .121
    F값이 16.70, 유의확률 .000
    베타값 -.347, t값이 -4.093, 유의확률.000 입니다.

    12%설명력도 논문에 쓰일 수 있나요? 적어도 설명력이 몇% 정도 되어야 하는지.. 기준이 있나요?

    • Favicon of https://learnx.tistory.com BlogIcon Learn X BboL 2017.03.30 10:49 신고

      설명력 크게 신경 안쓰셔도 됩니다. 신경써야 할 부분은 유의한지 입니다.ㅎ 고생 많으셨어요.

  8. 2017.03.30 11:46

    비밀댓글입니다

    • 2017.04.03 01:07

      비밀댓글입니다

  9. 궁금이 2017.04.10 01:26

    먼저 설명 너무 감사 드립니다~! ^^
    위 내용 참고하면서 궁금한게 있어서 여쭤봅니다~

    회귀분석을 수행한 논문들에 보면, 회귀분석 결과를 표로 정리해 놓았는데요.
    여기서, 각각의 독립변인이 하위 종속변인에 미치는 영향에 대한 값들도 적혀 있지만,
    하나의 종속변인 자체에 미치는 전체 값도 적혀 있어서요~

    예를 들면, 위의 A(팀분위기)가 C(여가만족)에 미치는 영향에서는, C(여가만족)의 하위 변인이 3개이므로,
    3번의 다중회귀분석이 필요할텐데요. 그러면, 결과적으로 CA, CB, CC에 대한 값들은 구할 수 있을텐데,
    이 때 C(여가만족) 전체에 미치는 값은 어떻게 구할 수 있는지 궁금합니다.

    • Favicon of https://learnx.tistory.com BlogIcon Learn X BboL 2017.04.10 16:08 신고

      하위요인 평균내서 통으로 분석한 논문을 보신거 아닐까요? `~`

  10. 2017.04.13 14:16

    비밀댓글입니다

    • Favicon of https://learnx.tistory.com BlogIcon Learn X BboL 2017.04.14 10:39 신고

      다하실 필요는 없고 단순회귀분석 기준 유의했던 것들만 매개효과 확인하시고, 확인 된 것들만 소벨 돌리시면 됩니다~

  11. 2017.04.15 12:00

    비밀댓글입니다

    • Favicon of https://learnx.tistory.com BlogIcon Learn X BboL 2017.04.16 18:43 신고

      전 교수님이 아닙니다;;;ㅎ

      그리고 질문에 답이 있습니다.ㅎ
      유의한 것 골라서 한 것 맞습니다.~

      유의하지 않은 것을 어차피 해도 안되기 떄문입니다.ㅎ

      고맙습니다~

  12. 2017.04.17 10:20

    비밀댓글입니다

    • Favicon of https://learnx.tistory.com BlogIcon Learn X BboL 2017.04.18 08:48 신고

      뭐 딱 답은 없지만, 말씀해주신 내용이 일반적으로 맞습니다.

  13. 대학원생 2017.04.28 19:53

    안녕하세요.

    블로그 통해서 통계 분석 도움을 많이 받고 있습니다.

    현재 A->B / A->C->B 의 모형으로 ... SPSS를 돌리고 있습니다.
    독립변수: A (A1, A2, A3)
    종속변수: B (B1, B2, B3)
    매개변수: C

    요인분석, 신뢰도 분석 잘 했는데
    상관관계가 잘 안나옵니다. A1 ~ A3, C, B1 ~ B3
    이 모든 변수들 간에 상관관계가 다 있어야지 회귀분석도 가능한 걸까요 ?
    독립, 종속, 매개 변수들.. 하위요인들 사이에서 상관관계가 하나라도 없으면... 회귀분석이 불가능한걸까요?
    아니면 몇개정도는 상관관계가 안나와도 회귀분석으로 유의한 결과가 나올 수도 있는걸까요 ?

    이 부분이 계속... 고민이 됩니다.

    조언을 부탁드립니다!

    • Favicon of https://learnx.tistory.com BlogIcon Learn X BboL 2017.05.16 09:32 신고

      상관관계가 너무 높아도 문제지만 거의 없어도 문제입니다. 그런데.. 타당도 신뢰도 잘 나왔으면 보통 상관관계 잘 나오는데 왜 안나오시는지 궁금하네요.

  14. spss초보 2017.11.26 00:26

    일단 LearnX 블로그를 통해서 너무나 많은 것을 배워가서 감사하다는 인사 드리고 싶습니다.
    너무 너무 친절하게 설명해주셔서 독학 잘 하고 있습니다.
    질문이 1개 있는데요!
    상관도를 보니 성별, 키, 담배, 주거형태가 BMI랑 관련이 있다고 별이 뜨길래 전자들을 독립변수, 후자들을 종속변수라고 놓고 회귀분석을 돌리려고 하는데요!
    블로그에서처럼 4개의 요인을 한꺼번에 다중회귀분석 해도 되는지 궁금해서 여쭤보게 됐습니다. 블로그는 하나의 큰 변인 아래 다양한 걸 묻고 있다면 저는 다 서로 영향을 주지 않는 변인이라서 한개씩 해야할 것 같아서요. 상관 없는 건가요???

    • Favicon of https://learnx.tistory.com BlogIcon Learn X BboL 2017.11.29 11:05 신고

      상관없습니다. BMI 종속에 넣고 편하게 분석 진행하시면 됩니다.^^

      그리고 회귀분석할 때 독립변수에 다양한 변수가 들어갈수록 좋아요.

  15. 2018.04.04 14:56

    비밀댓글입니다

  16. 2018.09.06 13:26

    비밀댓글입니다

  17. 시퀴홀 2018.10.02 10:42

    안녕하세요 설명력에 대해 궁금한 것이 있습니다.

    보통 어느정도 수준이면 설명력이 괜찮다고 인식할 수 있을까요?

    어떤 논문은 6%인 결과도 있고 어떤건 50% 이상인 것도 있더라구요

    당연히 50% 이상이 더 신뢰한다고 생각하지만 6%인 설명력도 유의미하게 사용할 수 있습니까?

    • Favicon of https://learnx.tistory.com BlogIcon Learn X BboL 2018.10.08 19:05 신고

      설명력이 높으면 좋겠다만, 의미가 크지 않으므로 크게 신경쓰지 않으셔도 괜찮습니다. 유의한지 안한지가 훨씬 중요합니다.

  18. 도토리 2018.10.15 22:59

    안녕하세요. 변수들의 총합으로 돌리니 상관관계는 있다고 뜨지만 매개효과가 없는 것으로 떠서 위 블로그를 참조해서 하위변인들끼리 따로 매개효과를 보고자 했는데요. (전공자가 아니어서 혼자서 하고 있는데 깔끔한 정리로 정말 많이 도움이 되었습니다^^) 돌리던 중에 의문점이 생겼는데, 독립변수1과 종속변수1을 회귀분석하면 유의하게 뜨는데 독립변수1,2,3하고 종속변수1을 회귀분석하면 갑자기 유의하게 떴던 독립변수들이 모두 유의하지 않게 나옵니다. 분산분석에선 유의하다고 뜨는데 계수에선 모두유의하지 않습니다.. 이런경우에는 독립변수1,2,3을 한꺼번에 입력해서 돌린 회귀분석 결과가 맞는걸까요?? 독립변수를 모두 합친합과 종속변수 합은 모두 상관관계가 있다고 나오는데 하위별로는 없다고 나오니 당황스럽네요..

    • Favicon of https://learnx.tistory.com BlogIcon Learn X BboL 2018.11.22 19:27 신고

      우선 포스팅이 도움이 되었다면 다행입니다.^^ 지금 설명해주신 내용으로만 보기에는 유의하지 않다고 보는게 맞는 것 같습니다.;;ㅠ

  19. 2018.12.14 16:13

    비밀댓글입니다

  20. sw 2019.03.15 13:55

    안녕하세요! 통계를 공부하며 많은 도움을 받고 있는 학생입니다!
    궁금한것이 생겨서 질문을 남깁니다!
    혹시 다중회귀분석에 있어 독립변수를 설정할 때, 7점 리커트 척도로 수집한 데이터와, 횟수, 시간(분)의 데이터를 함께 넣어도 문제가 되지 않을까요?

  21. keypoint 2019.05.17 11:16

    저 진짜 죄송한데 질문 하나만 할게요 ㅠㅠ ! 요인분석에서 묶인 값과 다른 독립변수들과 함께 회귀분석을 실시할 시에는 그 요인으로 묶여있는 값이 1.29533, -54800 이런데 회귀분석이 가능한가요? 요인을 어떻게 변환해서 해야할까요?? 독립변수는 여러개고 요인들과의 값을 보고싶습니다!

+ 최근 게시물들