Analisis korelasi dan regresi linear adalah dua tools penting yang membahas tentang hubungan antar peubah. Analisis korelasi membahas mengenai keeratan hubungan di antara dua peubah kuantitatif, sedangkan analisis regresi membahas mengenai bentuk hubungan atau hubungan fungsi di antara suatu peubah tak bebas dengan satu atau lebih peubah-peubah bebas. Besarnya korelasi antara dua peubah diukur oleh statistik koefisien korelasi yang bernilai antara -1 s/d +1. Korelasi negatif mengindikasikan hubungan yang cenderung saling menegasikan atau menghambat/menurunkan di antara kedua peubah. Peningkatan nilai suatu peubah cenderung menurunkan nilai peubah lainnya yang berkorelasi dengan peubah itu; Demikian pulalah sebaliknya.
Analisis regresi, yaitu analisis mengenai bentuk hubungan atau hubungan fungsi, melibatkan bentuk hubungan atau hubungan fungsi di antara satu peubah tak bebas (disebut juga peubah y) dengan satu atau lebih peubah bebas lainnya (disebut juga peubah tak bebas x). Analisis regresi yang melibatkan hanya satu peubah bebas ini sering disebut sebagai analisis regresi linear sederhana. Secara matematis, hubungan fungsi ini mengambil bentuk: y = f(x), dan dapat digambarkan dalam bentuk suatu kurva garis lurus.
Di lain pihak, bila analisis regresi melibatkan lebih dari satu peubah bebas disebut sebagai analisis regresi linear berganda. Hubungan fungsi ini mengambil bentuk y = f(x1, x2,..., xk), dan bahkan dapat melibatkan interaksi di antara peubah-peubah bebas xi. Kadang-kadang, ketika semakin banyak peubah bebas terlibat, hasil analisis menjadi tidak efisien, terutama karena adanya pelanggaran asumsi analisis ragam dan multikolinearitas, yaitu adanya korelasi di antara peubah-peubah bebas. Oleh sebab itu, dapat dilakukan diagnosis data dan pemilihan model regresi terbaik. Beberapa pendekatan pemilihan model regresi terbaik misalnya dengan pendekatan analisis regresi stepwise, best subset regression, atau ridge regression untuk menghasilkan model regresi terbaik. Pendekatan terakhir terutama penting ketika ukuran contoh lebih kecil dari banyaknya peubah bebas.
Kadang-kadang, hubungan antara peubah bebas dan tak bebas tidak mengambil bentuk kurva garis lurus, tetapi mengambil bentuk kurva garis lengkung (kurvilinear) yang khas. Misalnya kurva lengkung seperti kurva kuadratik, kubik, kuartik, kuintik dan seterusnya; atau kurva eksponensial. Analisis regresi untuk bentuk khusus ini disebut analisis regresi kurvilinear. Bentuk-bentuk lengkung kuadratik, kubik, kuartik, kuintik dan seterusnya disebut juga regresi polinom (berpangkat tinggi), yaitu satu peubah bebas dengan hasil pemangkatannya membentuk peubah baru, misalnya pangkat dua (kuadratik), pangkat tiga (kubik), dan seterusnya, dan dianalisis selanjutnya dengan analisis regresi linear berganda. Di lain pihak, bentuk kurva eksponensial terlihat tidak linear, tetapi dapat dilinearkan dengan cara peubah bebasnya atau peubah tak bebasnya dilogaritmakan sehingga membentuk model persamaan linear. Oleh sebab itu, analisis regresi yang berhasil dilinearkan dengan penglogaritmaan ini disebut juga analisis regresi linear intrinsik.
Untuk membahasnya, silahkan ikuti pada link berikut ini:
1. Analisis Korelasi dan Regresi Linear Sederhana
2. Analisis Regresi Linear Berganda
3. Analisis Regresi Kurvilinear
4. Diagnosis Data dan Pemilihan Model Regresi Terbaik
