Regulation (Boston Housing 문제)

from keras.datasets import boston_housing

(train_data, train_targets), (test_data, test_targets) = boston_housing.load_data()

#데이터 준비
#스케일이 다른 값을 입력값으로 삼을 때 생기는 문제를 해소하기 위해 특성별로 정규화(표준화)를 시켜주자
#각 열의 특성에 대해 평균을 빼고 표준편차로 나눈다.
mean = train_data.mean(axis=0)
train_data -= mean
std = train_data.std(axis=0)
train_data /= std

#훈련 데이터에서 계산한 값으로 테스트 데이터를 정규화한다. 기본적으로 테스트 데이터에서 계산한 값을 쓰면 안된다.
test_data -= mean
test_data /= std

from keras import models
from keras import layers

def build_model():
    model = models.Sequential()
    model.add(layers.Dense(64, activation='relu',
                           input_shape=(train_data.shape[1],)))
    model.add(layers.Dense(64, activation='relu'))
    #선형층 - 스칼라 회귀를 위한 구성 - 출력값의 범위를 제한하지 않으므로 활성화 함수 필요 x
    model.add(layers.Dense(1))
    #mse(mean squared error/평균제곱오차) - 회귀문제에서 흔히 사용되는 손실함수
    #mae(mean absolute error/평균절대오차) - 예측과 타깃값 사이의 거리 절대값.
    model.compile(optimizer='rmsprop', loss='mse', metrics=['mean_absolute_error'])
    return model

#K-fole cross-validation(K-겹 검증)
#K개의 fold로 분할하여 하나의 fold를 검증셋으로 삼아 나머지를 훈련해 나온 검증점수 합쳐 평균점수를 내는 방식
import numpy as np
k = 4 #4개의 폴드로 나눔
num_val_samples = len(train_data) // k
'''num_epochs = 100
all_scores = []'''
num_epochs = 500
all_mae_histories = []
for i in range(k):
    print('처리중인 폴드 #', i)
    #검증셋으로 사용될 폴드
    val_data = train_data[i * num_val_samples: (i+1) * num_val_samples] #kth fold
    val_targets = train_targets[i * num_val_samples: (i+1) * num_val_samples] #kth fold
    
    #훈련셋으로 사용될 나머지 폴드를 하나의 numpy array로 결합
    partial_train_data = np.concatenate([train_data[:i * num_val_samples],
                                        train_data[(i+1) * num_val_samples:]],
                                        axis=0)
    partial_train_targets = np.concatenate([train_targets[:i * num_val_samples],
                                        train_targets[(i+1) * num_val_samples:]],
                                        axis=0)
    
    model = build_model()
    history = model.fit(partial_train_data, partial_train_targets,
                        validation_data=(val_data, val_targets),
                        epochs=num_epochs, batch_size=1, verbose=0) #verbose=0 -> 훈련과정 출력 X
    #val_mse, val_mae = model.evaluate(val_data, val_targets, verbose=0) #검증셋으로 평가
    #all_scores.append(val_mae) #모든 검증 점수를 배열로 저장
    mae_history = history.history['val_mean_absolute_error']
    all_mae_histories.append(mae_history)


#print(all_scores)
#print(np.mean(all_scores))    

#파이썬 리스트내포
average_mae_history = [np.mean([x[i] for x in all_mae_histories]) for i in range(num_epochs)]

#스케일이 다른 첫 10개 데이터 포인트 제외 + 부드러운 곡선 위한 지수 이동 평균 처리
def smooth_curve(points, factor=0.9):
    smoothed_points=[]
    for point in points:
        if smoothed_points:
            previous = smoothed_points[-1]
            smoothed_points.append(previous * factor + point * (1 - factor)) #지수 이동 평균
        else:
            smoothed_points.append(point)
    return smoothed_points

smooth_mae_history = smooth_curve(average_mae_history[10:]) #스케일이 다른 첫 10개 데이터 포인트 제외

import matplotlib.pyplot as plt
plt.plot(range(1, len(smooth_mae_history) + 1), smooth_mae_history)
plt.xlabel('Epochs')
plt.ylabel("Validation MAE")
plt.show()

케라스 창시자에게 배우는 딥러닝 책을 참고하였습니다.