공간

import tensorflow as tf

//Load data

x = tf.placeholder(tf.float32,[None,784])  //data가 들어갈 부분

W = tf.Variable(tf.zeros([784,10]))  //학습될 weight의 자리 - 0으로 초기화

b = tf.Variable(tf.zeros([10])) //학습될 bias b의 자리 - 0으로 초기화

y = tf.nn.softmax(tf.matmul(x,W)+b) //

//Train the model

y_=tf.placeholder(tf.float32,[None,10])

cross_entropy = -tf.reduce_sum(y_ * tf.log(y))

train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)

init = tf.initialize_all_variables()

sess = tf.Session()

sess.run(init)

//실제 train하는 부분 //데이터를 100개씩 1000번 주면서 train_step을 밟음

for i in range(1000):

  batch_xs, batch_ys = mnist.train.next_batch(100)

  sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})

//Evaluate the model

correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(y_,1))

accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))

print sess.run(accuracy, feed_dict={x: mnist.test.images, y_: mnist.test.labels})

 tensor :  the relationship among the various dimensions is represented by higher-order matrices 

한마디로 다차원 행렬로 표현된 여러 피처들 사이의 어떤 관계

tensor factorization : 이런 tensor를 여러개의 행렬 사이의 곱으로 표현되도록 하는 것

Likelihood Function또는 줄여서 Likelihood의 뜻

어떤 결과값 x 가 주어졌을때, Parameter set θ의 likelihood는  

 θ가 주어졌을 때, 결과값 x가 나올 확률로 추정된다.

따라서 Likelihood는 어떤 파라미터의 함수이고,  로 표현된다.

우리가 어떤 경우에 데이터 x를 가지고 있는데, 모델을 학습하기 위해 Parameter set θ를 구하고 싶어 할 수 있다.

그럴때 뭔가 그 파라미터가 우리가 찾는 정답의 파라미터일 likelihood를 구하고 싶어지고, 그것을 P(x|θ)로 estimate한다는 것. 우리가 임의의 θ= a인 것의 Likelihood를 알고 싶다고 하면, 일단 θ= a라고 치고, x가 나올 확률을 구하면 된다는 뜻!!

event->R로 매핑하는 함수

직관적으로 event와 관련된 어떤 cost로 매핑시켜주는 함수

전통적으로 parameter estimation에 많이 사용됨

classifiation 문제에서는 잘못된 분류의 penalty로 사용되는 경우가 많음