【SPSS】Modelerでコレスポンデンス分析をする方法

商品,高級感がある,お手頃価格,目が覚める,リラックスできる,よく飲む,たまに飲む,香り高い,あっさりしている,コクがある,渋みがある,おしゃれな感じ
エチオピア,22,28,36,46,5,4,26,13,6,3,7
カフェラテ,0,0,3,4,2,4,0,2,0,0,0
カプチーノ,7,11,17,23,4,5,2,4,3,2,5
グアテマラ,5,0,5,7,2,1,1,5,3,1,2
ココア,0,1,3,4,2,5,6,1,0,0,0
ブラジル,17,23,4,0,3,2,23,0,0,1,0
モカ,6,8,13,30,6,1,17,1,11,2,6
季節の果汁,5,7,16,23,2,2,5,6,5,3,5
煎茶,6,1,8,6,2,1,13,26,16,28,2
抹茶ラテ,27,13,16,2,2,12,0,2,1,2,10

#ライブラリのインポート
import mca  #コレスポンデンス分析
import numpy as np
import pandas as pd

#Modeler用
import spss.pyspark.runtime
from pyspark.sql.types import *

asContext = spss.pyspark.runtime.getContext()
sparkContext = asContext.getSparkContext()
sqlContext = asContext.getSparkSQLContext()

#データの読み込み
inputData = asContext.getSparkInputData()  #前ノードからのデータ読込
pdf = inputData.select("*").toPandas()  #pandasデータフレームワークに変換
indnm = pdf.columns[0]  #1列目の列名（商品）を取得
df = pdf.set_index(indnm)  #1列目の値（商品名）をインデックスに設定

#多重コレスポンデンス分析を実行
mca_counts = mca.MCA(df)
rows = mca_counts.fs_r(N=2)  #商品（行）の成分スコア　Nは保持する成分の数
cols = mca_counts.fs_c(N=2)  #イメージ（列）の成分スコア　Nは保持する成分の数

#商品（行）の成分スコアでデータフレームを作成
df_rows= pd.DataFrame(
    rows,
    columns = ['第1成分','第2成分']
)
rownm = df.index
df_rows.insert(0, 'クロス集計', '行')  #グラフプロット時に形状を指定するために使用
df_rows.insert(1, '対象', rownm)  

#イメージ（列）の成分スコアでデータフレームを作成
df_cols= pd.DataFrame(
    cols,
    columns=['第1成分','第2成分']
)
colnm = df.columns
df_cols.insert(0, 'クロス集計', '列')  #グラフプロット時に形状を指定するために使用
df_cols.insert(1, '対象', colnm)

#上記2つのデータフレームを結合
dfall = pd.concat([df_rows, df_cols])

#スキーマを作成（後続ノードに渡すフィールド(カラム)を設定）
fieldList =[
    StructField('クロス集計',StringType(),True),
    StructField('対象',StringType(),True),
    StructField('第1成分',FloatType(),True),
    StructField('第2成分',FloatType(),True)
]
outputSchema = StructType(fieldList)

#Modelerで使用　後続ノードに渡すデータ
if asContext.isComputeDataModelOnly():   
        outputData = sqlContext.createDataFrame(dfall)
        asContext.setSparkOutputSchema(outputSchema)
else:   
        outputData = sqlContext.createDataFrame(dfall)
        asContext.setSparkOutputData(outputData)