「次元」

「次元」がいろんな意味で使われることがある、という話。

まずはR^pのpに相当する、行列の列数、行数に対応した「次元」で、データの要素数のことを指す。一般的な「多変量解析」はこれ。

物理的な「3次元空間」というときの「次元」もこちらであって、1階のテンソルであるベクトルで

s0sem0y.hatenablog.com

テンソルの階数（＝配列の次元数）として「次元」が用いられることもある。

3階のテンソルは3次元配列として表現される。添え字の数、と言っても良い。

###############################

●0階テンソル

x$x$

0階テンソル（スカラー）は単に何らかの値x$x$に過ぎません。

ですからこれでいいでしょう。

●1階テンソル

xi$x_i$

1階テンソルは元々はベクトルです。何番目の成分かを指定するi$i$を導入すれば、この1階テンソルを一般的に記述できます。

●2階テンソル

xij$x_{ij}$

2階テンソルは元々は行列です。行と列を指定するi,j$i,j$があれば2階テンソルのすべてを把握することができるはずです。これは元々は1階テンソルを並べたものですから、j$j$個目の1階テンソルのi$i$番目の成分だと考えることもできます。

●3階テンソル

xijk$x_{ijk}$

同様に3階テンソルならば、データの形で言うならば「行と列と高さ」に相当する3つのインデックスを与えればいいでしょう。こちらも、k$k$個目の2階テンソルのi,j$i,j$成分ということになります。

●4階テンソル

xijkl$x_{ijkl}$

4階テンソルになると、添字にデータの形としての意味を与えることはできません（行とか列とか高さとかなんて概念は3次元までのお話です）。しかしそれは私達の理解を助けるために便宜的に用いてきた表現であって、ここまでこれば添字がもう1つ増えればl$l$番目の3階テンソルのi,j,k$i,j,k$成分を指定できると納得するはずです。

###############################

28*28ピクセルのグレースケール画像データは、

784次元のデータ要素数。

全て1列に並べれば、1次元配列（＝ベクトル）で表現できるし、

28*28に並べれば、2次元配列（＝行列）でも表現できる。

同様に例えば、RGB画像データであれば、

784*3の1次元配列や

28*(28*3)の2次元配列でも表現できるが、

データの構造を表現できる

28*28*3の3次元配列（＝3階のテンソル）で処理したほうが、何かと好都合と思われる。

mathcommunication.hatenablog.com

数学や物理でのテンソル、テンソル場、テンソル積にはいろいろと難しいことがありそうだが、機械学習の場面では上記ぐらいの理解でよさそう。