解答例 1

$I=(0, \infty)$, $f(x)=-\log x$ とおく. 任意の $x\in I$ に対して, \begin{align*} & f'(x) = -\frac{1}{x}, \tag{1} \\ & f''(x) = \frac{1}{x^2}. \tag{2} \end{align*} (2) より $f''(x)>0$ であるから, $f(x)$ は $I$ 上の狭義凸関数である. よって, 任意の $a_{k}\in I$ ($k=1$, $2$, $\ldots$, $n$) に対して, 不等式 $$ f\left( \sum_{k=1}^{n}p_{k}a_{k} \right) \leq \sum_{k=1}^{n}p_{k}f(a_{k}) $$ が成り立ち, 等号は $a_1=a_2=\cdots=a_n$ のときに限り成り立つ.

特に, $a_{k}=1/p_{k}$ ($k=1$, $2$, $\ldots$, $n$) とおくと, $$ f(n) = f\left( \sum_{k=1}^{n}p_{k}\cdot\frac{1}{p_{k}} \right) \leq \sum_{k=1}^{n}p_{k}f\left(\frac{1}{p_{k}}\right). $$ すなわち, $$ -\log{n} \leq \sum_{k=1}^{n}p_{k}\left(-\log{\frac{1}{p_{k}}}\right) = \sum_{k=1}^{n}p_{k}\log{p_{k}}. $$ ゆえに, $$ H(p_1, p_2, \ldots, p_n) = -\sum_{k=1}^{n}p_{k}\log{p_{k}}\leq \log{n}. $$ 等号は, $p_{1}=p_{2}=\cdots=p_{n}$ のとき, またそのときのみ成り立つ. さらに, $p_{1}+p_{2}+\cdots+p_{n}=1$ であるから, $$ p_{1}=p_{2}=\cdots=p_{n} \Longleftrightarrow p_k=\frac{1}{n}\;(k=1, 2, \ldots, n). $$ したがって, $H(p_1, p_2, \ldots, p_n)$ は, $p_{1}=p_{2}=\cdots=p_{n}=1/n$ のとき最大値 $\log n$ をとる.

解答例 2

まず, $g = g(p_1, p_2, \ldots, p_n) = p_1 + p_2 + \cdots + p_n - 1$ とおき, \begin{align*} & C = \{ (p_1, p_2, \ldots, p_n)\in\mathbb{R}^n \mid g(p_1, p_2, \ldots, p_n) = 0\}, \\ & D = \prod_{i=1}^n(0, 1),\quad \overline{D} = \prod_{i=1}^n[0, 1],\quad \partial D = \overline{D}\setminus D \end{align*} とおく. $\overline{D}$ は $D$ の閉包であり, $\partial D$ は $D$ (および $\overline{D}$) の境界である.

$\displaystyle\lim_{x\to+0}x\log x=0$ を用いれば, $H=H(p_1, p_2, \ldots, p_n)$ の定義域は $\partial D$ まで拡張できて, $\overline{D}$ 上連続になる. $\overline{D}\cap C$ は $\mathbb{R}^n$ の有界閉集合なので, $H$ は $\overline{D}\cap C$ 上で最大値と最小値をとる. また, $\overline{D}$ 上では常に $H\geq 0$ である.

$H$ は $D$ 上 $C^1$ 級である. そこで, 条件 $g=0$ のもとでの $H$ の極値を与える点を Lagrange の未定乗数法で求める. \begin{align*} F &= F(p_1, p_2, \ldots, p_n) = H - \lambda g \\ &= -\sum_{k=1}^np_k\log p_k - \lambda(p_1 + p_2 + \cdots + p_n - 1) \end{align*} とおき, 連立方程式 \begin{align*} \frac{\partial F}{\partial p_k} &= -\log p_k - 1 - \lambda = 0\quad (k=1, 2, \ldots, n) \\ \frac{\partial F}{\partial \lambda} &= 1 - (p_1 + p_2 + \cdots + p_n) = 0 \end{align*} を解くと, ただ1つの解 $$ p_1=p_2=\cdots=p_n=\frac{1}{n},\quad \lambda = -\log\frac{1}{n} - 1 $$ が得られる.

さて, $p_1=p_2=\cdots=p_n=1/n$ のとき, $$ H\left(\frac{1}{n},\,\frac{1}{n},\,\ldots,\,\frac{1}{n}\right) = -\sum_{k=1}^n\frac{1}{n}\log\frac{1}{n} = \log n. $$ 以下, これが $\overline{D}\cap C$ における $H$ の最大値であることを, $n$ に関する数学的帰納法により証明する.

$n=2$ のとき, $H(1, 0)=H(0, 1)=0$ より, $\partial D\cap C$ で $H(p_1, p_2)$ は最小値 $0$ をとる. ゆえに, $H(p_1, p_2)$ は $p_1=p_2=1/2$ のとき最大値をとる.

一般の場合を証明するために, $2\leq l<n$ なる全ての整数 $l$ に対し, $p_1=p_2=\cdots=p_l=1/l$ のとき $l$ 変数の $H(p_1, p_2, \ldots, p_l)$ が最大値 $\log l$ をとると仮定する. $p_1$, $p_2$, $\ldots$, $p_n$ を実数とし, そのうち $0$ でないものの個数を $m$ とする. $m<n$ ならば, 帰納法の仮定より, $n$ 変数の $H(p_1, p_2, \ldots, p_n)$ に関して $$ H(p_1, p_2, \ldots, p_n) \leq \log m < \log n = H\left(\frac{1}{n},\,\frac{1}{n},\,\ldots,\,\frac{1}{n}\right) $$ が成り立つ. ゆえに, $\partial D\cap C$ では最大値をとらない. したがって, $H(p_1, p_2, \ldots, p_n)$ は $p_1=p_2=\cdots=p_n=1/n$ のとき最大値をとる.

以上より, すべての整数 $n\geq 2$ に対して, $H(p_1, p_2, \ldots, p_n)$ は $p_1=p_2=\cdots=p_n=1/n$ のとき $\overline{D}\cap C$ における最大値 $\log n$ をとることが示された.

最終更新日：2011年11月02日