エンジニアの人は「FTPはバイナリモードで行っておけば問題ない」的な話しを先輩から聞いたことがあるかも知れません。そしてこれは概ね正しいのですが稀に問題が置きます。

昨今のFTPソフトは自動判定モードがありますのでそれを使った場合は問題ないかとは思いますが、あえてバイナリーモードを選んだり、FTPコマンドを使った場合などに問題が起こるケースがあります。それ以外にもcgiのzipファイルをローカルで解凍してからFTPで転送するのではなく、サーバーに転送してからzipを解凍した場合にも問題が発生する場合があります。

この問題というのはCGIの場合に起こります。htmlやcss、js、phpなどでは起こりません。起こるのは改行コードを解釈する場合です。

ここでFTPのバイナリモードとアスキーモードの違いを見ておきます。「バイナリモードはファイルを何も変更せずに転送、アスキーモードはサーバー側の環境に文字コードや改行コードを合わせて転送」とざっくり思っている方もいるかもしれませんがこれは違います。

実際には

こういった形です。勘違いしやすいですが「文字コードは変更されません」。変更されるのは「改行コード」のみです。

改行コードをCGIで解釈できない場合に「構文エラーとなり "500 Internal Server Error"」が発生します。そしてLinuxサーバーでは文字コードは"utf-8"か"euc-jp"の場合がありますが、改行コードは「LF」です。

ですのでより具体的な解説としては「CRLF」の改行コードを持つCGIファイルをLinuxサーバーで実行させた時にエラーが発生します。

改行コードだけでなく文字コードの問題もあります。

もしnkf等を使って下記のようにファイルを変換してしまうと

エラーにはならないものの「文字化け」が発生したりします。これは元ファイルが"shift_jis"だった為、下記の様にhtmlレベルで文字コードにshift_jisが指定してあるだろうからです。

<span style="color: #7C7C7C;">&lt;!-- html5  --&gt;</span>
<span style="color: #cdc9c9;">&lt;</span><span style="color: #8b8989;">meta</span> <span style="color: #cdc9c9;">charset</span><span style="color: #cdc9c9;">=</span><span style="color: #8AE234;">"shift_jis"</span> <span style="color: #cdc9c9;">/&gt;</span>

<span style="color: #7C7C7C;">&lt;!-- html --&gt;</span>
<span style="color: #cdc9c9;">&lt;</span><span style="color: #8b8989;">meta</span> <span style="color: #cdc9c9;">http-equiv</span><span style="color: #cdc9c9;">=</span><span style="color: #8AE234;">"Content-Type"</span> <span style="color: #cdc9c9;">content</span><span style="color: #cdc9c9;">=</span><span style="color: #8AE234;">"text/html; charset=shift_jis"</span><span style="color: #cdc9c9;">/&gt;</span>

ですので改行コードだけでなく文字コードまで変更してしまうと問題が起きることがあります。この辺はCGIの作者がどこまで考慮しているかにも依りますね。

改行コードを確認する方法を解説します。いくつか方法があるかと思いますが "od" コマンドが手軽です。実行結果の末尾が "\r\n" であれば改行コードは「CRLF」、"\n" であれば「LF」です。下記に例を載せておきます。

% od -c ftp-ascii-test-sjis-CRLF.cgi
<span style="color: #8c8c8c;">0000000    #   !   /   u   s   r   /   l   o   c   a   l   /   b   i   n
0000020    /   p   e   r   l  \r  \n  \r  \n   p   r   i   n   t       "
0000040    C   o   n   t   e   n   t   -   t   y   p   e   :       t   e
0000060    x   t   /   h   t   m   l   \   n   "   ;  \r  \n   p   r   i
0000100    n   t       "   \   n   "   ;  \r  \n   p   r   i   n   t
0000120    "   &lt;   h   t   m   l   &gt;   \   n   "   ;  \r  \n   p   r   i
0000140    n   t       "   &lt;   h   e   a   d   &gt;   \   n   "   ;  \r  \n
0000160    p   r   i   n   t       "   &lt;   m   e   t   a       c   h   a
0000200    r   s   e   t   =   \   "   s   h   i   f   t   _   j   i   s
0000220    \   "   &gt;   \   n   "   ;  \r  \n   p   r   i   n   t       "
0000240    &lt;   t   i   t   l   e   &gt; 203   e 203   X 203   g   &lt;   /   t
0000260    i   t   l   e   &gt;   \   n   "   ;  \r  \n   p   r   i   n   t
0000300        "   &lt;   /   h   e   a   d   &gt;   \   n   "   ;  \r  \n   p
0000320    r   i   n   t       "   &lt;   b   o   d   y   &gt;   \   n   "   ;
0000340   \r  \n   p   r   i   n   t       " 202 261 202 352 202 315   C
0000360    G   I 202    &#771;  **   e 203   X 203   g 202   &#322;  ** 267 201   B
0000400    \   n   "   ;  \r  \n   p   r   i   n   t       "   &lt;   /   b
0000420    o   d   y   &gt;   \   n   "   ;  \r  \n   p   r   i   n   t
0000440    "   &lt;   /   h   t   m   l   &gt;   \   n   "   ;  \r  \n  \r  \n
0000460</span>

% od -c ftp-ascii-test-utf8-LF.cgi
<span style="color: #8c8c8c;">0000000    #   !   /   u   s   r   /   l   o   c   a   l   /   b   i   n
0000020    /   p   e   r   l  \n  \n   p   r   i   n   t       "   C   o
0000040    n   t   e   n   t   -   t   y   p   e   :       t   e   x   t
0000060    /   h   t   m   l   \   n   "   ;  \n   p   r   i   n   t
0000100    "   \   n   "   ;  \n   p   r   i   n   t       "   &lt;   h   t
0000120    m   l   &gt;   \   n   "   ;  \n   p   r   i   n   t       "   &lt;
0000140    h   e   a   d   &gt;   \   n   "   ;  \n   p   r   i   n   t
0000160    "   &lt;   m   e   t   a       c   h   a   r   s   e   t   =   \
0000200    "   U   T   F   -   8   \   "   &gt;   \   n   "   ;  \n   p   r
0000220    i   n   t       "   &lt;   t   i   t   l   e   &gt;  &#12486;  **  **  &#12473;
0000240   **  **  &#12488;  **  **   &lt;   /   t   i   t   l   e   &gt;   \   n   "
0000260    ;  \n   p   r   i   n   t       "   &lt;   /   h   e   a   d   &gt;
0000300    \   n   "   ;  \n   p   r   i   n   t       "   &lt;   b   o   d
0000320    y   &gt;   \   n   "   ;  \n   p   r   i   n   t       "  &#12371;  **
0000340   **  &#12428;  **  **  &#12399;  **  **   C   G   I  &#12398;  **  **  &#12486;  **  **
0000360   &#12473;  **  **  &#12488;  **  **  &#12391;  **  **  &#12377;  **  **  &#12290;  **  **   \
0000400    n   "   ;  \n   p   r   i   n   t       "   &lt;   /   b   o   d
0000420    y   &gt;   \   n   "   ;  \n   p   r   i   n   t       "   &lt;   /
0000440    h   t   m   l   &gt;   \   n   "   ;  \n  \n
0000453</span>

次にFTPのバイナリモードで転送してしまったファイルを変換する方法を解説します。ASCIIモードで再度転送しなくても変換することが可能です。変換にはnkfを利用します。

文字コードは「shift_jis」で改行コードが「CRLF」のファイルを、文字コードを変えずに改行コードのみ「LF」にしてみます。

% nkf -Lu --overwrite file

or

% nkf -sLu --overwrite file

こんな感じで変換できます。パラメーターを解説すると、-s が「shift_jisで出力」、-Lu が「改行コードをUnix形式(LF)で出力」、--overwrite が「出力結果でファイルを上書き」です。

findと組み合わせれば一括置換も可能です。例えばこんな感じです。

% find . -iregex ".+\.cgi" -exec nkf -sLu --overwrite {} \;

or

% find . -iregex ".+\.cgi" | xargs nkf -sLu --overwrite

同様の事をEmacsでもやってみます。

まず改行コードの確認は

M-x describe-coding-system (<f1> C) RET

or

M-x describe-current-coding-system

で行えます。

例えば文字コードが「シフトJIS」で改行コードが「CRLF」というWindowsで一般的なファイルであればこの様に表示されます。

Coding system for saving this buffer:
  S -- japanese-shift-jis-dos (alias: shift_jis-dos sjis-dos)

「japanese-shift-jis-dos」 の "japanese-shift-jis" 部分が文字コード、"dos"の部分が改行コードです。"dos"は「CRLF」を表します。

また文字コードが「utf-8」で改行コードが「LF」というLinuxやMacで一般的なファイルであればこの様に表示されます。

Coding system for saving this buffer:
  U -- utf-8-unix (alias: mule-utf-8-unix utf8-unix UTF8-unix UTF-8-unix)

同様に「utf-8-unix」の "utf-8" 部分が文字コード、"unix" 部分が改行コードです。"unix"は「LF」を表します。

Emacsで改行コードのみ変更するには下記のように操作します。

C-x RET f (M-x set-buffer-file-coding-system) unix

変更したいファイルを開き、"C-x RET f" とタイプし "unix" とだけ入力します。これで文字コードはそのままで改行コードのみ変更されます。

ちなみに文字コードも変更したい時は同様の操作で

C-x RET f (M-x set-buffer-file-coding-system) utf-8-unix

といった感じで指定します。

仕組みを理解すれば予想外のエラーにもスムーズに対応できます。それでは長くなりましたがこの辺で。