01.09.09(日)

 


     55000ヒット! どうもありがとうございます。

    ◆大容量テキスト

     久々にニュースグループから大量にデータをぶっこ抜いたところ、100MB を超えるテキストデータができてしまい、困ってしまいました。ナゼって、このままだとでかすぎて処理できないからです。愛用の Wz エディタは時々死ぬ困ったチャンですが、こんなでかいデータを読み込むことは当然できずにハングってしまいます。秀丸もえんえん読み込もうとしたあげく、「許容量を超えました」と言って読み込まず。O's エディタも ブーンエディタも Qx もだめ。いずれもメモリに一度データ全体を読み込むことができないのが原因でしょう。ちょっと困ったのですが、こういうときは1行ずつ読んで吐き出す(メモリには最大でも数行分しか読み込まない)、懐かしの DOS TOOLS を使います。彼らのうちストリームエディタ(sed)くんの出番です。次のようにバッチファイルをつくり、実行しますと6つの 18MB ほどのテキストに分割されました(切れ目はのりしろのようにダブらせています)。18MB くらいなら編集は楽勝です。

    c:\tool\sed -e "1,300000!d" 0909-a.uue >9-a_tmp1.uue
    c:\tool\sed -e "290000,600000!d" 0909-a.uue >9-a_tmp2.uue
    c:\tool\sed -e "590000,900000!d" 0909-a.uue >9-a_tmp3.uue
    c:\tool\sed -e "890000,1200000!d" 0909-a.uue >9-a_tmp4.uue
    c:\tool\sed -e "1190000,1500000!d" 0909-a.uue >9-a_tmp5.uue
    c:\tool\sed -e "1,1490000d" 0909-a.uue >9-a_tmp6.uue

     こういうときはパソコン歴20年の経験が役にたつものですね(しみじみモード)。


 


ホームページへ

 

パソコン日記