*

sed で連続した複数の空行を1つにまとめる

公開日: : 最終更新日:2014/07/16 パソコン

前日の記事「 WSH で初めてのプログラミング 」で行った作業ですが、ちょっと不満があったのでやり直し。

プログラムではなく、データ自体の問題。

6000以上ある個別のテキストファイルのうちのかなりのものが重複しているのですが、改行が1つ余分に入っているだけで同じファイルとは認識されず、ほぼ同じデータが最終データに大量に混入します。

そこでまたいろいろ考えたのですが、たしか sed(ストリームエディタ)で昔やったことがあるな、と。

sed マニュアル

調べてみるとありました。

/^$/{
N
/^\n$/D
}

 

上の sed 用コマンドで、複数個の連続した改行(空の行)を1つに縮められます。

> sed –f commandfile < file1 >file2

の書式を使って簡単に終了。

もちろん1個1個こんなことはしておらず、DOS用のsedコマンドを使ったためバッチファイルと組み合わせて一括で処理してしまいました。

前日の結果よりも 500個近い重複ファイルが排除され、ずいぶんスリムになりました。

上は DOS で行ったのでめんどくさいですが、Linux なら sed  も標準で装備していますし、強力なシェルスクリプトもありますので、もっと簡単。

上の sed 用コマンドを commandfile というファイルにしておいて次のようなシェルスクリプトを端末から走らせれば、テキストファイルが 6000個だろうと 6000万個だろうと一発ですんでしまいます。

 

#!/bin/bash

shori_files=”$(find /tmp/shorizen -name *.txt)”
for file in $shori_files
do
    sed -f commandfile < $file >  /temp/shorigo $file
done

###

 

関連記事

Ubuntu14.04LTS 32ビット版 インストールしてみた(3)

* インストールしたマシンは DELL Vostro200(ヤフオクでの中古)のスリムケース版

記事を読む

LXLE 再びインストール

> SugarMoon : LXLE Linux ディストリビューションの LXLE

記事を読む

Ubuntu って

* Ubuntu 12.04 の画面はスタートメニューがないので、なんかマックっぽい。 Da

記事を読む

格安高性能マザーボード Foxconn Z68A-S

格安高性能マザーボード Foxconn Z68A-S FOXCONN/フォック

記事を読む

NEC PC-MK33LLZT1FJD うれしい誤算

以前の記事「【ヤフオク】NEC PC-MK33LLZT1FJD 到着 」の続きです。

記事を読む

Windows7 で Amivoice

Amivoice EX RAD の従来版は Windows7 で動かないという話を聞いていました

記事を読む

遠隔画像診断装置の端末が立ち上がらない

それは一昨日のこと。 高槻の遠隔画像診断センターに置いてある特殊な診断用端末(3面モニタ仕様)

記事を読む

XP でも 簡単に 4画面出力 GF-QUAD-DISP/4DVI (2)

玄人志向 グラフィックボード DVIx4 4画面出力 ファンレス GF-QU

記事を読む

録画マシンの入れ替え

 地デジマシンを7月24日に即席で作りましたが、不都合がいっぱい。  従来の 2号機に PT2

記事を読む

Zorin OS でプルンプルン

* よくできた Linux ディストリビューションである Zorin OS ですが、一つ言い忘

記事を読む

Message

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

【FX】AXI Select インキュベーションステージ最初の報酬

ひさびさに プロップファームの AXI Select のお話です。

イシバの功績

高市総理がすごい成果を上げている。 マスコミはなぜトランプを非難

米国債20年超プレミアムインカムETF(453A)

また面白い高配当ETF を見つけました。米国債20年超プレミアムインカ

WCM 世界成長株厳選ファンド(予想分配金提示型)【愛称】ネクスト・ジェネレーション(2)

以前紹介した「WCM 世界成長株厳選ファンド(予想分配金提示型)【愛称

静かな森?

Stillwood という Youtube チャンネルがあります。>

→もっと見る

  • 2026年5月
     123
    45678910
    11121314151617
    18192021222324
    25262728293031
  • アクセスカウンター
PAGE TOP ↑