*

sed で連続した複数の空行を1つにまとめる

公開日: : 最終更新日:2014/07/16 パソコン

前日の記事「 WSH で初めてのプログラミング 」で行った作業ですが、ちょっと不満があったのでやり直し。

プログラムではなく、データ自体の問題。

6000以上ある個別のテキストファイルのうちのかなりのものが重複しているのですが、改行が1つ余分に入っているだけで同じファイルとは認識されず、ほぼ同じデータが最終データに大量に混入します。

そこでまたいろいろ考えたのですが、たしか sed(ストリームエディタ)で昔やったことがあるな、と。

sed マニュアル

調べてみるとありました。

/^$/{
N
/^\n$/D
}

 

上の sed 用コマンドで、複数個の連続した改行(空の行)を1つに縮められます。

> sed –f commandfile < file1 >file2

の書式を使って簡単に終了。

もちろん1個1個こんなことはしておらず、DOS用のsedコマンドを使ったためバッチファイルと組み合わせて一括で処理してしまいました。

前日の結果よりも 500個近い重複ファイルが排除され、ずいぶんスリムになりました。

上は DOS で行ったのでめんどくさいですが、Linux なら sed  も標準で装備していますし、強力なシェルスクリプトもありますので、もっと簡単。

上の sed 用コマンドを commandfile というファイルにしておいて次のようなシェルスクリプトを端末から走らせれば、テキストファイルが 6000個だろうと 6000万個だろうと一発ですんでしまいます。

 

#!/bin/bash

shori_files=”$(find /tmp/shorizen -name *.txt)”
for file in $shori_files
do
    sed -f commandfile < $file >  /temp/shorigo $file
done

###

 

関連記事

Windows はどこへ行く

* Windows8 が出たようですが、興味がない。 見かけだけが変わったようで、その見かけ

記事を読む

医知悟は Java7 非対応

* 愛用の Windows2000 マシンで勝手に Java がアップグレードしてしまい、その

記事を読む

AWOWミニpc win11 Pro N100 16GB DDR4 512GB 注文

アマゾンのブラックフライデー、買うものないなと思ってましたが、最近メモリや SSD の値段が

記事を読む

HP B110a ナイスなプリンタ

HP Photosmart Wireless B110a インターネット直接接続

記事を読む

Juniper netscreen 5GT

  以前、ハルク社の遠隔画像診断システムを使っていたときに自宅やセンターに設置してくれていたの

記事を読む

Benfei 製 USB接続外付けドライブケース2機種

Benfei という中国メーカーの SSD 周りの小物は作りが結構しっかりしており、何度か購入してい

記事を読む

アップルの終焉

* iPhone 5s, iPhone 5c が発売されたようですが、私はスマホは全然使ってい

記事を読む

膵臓癌 スティーブ・ジョブズ

スティーブ・ジョブズが亡くなったそうな。 膵臓癌にしてはよくもったほうですね。 今年のノーベル

記事を読む

信頼の BD-R ディスク LM-BR25LDH10

今時珍しい日本製の Blu-ray の相変化追記型のディスク パナソニック製 LM-BR25

記事を読む

久々の回線トラブル

今朝早起きして残した仕事を片付けてから出勤しようと思ったら、自宅の PCがネットにつながらない。

記事を読む

Message

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

画像生成系AI「Dreamina AI」

画像生成系の AI の一つに「Dreamina AI」があります。

ハリソン内科学 第3版(原著第17版)が 330円

昨日、久々にブックオフ堅田店に行くと、書籍の置き場がさらに縮小し、バト

韓国ブラックマンデー来たか

昨日の記事「韓国ブラックマンデー来るか」の続きです。 テ

韓国ブラックマンデー来るか

韓国の株価指数が先月末にダブルトップをつけ、今月は明らかな下降トレンド

2026年7月 MT5 デモ口座運用成績(1) Gemini の活用

MetaTrader5(MT5)を使って唯一まともに運用している Ti

→もっと見る

  • アクセスカウンター
PAGE TOP ↑