*

sed で連続した複数の空行を1つにまとめる

公開日: : 最終更新日:2014/07/16 パソコン

前日の記事「 WSH で初めてのプログラミング 」で行った作業ですが、ちょっと不満があったのでやり直し。

プログラムではなく、データ自体の問題。

6000以上ある個別のテキストファイルのうちのかなりのものが重複しているのですが、改行が1つ余分に入っているだけで同じファイルとは認識されず、ほぼ同じデータが最終データに大量に混入します。

そこでまたいろいろ考えたのですが、たしか sed(ストリームエディタ)で昔やったことがあるな、と。

> sed マニュアル

調べてみるとありました。

/^$/{
N
/^\n$/D
}

 

上の sed 用コマンドで、複数個の連続した改行(空の行)を1つに縮められます。

> sed –f commandfile < file1 >file2

の書式を使って簡単に終了。

もちろん1個1個こんなことはしておらず、DOS用のsedコマンドを使ったためバッチファイルと組み合わせて一括で処理してしまいました。

前日の結果よりも 500個近い重複ファイルが排除され、ずいぶんスリムになりました。

*

上は DOS で行ったのでめんどくさいですが、Linux なら sed  も標準で装備していますし、強力なシェルスクリプトもありますので、もっと簡単。

上の sed 用コマンドを commandfile というファイルにしておいて次のようなシェルスクリプトを端末から走らせれば、テキストファイルが 6000個だろうと 6000万個だろうと一発ですんでしまいます。

 

#!/bin/bash

shori_files=”$(find /tmp/shorizen -name *.txt)”
for file in $shori_files
do
    sed -f commandfile < $file >  /temp/shorigo $file
done

###

 

関連記事

エレコム マウス 有線 Lサイズ 5ボタン BlueLED 握りの極み ブラック EX-G

マウスを一度に 6個買いましたが、そのうちの1つ。 私はキーボードほどはこだわらないの

記事を読む

【ヤフオク】HP Pavilion s3720jp Phenom X4 9150e ジャンク 落札

1700円+送料で落札。 CPU:Phenom X4 9150e 1.8GHz

記事を読む

さよならBフレッツ

仕事場(高槻の事務所)の光回線の工事が昨日ありました。 長らくBフレッツを使っていたのでしたが

記事を読む

no image

イーサイトのクラウド型遠隔画像診断システム 利点(1)

* イーサイトのクラウド型遠隔画像診断システムは Citrix Xen Server というサ

記事を読む

no image

SAPPHIRE ビデオカード FLEX HD6770 1G GDDR5 PCI-E DL-DVI-I+SL-DVI-D/HDMI/DP

SAPPHIRE ビデオカード FLEX HD6770 1G

記事を読む

Microsoft Home Server 2011 日本語 DSP版 DVD 【LANボードセット品】最速導入ハンドブック付

Microsoft Home Server 2011 日本語 DSP版 DV

記事を読む

Linux Mint 17.3 Cinnamon インストール

日経Linux(リナックス)2016年3月号日経リナックス 日経BP社 2016

記事を読む

Lubuntu 14.04 ライブ起動してみた

Lubuntu 14.04 LTS 発表 先月の2014/4/17、Ubuntu が 14.0

記事を読む

SPD SSD SATA 256GB

SPD SSD 256GB 堅牢・軽量アルミ製筐体 内蔵 2

記事を読む

いろんな Linux ディストリビューション

* Linux を OS パッケージにしたものをディストリビューションというのですが、よく知ら

記事を読む

Message

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です

鳥山石燕『今昔画図続百鬼』について

江戸時代中期の絵師・鳥山石燕(とりやま せきえん)は妖怪を描いた人とし

小渕優子の財政感覚

最近は政治ネタはあまり書いていませんでしたが、これはひどいと思ったのが

鳥山石燕『百器徒然袋( 百鬼徒然袋)』について

江戸時代中期の絵師・鳥山石燕(とりやま せきえん)は妖怪を描いた人とし

炭水化物on炭水化物

よく「炭水化物on炭水化物なんておかしい」という人がいます。ガイジンに

ダーク妖怪 Vol.1、33フレームTVアートバンドル

鳥山石燕の『百鬼夜行』から着想を得て、ダークな空想絵巻を作って

→もっと見る

  • アクセスカウンター
PAGE TOP ↑