*

sed で連続した複数の空行を1つにまとめる

公開日: : 最終更新日:2014/07/16 パソコン

前日の記事「 WSH で初めてのプログラミング 」で行った作業ですが、ちょっと不満があったのでやり直し。

プログラムではなく、データ自体の問題。

6000以上ある個別のテキストファイルのうちのかなりのものが重複しているのですが、改行が1つ余分に入っているだけで同じファイルとは認識されず、ほぼ同じデータが最終データに大量に混入します。

そこでまたいろいろ考えたのですが、たしか sed(ストリームエディタ)で昔やったことがあるな、と。

sed マニュアル

調べてみるとありました。

/^$/{
N
/^\n$/D
}

 

上の sed 用コマンドで、複数個の連続した改行(空の行)を1つに縮められます。

> sed –f commandfile < file1 >file2

の書式を使って簡単に終了。

もちろん1個1個こんなことはしておらず、DOS用のsedコマンドを使ったためバッチファイルと組み合わせて一括で処理してしまいました。

前日の結果よりも 500個近い重複ファイルが排除され、ずいぶんスリムになりました。

上は DOS で行ったのでめんどくさいですが、Linux なら sed  も標準で装備していますし、強力なシェルスクリプトもありますので、もっと簡単。

上の sed 用コマンドを commandfile というファイルにしておいて次のようなシェルスクリプトを端末から走らせれば、テキストファイルが 6000個だろうと 6000万個だろうと一発ですんでしまいます。

 

#!/bin/bash

shori_files=”$(find /tmp/shorizen -name *.txt)”
for file in $shori_files
do
    sed -f commandfile < $file >  /temp/shorigo $file
done

###

 

関連記事

One Safe PC Cleaner は詐欺ソフト

One Safe PC Cleaner 知人が新しいノートパソコンが動かないと言ってました。

記事を読む

100円カードリーダー

昨日、100円ショップのダイソーで見つけたマルチカードリーダー(&ライター)。 本日使用し

記事を読む

遠隔画像診断のビジネスモデル(3)

ビジネスモデルらしくないので、さらに模式図を補完していきます。 * 上段が従来のファイル

記事を読む

フルHDのノートパソコンが 37260円

価格.com 限定モデルのノートパソコン HP Pavilion 15-ab200を入手して悦に

記事を読む

Windows8 を企業は採用するか

* 企業の IT 担当者へのアンケートで、Windows8 を採用するかと訊いたところ、予定で

記事を読む

便利なサービス Giga File 便

* 手持ちのデジタルデータを遠方の人に送りたいことってありますよね。 その人がメールアドレス

記事を読む

USB 3.0/2.0対応 グラフィックアダプター

I-O DATA USB 3.0/2.0対応 グラフィックアダプター USB-R

記事を読む

Lubuntu 14.04 ライブ起動してみた(2)

Lubuntu としては初の LTS 版の Lubuntu 14.04の続きです。 USB メ

記事を読む

A4カラーレーザープリンタ注文しました PR-L5600C

* 結局悩んだ末に決めたのが、先述した2機種のうちのどちらかではなく、全く別の NEC 製

記事を読む

ノートパソコン NEC PC-VK25LXZEN 到着

「中古ノートパソコン注文しました」の続きです。 アマゾンで売っている「Amazon整備

記事を読む

Message

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

【AI】Lilys問題点 PDF出力時の文字化け

Lilys は優秀な要約アプリですが、最終出力を PDF 出力するとき

2026/8/6 びわ湖花火大会

本日は大津港での花火大会。 「琵琶湖花火大会」というと通常はこれを指

浮世絵「名所江戸百景」復刻物語 / 東京伝統木版画工芸協会

★★★☆☆ 著者の東京伝統木版画工芸協会というのは浮世絵を復

封印された中国近現代史 / 宮脇淳子

★★★★☆ 亡き岡田英弘氏の妻である 宮脇淳子先生の著書。

三田市民病院の移転問題について

本日夕方 TV で三田市民病院の移転問題を扱っていました。 初耳

→もっと見る

  • 2026年8月
     12
    3456789
    10111213141516
    17181920212223
    24252627282930
    31  
  • アクセスカウンター
PAGE TOP ↑