*

sed で連続した複数の空行を1つにまとめる

公開日: : 最終更新日:2014/07/16 パソコン

前日の記事「 WSH で初めてのプログラミング 」で行った作業ですが、ちょっと不満があったのでやり直し。

プログラムではなく、データ自体の問題。

6000以上ある個別のテキストファイルのうちのかなりのものが重複しているのですが、改行が1つ余分に入っているだけで同じファイルとは認識されず、ほぼ同じデータが最終データに大量に混入します。

そこでまたいろいろ考えたのですが、たしか sed(ストリームエディタ)で昔やったことがあるな、と。

sed マニュアル

調べてみるとありました。

/^$/{
N
/^\n$/D
}

 

上の sed 用コマンドで、複数個の連続した改行(空の行)を1つに縮められます。

> sed –f commandfile < file1 >file2

の書式を使って簡単に終了。

もちろん1個1個こんなことはしておらず、DOS用のsedコマンドを使ったためバッチファイルと組み合わせて一括で処理してしまいました。

前日の結果よりも 500個近い重複ファイルが排除され、ずいぶんスリムになりました。

上は DOS で行ったのでめんどくさいですが、Linux なら sed  も標準で装備していますし、強力なシェルスクリプトもありますので、もっと簡単。

上の sed 用コマンドを commandfile というファイルにしておいて次のようなシェルスクリプトを端末から走らせれば、テキストファイルが 6000個だろうと 6000万個だろうと一発ですんでしまいます。

 

#!/bin/bash

shori_files=”$(find /tmp/shorizen -name *.txt)”
for file in $shori_files
do
    sed -f commandfile < $file >  /temp/shorigo $file
done

###

 

関連記事

USB3.0 接続のポータブル SSD

BUFFALO ターボPC EX対応 USB3.0用 外付けSSD 128G

記事を読む

遠隔画像診断のビジネスモデル(3)

ビジネスモデルらしくないので、さらに模式図を補完していきます。 * 上段が従来のファイル

記事を読む

[ヤフオク] HDD 3.5インチ SATA 10個セット フォーマット済 中古

  ヤフオクでひさびさ落札。 250GB Maxtor 型番不明

記事を読む

【ヤフオク】OZZIO MX35332SDS /Core i3-530 2.93GHz/2GB/PC/ ジャンク 落札

OZZIO(オッジオ) って知らんなあ、と思ったら、あの悪評高い PC DEPOT のブラン

記事を読む

Ultimate edition 4.2 lite 日本語版 インストールしてみた(2)

「かっこいいが非常に見にくい」 と評した Ultimate edition 4.2 lite で

記事を読む

PATA ハードディスクのチェック(1)

SANWA SUPPLY IDE/SATA-USB変換ケーブル 0.72m US

記事を読む

Vostro260S

Vostro260S[/caption] 昨日来ました。DELL のニューマシン。Core

記事を読む

Ubuntu14.04LTS 32ビット版 インストールしてみた

* 日経Linux 6月号でオマケのDVDが Ubuntu14.04LTS の 32ビット版と

記事を読む

Patriot Memory P210 2TB 内蔵型SSD 2.5インチ

Patriot Memory SSD P210 2TB SA

記事を読む

パソコンを買って最初にやること

新しいパソコンを買っても、中古パソコンを買ってもまず最初にやることは筐体を開けることですよね。

記事を読む

Message

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

Utagawa Kuniyoshi Wall Art Bundle

「Utagawa Kuniyoshi Wall Art Bun

月岡芳年浮世絵コレクション:850点以上の日本の木版画

「月岡芳年浮世絵コレクション:850点以上の日本の木版画」を

渓斎英泉浮世絵コレクション: 350+ 日本の版画

「渓斎英泉浮世絵コレクション: 350+ 日本の版画 」を E

1000 Japanese Wall Art Prints

「1000 Japanese Wall Art Prints」

290点以上のバンクシーのウォールアートプリントセット

290点以上のバンクシーのウォールアートプリントセット を Etsy.

→もっと見る

  • 2026年9月
     123456
    78910111213
    14151617181920
    21222324252627
    282930  
  • アクセスカウンター
PAGE TOP ↑