*

sed で連続した複数の空行を1つにまとめる

公開日: : 最終更新日:2014/07/16 パソコン

前日の記事「 WSH で初めてのプログラミング 」で行った作業ですが、ちょっと不満があったのでやり直し。

プログラムではなく、データ自体の問題。

6000以上ある個別のテキストファイルのうちのかなりのものが重複しているのですが、改行が1つ余分に入っているだけで同じファイルとは認識されず、ほぼ同じデータが最終データに大量に混入します。

そこでまたいろいろ考えたのですが、たしか sed(ストリームエディタ)で昔やったことがあるな、と。

sed マニュアル

調べてみるとありました。

/^$/{
N
/^\n$/D
}

 

上の sed 用コマンドで、複数個の連続した改行(空の行)を1つに縮められます。

> sed –f commandfile < file1 >file2

の書式を使って簡単に終了。

もちろん1個1個こんなことはしておらず、DOS用のsedコマンドを使ったためバッチファイルと組み合わせて一括で処理してしまいました。

前日の結果よりも 500個近い重複ファイルが排除され、ずいぶんスリムになりました。

上は DOS で行ったのでめんどくさいですが、Linux なら sed  も標準で装備していますし、強力なシェルスクリプトもありますので、もっと簡単。

上の sed 用コマンドを commandfile というファイルにしておいて次のようなシェルスクリプトを端末から走らせれば、テキストファイルが 6000個だろうと 6000万個だろうと一発ですんでしまいます。

 

#!/bin/bash

shori_files=”$(find /tmp/shorizen -name *.txt)”
for file in $shori_files
do
    sed -f commandfile < $file >  /temp/shorigo $file
done

###

 

関連記事

Ubuntu14.04LTS 32ビット版 インストールしてみた(2)

あれから少し遊んでみました。 leafpad をインストール 私の好きなエディタの leaf

記事を読む

クラウド型スクリーンショット Gyazo(4)

有料サービス クラウド型スクリーンショットの Gyazo の話ですが、 先日有料サービス(Gy

記事を読む

遠隔画像診断装置の端末が立ち上がらない

それは一昨日のこと。 高槻の遠隔画像診断センターに置いてある特殊な診断用端末(3面モニタ仕様)

記事を読む

シリコンパワー USBフラッシュメモリー HELIOS 101Series 16GB ブルー 永久保証

シリコンパワー USBフラッシュメモリー HELIOS 101Series 16

記事を読む

ChatGPT で画像製作

ChatGPT にプロンプトを渡すだけで、写真のような画像が製作できることは知っていました。

記事を読む

シリコンパワー 2.5インチ SSD SATAII 32GB SP032GBSSDE20S25

シリコンパワー 2.5インチSolid State Disk 高速転送 SA

記事を読む

USB 3.0/2.0対応 グラフィックアダプター

I-O DATA USB 3.0/2.0対応 グラフィックアダプター USB-R

記事を読む

no image

HP B110a 使用感

HP B110a 使用感   HP Photosma

記事を読む

医局のみんなでパソコンを使いたい

大昔の話なので、今は笑い話かも。 普通の事務所なら普通に行っていることが、パソコン音痴の多い医

記事を読む

整備済み品東芝製ハードディスク届きました

整備済み品東芝製ハードディスク届きましたが、プチプチ封筒に素(す)で 2個の HDD が入ったものが

記事を読む

Message

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

AI絵師の締め出し

最近、イラスト投稿サイトにおける AI 作成物の禁止が話題になっている

日本史で遊ぶ

ChatGPT などの AI に こそこそと「プロンプト」なる呪文(日

最後は文字で

たとえば 動画を観るとき、そのまま観っぱなしにしていると だんだん記憶

なぜ人気なのか、フェルメール

フェルメールの生涯と特徴 ヨハネス・フェルメール(1632年 - 1

次世代通信関連 世界株式戦略ファンド(予想分配金提示型) の7月分配金決定

次世代通信関連 世界株式戦略ファンド(予想分配金提示型) 、愛称「Th

→もっと見る

  • 2026年7月
     12345
    6789101112
    13141516171819
    20212223242526
    2728293031  
  • アクセスカウンター
PAGE TOP ↑