データの前処理 - Exploratory

データの前処理

データサイエンスの多くの時間はデータの加工に費やされます。にも関わらず、こうした作業を効率的に行うための分析者の視点に立ったUIツールはこれまでありませんでした。

Exploratoryの「ステップ」をもとにしたUIエクスペリエンスは再現性を確保した上で、データを可視化または分析しながら必要に応じてデータの加工を行っていくことを可能にします。

再現可能なステップ

全てのデータ加工の作業は右側に「ステップ」として自動的に記録されるので、ステップの前後でデータがどのように変化するかを調べ、問題があった時にはステップごとに検証することができます。また、一度作った一連のステップは新しいデータにも適用することできるので、これまでの作業を自動的に再現することができます。

ブランチ

同じデータから再現可能な複数のデータフレームを作ることができます。様々な形のデータを作ったり、異なる分析手法を適用してみたりしたい場合に便利です。

独立したステップ

それぞれのステップは全体として再現できるように管理されています。しかしそれらは独立して機能するので、それぞれのステップに複数のチャートを紐付けたり、パフォーマンスの改善のためにステップをキャッシュしたり、あるステップを一時的に無効化したり、さらにはステップの順番を変えたりすることができます。

列の追加 / 計算の作成

Rの何百とある関数を使って新しい計算処理を自由に定義していくことができます。

集計

シンプルなUIを使ってデータをすばやく集計することができます。

集計 - カスタムの計算

既存の集計関数以外を使うだけでなく、自分のニーズに合った計算処理を自由自在に作ることができます。

ピボット

ステップとしてデータをピボットテーブルの形式に加工することができるので、こうしたデータの上に計算処理を追加したり、アナリティクスのアルゴリズムを適用したりすることができます。

値の置き換え

元のデータの値を新しい値に置き換えたり、複数の値を1つのグループにまとめたりすることができます。

テキストデータの加工

テキストデータを加工するのはデータの前処理の中の難所です。しかし、Exploratoryのテキストデータの加工のUIを使えば様々な方法ですばやく直感的にテキストデータを柔軟に加工できます。

テキストデータの加工 - 変換

全角文字と半角文字を統一させたり、IPアドレスを国コードを国名に変換したり、文字列を匿名化したりといった変換作業が簡単にできます。

データの結合

様々な手法を使って別のデータフレームと結合することで、追加の列を加えたり、データをフィルターしたりすることができます。

データのマージ

複数のデータフレームから行を追加することで、複数の月やプロダクトのデータなどをマージすることができます。

文章の単語化

文章を単語化することで、どの単語がよく使われているのか、またはどの組み合わせがよく使われているのかを理解できるようになります。

ワイド型からロング型へ

ワイド型のデータをロング型へすばやく変換することができます。

ロング型からワイド型へ

ロング型のデータをワイド型へすばやく変換することができます。