データサイエンティスト協会 構造化データ前処理 100 本ノック with Exploratory
問1〜問10 の答案

まず、サイドバー（左の黒いところ）から、df_receipt をクリックしましょう。

何もしてないとサマリー・ビューが表示されますが、テーブル・ビューに切り替えるとデータが表示されます。
クリックで表示させましょう。

問題文は 10件 表示せよとのことですが、データが見れればOKです。

解答コードはこのようになっています。

df_receipt.head(10)

ちなみに head を tail に書き直すと末尾になります。

ということです。

まずは以下のようにして「列を選択」というステップを追加しましょう。

すると、新たに画面が登場するので、クリックで列を選択しましょう。 プレビューが表示されるので、何が出てくるかを予め確認しながら操作することができます。 全て選択肢終わったら、左下の実行ボタンを押します。

これで新しいステップが追加され、4列だけになりました！

追加情報

複数選択の方法

今回の場合なら4列だけなので良いのですが、例えば連続して 10列や20列...と選びたいときはクリックしていると手が疲れてしまいます。

その際には、一気に選んでしまいましょう。

Shift キーを押しながら、端までクリックすることで間の項目も全て選択してくれます。

ステップを消去する

ステップの右上にマウスを持っていくと、画像のようにゴミ箱ボタンが出てきます。 これでステップは消去することができますが...

現在のバージョン（v6.2）では基本的に操作は元に戻せません
（Cmd + Z や Ctrl + Z ができない）のでご注意ください！

問題が変わるとその処理を用いることはしないケースが多いので、削除してもらって構いません。
地続きの問題でない限りは、問題毎にステップを真っ白にして解説します。

解答コードはこのようになっています。

df_receipt[['sales_ymd', 'customer_id', 'product_cd', 'amount']].head(10)

具体的には以下のようなことをしたいです。

sales_ymd を sales_date に変更

これを行うためには、以下のようにして「列名を変更」というステップを追加しましょう。

すると、新たに画面が登場するので、sales_ymd の変更後を記入する右の欄をクリックし、sales_date と入力しましょう。

以下のようになったと思います。列名が変わっていることを確認しましょう。

あとは問2と同じやり方で4列にすれば以下のような答案になると思います。

追加情報

ステップは木構造であることが書かれていたのは1つ前の記事で最後に書きました。イメージは掴めているでしょうか。

問2と同じ操作をしても、ステップの内容と異なるところとしてはその後のステップに影響しているところです。

そして、もっと大事なことは

前のステップを消すと、後ろのステップがエラーになる

...かもしれない（状況による）ということです。

実際は R 言語のコードが裏で動いています。
今回の場合、4列にする処理は列名を変更した後のものを使ったままなので、列名を変更したステップを消すと、そこから後ろのコードは残ったままとなり「4列にしたいけど列名が違うよ！」とエラーになります。

しかし、次のようなこともよくあります。

長い処理だったけど、途中のあの処理はいらなかった...。
そこまで戻ったらまた全部のコードを打ち直さないといけない

ステップが木構造なので、振り出しに戻って打ち直しということはなくなるのです。

また、追加の処理を挟みたいときは本当によくあります。
そのときもこの木構造がなくしてはやがて非現実的になります。

ステップをきちんと使えるようになるためには
木構造が頭の中でイメージできているかが決め手！

解答コードはこのようになっています。

df_receipt[['sales_ymd', 'customer_id', 'product_cd', 'amount']].rename(columns={'sales_ymd': 'sales_date'}).head(10)

ちなみに大事なコードは rename と head 次に rename の中身の書き方です。
ここでは詳しく触れませんので、他の解説サイト・動画などをご参考ください。

具体的には以下のようなことをしたいです。

customer_id という列の値が CS018205000001 だけのデータを抽出 

つまり、customer_id が CS018205000001 の人だけの行（1行が1枚のレシート）をみたいです。

いつものように新規ステップを追加としても良いのですが、customer_id だけに処理を注目したいのであればまずはその列を直接クリックしてしまいましょう。一気に緑色になると思います。

そのあと、すぐ左のプルダウン（▽ みたいなやつ）を押してステップメニューを開きましょう。
あとは以下のように「フィルター」→「等しい」をクリックします。

すると以下のような画面が出てくると思いますので、クリックしてから入力しましょう。

CS018205000001 は 問題文に記載されていますので, コピペしてください。

終わったら実行ボタンを押してください。

以下のような画面になったかと思います。

customer_id が CS018205000001 だけなのもそうですが、行数が12行に減っていることも確認しましょう。

あとは問2と同じ手続きで 4列 にすれば答案が完成します。

メニューの多さとイメージのカンタンさ

フィルターの中にあるメニューが多くて、一見すると全部違うように見えませんか？

でもこれらは、先ほど選択した流れ（一気に緑色 → フィルター → 等しい）が以下のようにフィルターの画面の構成と対応しているんだ考えましょう。

フィルターのメニュー（演算子）の多さなんて正直関係ありません。
それぞれがどういう役割かということを少しずつ使って学べばいいのですし、我々は スマホ で既にそれを達成してきたはずです。

---

解答コードはこのようになっています。

df_receipt[['sales_ymd', 'customer_id', 'product_cd', 'amount']].query('customer_id == "CS018205000001"')

条件を引っ張ってきてねという解釈の問い合わせです。
Exploratory では フィルター と呼びましたが、一般的にどちらもよく使う言葉なので知っておくと良いと思います。

今回の条件は以下の2つ

• customer_id が CS018205000001（問4と同じ）
  かつ
  
• amount が 1000 以上

です。
問4で customer_id が CS018205000001 だけにフィルターするやり方は既に説明しました。

問4 のステップに続けて、amount が 1000 以上 のフィルターを一緒にやっていきましょう。

問4 と同じフィルターの機能なので、フィルターメニューを出すところまでは同じ → 「以上」と選択（問4では「等しい」だったところ）します。

すると以下のような画面が新しく出てきました。
問4 で説明した通りですが、演算子のところをフィルターメニューから選ぶので、等しいから以上に変わっていることを確認してください。
あとはノリで1000と入力すればOKです。

実質やることは1000と入力するだけでしたね。実行ボタンを押しましょう。

これで以下のような画面になっていると思います。

もうほぼ終わっているようなものなのですが、問題文には4列にしなさいとあるので、問2と同じように列を選択しておきました。

解答コードはこのようになっています。

df_receipt[['sales_ymd', 'customer_id', 'product_cd', 'amount']] \
            .query('customer_id == "CS018205000001" & amount >= 1000')

ちなみにコードの中の

• バックラッシュ ＼ は 地続きだよ〜
• & は「かつ」で、「customer_id が CS018205000001」 と 「amount が 1000 以上」を同時に満たすよ〜

という意味です。

or の縦棒は Shift キーを押しながら右上の方にある￥キーを押すと出ます。

つまり、「かつ」のなかに「または」が入るフィルターを実行しましょうということです。
これができれば「かつ」と「または」はクリアと思って良いでしょう。

まず問4と同じく customer_id が CS018205000001 のフィルターをしました。 ここからまたフィルターのステップを追加するのですが、問5と同じようにやると失敗します。
理由は以下のように、ステップのある位置が違うからです。

すぐあとで比べるとして、とりあえずここは新規ステップを追加からフィルターのステップを追加しましょう。クリックしてください。

今度は押した途端にフィルターの画面が出てきますので、amount が 1000以上のフィルターを目指して変更しましょう。

このような画面になれば成功です。
問5と比較すると、別枠になっていることがわかるかと思います。

こうなればあとは quantity のフィルターです。amount とは Or で結びたいので、以下のようにして操作していきましょう。

結果が以下のようになっていればOKです。

問題文には5列にせよとあるので、最後に問2と同じように列を選択します。
quantity が加わっただけです。

Exploratory でもコードは書ける

Exploratory は R 言語で動いています。
ということは、プログラムのコードは書けるわけです。

いつものフィルターの画面を出したら、上のところに「カスタム」とあるのでクリックしましょう。

条件のコードを書き込みました。右にある [Code] を押すとコマンドがでます。

# amount >= 1000 | quantity >= 5

これで実行すればステップとして成立するのです。

物好きな人向け（先に行きたい人は Python 解答コードで答えを確認！）

おそらく、普段 R言語 を書いている人や、少しでもプログラミングに触れたという記憶がある方なら、「あれ？関数とかどこ行ったの？」となるかもしれません。

プログラミング言語はいわば「関数で動く生き物」みたいなものなので、R 言語 が裏で動く Exploratory でも、直接関数を打ち込みたくなる人はいるでしょう。

そのためには、いつものように「新規ステップを追加」からステップメニューを開き、「カスタム R コマンド」を選択してみましょう。

さっきと同じ動作をしたいときはこのように filter 関数を使って書きます。

# filter(amount >= 1000 | quantity >= 5)

これで実行すれば同じ結果が得られることでしょう。

このカスタム R コマンドの注意点は・・・

データフレームを返す R コマンドを入力しなくてはエラー

になります。

既に df_receipt を選んでテーブル（あるいはサマリー）をみながらカスタム R コマンドですので、問6 の 解答コード（Rの方）をみるとわかるのですが

df_receipt[...] %>%
    filter(customer_id == "CS018205000001" & amount >= 1000)

となっています。
R のモダンな書き方である %>% : パイプ演算子を用いた書き方に慣れるまで R 言語をやらないと、Exploratory のカスタム R コマンドを使いこなせないかもしれません。

ここでは解答コードは Python を載せています（答案との比較の観点からも説明しやすかったので恨まないでください...学びにもなると思って...汗）。

Exploratory を使いこなすために R 言語を学ぶのであれば、そのモチベーションはとても良いことだと思います！（というか楽しいので、ここまで開いたあなたは是非本家の R や RStudio もやってください！）
僕の R 言語のオススメ書籍はこちら です。知っている方も多いかと思います。

解答コードはこのようになっています。

df_receipt[['sales_ymd', 'customer_id', 'product_cd', 'quantity', 'amount']].query('customer_id == "CS018205000001" & (amount >= 1000 | quantity >=5)')

というノリでやっていただければ良いかと思います。
答案も多少...雑になり始めます...(笑)

まずは customer_id を CS018205000001 だけに制限します。
問4の解答と同じ状態ですね。

amount の列に対して1000以上2000以下 というフィルターを「かつ」で追加すれば問題は解決しそうです。
以下のように、フィルターメニューから「範囲内」を指定しましょう。

値のところに 開始 : 1000, 終了 : 2000 を入れれば「1000以上 2000以下」という意味になります。 ちゃんと「かつ」(And) になっていることも確認してくださいね！
問6と地続きでやっていると, または (Or) となっていたりするので注意ポイントです。

確認が終わって実行すると、1行しか残りません。
ですが、これでフィルターは問題の通りにできているので、あとは問2のように列を選択して4列にすればOKです。

解答コードはこのようになっています。

df_receipt[['sales_ymd', 'customer_id', 'product_cd', 'amount']] \
    .query('customer_id == "CS018205000001" & 1000 <= amount <= 2000')

1000 <= amount <= 2000

1000 <= amount < 2000

まずは customer_id を CS018205000001 だけに制限します。
問4の解答と同じ状態ですね。

ここから、product_cd（商品コード）が P071401019 ではないものというフィルターを作りましょう。（ちなみに cd は code の略） まずはいつも通り product_cd からフィルターメニューを開いて「等しくない」を選択します。

次に、値の中に P071401019 を入力します。

これで「product_cd が P071401019 と等しくない」というフィルターを作れたので、実行しましょう。
今回とは関係ないですが、is.na(product_cd) の部分が「欠損値を残す」のチェックボックスに対応しています。

あとは問題文で4列にしなさいと言っているので問2と同じ操作で列を選択すれば完了です。

解答コードはこのようになっています。

df_receipt[['sales_ymd', 'customer_id', 'product_cd', 'amount']] \
    .query('customer_id == "CS018205000001" & product_cd != "P071401019"')

product_cd != "P071401019"

amount != 1000

・numeric : 数値のデータです。読み方はニューメリックです。数値関数はほぼなんでも使えるという認識でOKです。
・character : 文字列のデータです。読み方はキャラクターです。テキストデータとはこのタイプのことです。テキスト分析の関数はほぼなんでも使えるという認識でOKです。
・Date : 日付のデータです。POSIXct は時間まで入っています。時系列の分析には欠かせません。
・logical : 論理値のデータです。読み方はキャラクターです。欠損値を除き、True か False の2つしか取りません。
・factor : 要因のデータです。読み方はファクターです。順番がついていますので、例えばソートすると、ちゃんと 1月, 2月, ... となります。

ん？「Aではない」「かつ」「Bでもない」なら・・・じゃあ結局なんなの？ となってしまうのがこの法則の引っかかるところ。

それならデータに聞いてみましょう。

まず、問題のコードが何のフィルターをしたいのかを、ド・モルガンで確認します。 つまり今回の問題は、

• prefecture_cd が 13
  かつ
• floor_area が 900以下

のフィルターを作れば良さそうだ！となるかと思います。
これなら今までの問題をクリアしてきた経験があるのでカンタンですね！（具体的には問5とほぼ同じ）

今回の問題は df_receipt から df_store にデータフレームが変わりますので注意してください。

df_store のフィルターとしては、

prefectured_id != "13" は 問8 のやり方を参照
floor_area <= 900 は「以下」であることに注意すればOK

の2ステップを踏めば以下のような画面になると思います。

解答コードはこのようになっています。

df_store.query('prefecture_cd != "13" & floor_area <= 900')

文字型は、1000以上2000以下という操作はできず、「等しいか等しくないか」だけでやってきました。

しかし、文字列のフィルターには「〜から始まる」とか「〜で終わる」などのフィルターができるという、ある意味では数値データと一味違うフィルターができるはずです。

この問題で、この一味違うフィルターを体感して欲しいというのが10問目の大事なキーポイントだと思います。

・・・とは言っても、実は Exploratory のフィルターで一発解決 できます。

まずは store_cd を選択して、フィルターメニューを開きましょう。
そこから「この文字列から始まる」を選択します。

気付いた方も居るかもしれませんが、character型のデータをフィルターするので、「最初から以上や以下は選べない」ようになっています。
プログラミング言語でよくやる、つまらないエラーの防止策ですね！
なお、他のフィルターも別の機会で触っておくことをオススメします。

フィルターの画面が出てきたら、値のところに S14 を入力するだけで良いです。

ちなみにコマンドを打ち込みたい人には以下のようにすれば良いです。

# フィルターからカスタム : str_detect(store_cd, "^S14")
#  カスタム R コマンド  : filter(str_detect(store_cd, "^S14"))

このような画面になっていればOKです。

解答コードはこのようになっています。

df_store.query("store_cd.str.startswith('S14')", engine='python').head(10)