機械学習のデータクリーニングは、承認したルールから始まる

エージェントにできること

• ファイルread_file、write_file、edit_file、grep、glob はチャットの作業フォルダー内で動作し、作成・編集・読み取りしたファイルの数がカウンターに表示されます。
• Shellクリーニングスクリプトに対してあなたの Python コマンドを実行し、実際の終了コードを報告します。危険なコマンドはブロックされます。
• Webweb_search と http_get は公式ドキュメントのページを読みます。たとえば、ルールに標準ライブラリの細かな点が必要なときに使います。
• スクリーンショットと画像ocr は表のスクリーンショットからテキストを読み取り、write_file はそのテキストを保存してスクリプトで整えられるようにします。
• オーケストレーションtask は入力ファイルごとに 1 つなど、サブエージェントを並行して実行します。run_on_model は難しいステップをより大きなモデルに送ります。skills は再利用できる手順書を保持します。
• 承認モードAuto-run はすぐに実行し、Ask first は何かを変更する操作の前に一時停止し、Plan only は計画を書くだけで何も実行しません。
• Cronスケジュールに従ってプロンプトを実行するので、新しいエクスポートが届いたときに保存済みのクリーニングスクリプトを再実行できます。
• モデル標準的な API エンドポイント経由のクラウドプロバイダー、PC 上でローカルに動くモデル、または内蔵モデルを接続できます。Test ボタンでエンドポイントを確認します。

モデル準備のための 2 つの手順例

リークなしで欠けた年齢を補う

機械学習のデータ前処理では、クリーニングのあとにカテゴリのエンコードや数値のスケーリングといった工程が加わり、すべての統計値は学習用だけから求める必要があります。たとえば、ratings.csv の欠けた年齢を中央値で補いたいとします。Fredit Flow は grep で空のフィールドがある行を見つけ、write_file で prepare.py を保存し、Shell であなた自身の Python コマンドを使って実行します。スクリプトは train_clean.csv と test_clean.csv を書き出し、中央値は学習用の行で計算してからテスト用の行に適用されます。ratings.csv には手を触れません。Ask first モードでは書き込みの前にカードが一時停止するので、diff を読み、スクリプトが出力する行数を比べ、新しい各ファイルの 5 行を抜き取り確認します。乱雑な実世界のデータを整えるパイプラインは、このような 1 つのスクリプトから始められます。

範囲と、あり得ない値を確認する

マイナスの年齢やマイナスの価格のようなあり得ない値は、大きなファイルに潜んでいます。ML 用のデータクリーニングに時間の大半を使っているなら、各ルールを一度書き出して、スクリプトに適用させましょう。欠損値、重複、外れ値の処理には、それぞれ別のルールが必要で、スクリプトを実行する前に書き出しておきます。Fredit Flow は read_file で列名を確認し、edit_file でスクリプトに範囲チェックを追加し、Shell で実行して、終了コードと範囲外の行数を報告します。チェックに通らなかった行はレビュー用ファイルに出力されます。何も削除されません。Plan only モードでは、これらのチェックを先に一覧にします。ルールを変更する前に、レビュー用ファイルを 1 行ずつ読んでください。