今回、作りたいのはパソコンを使ってCS&AIの機器を動かすという画像認識システムです。具体的な内容は決めていませんが、「カメラの画像に反応してモーターを動かす」ようなものを想定しています。
Pythonのコードで、CS&AIのセンサーやモーターと通信するには「LEGO Education Python API」という公式のライブラリを使います。ライブラリはGitHubで公開されています。
https://github.com/LEGO/LEGOEducation

既にTechブログのGitHubのアカウントに「LEGO Education Python API」を使ったサンプルプログラムを公開しています。
https://github.com/afrel-tech-blog-team/csai-simple-examples

プログラムの実行画面です。「カラーセンサー用」「コントローラー用」「ダブルモーター用」「シングルモーター用」で4本あります。
このプログラムを応用すれば、CS&AI関連の部分は問題なく作れます。技術的問題は1つクリアしました。

このブログで過去に連載したAIカメラの記事（SPIKEプライム＋ラズパイ＋AIカメラを組み合わせてロボットを作る）では「PyTorch」という機械学習ライブラリを使って、画像認識を行いました。プログラムは「カメラ撮影用」「モデル作成用」「画像認識用」で3つ自作しないといけませんでした。さらに大量の写真をフォルダにまとめて学習したり、非常に手間がかかりました。今回はその手間を省くため、「Google Teachable Machine（以下、Teachable Machine）」を導入したいと思います。Webサイトはこちらです。
https://teachablemachine.withgoogle.com/
「Teachable Machine」は画像認識、音声認識、ポーズ認識のモデルが作れるサイトです。教育現場向けのサイトなので使いやすいです。ユーザー登録なしでサイトが使えます。作ったモデルをダウンロードしたり、JavaScriptやPythonの自作のプログラムで使うことができます。
メニューから「画像プロジェクト」→「標準の画像モデル」を選ぶとモデル作成のページに移行します。

「長押しして録画」ボタンをクリックすると、Webカメラから撮影します。瞬間的にクリックしただけで3枚くらい撮影されます。

「リンゴ」と「バナナ」を各100枚ほど撮ってみました。リンゴとバナナは絵画用の模造品です。 撮影が終わったら、「モデルをトレーニングする」をクリックします。
モデルが出来上がったら、画面左のプレビューですぐに動作を確認することができます。認識結果は優秀です。驚くほど快適な速度で動いているので、クラウドで画像を認識しているのだと思います。

今回、やりたいのはクラウドではなくローカルでの画像認識です。作ったモデルをローカルに保存します。
ページの右上にある「モデルをエクスポートする」をクリックします。 モデルの保存用の画面が表示されます。選択肢がいっぱいありますが、今回はPythonで使いたいので「Tensorflow」タブを選択します。そして、「Keras」ラジオボタンをオン→「モデルをダウンロード」ボタンをクリックします。ダウンロードしたzipファイルを展開すると、「keras_model.h5」と「labels.txt」というファイルが出来上がります。これらのファイルは作業用フォルダに置いておきます。
画面下にある「OpenCV Keras」タブをクリックすると、OpenCVを使ってカメラ撮影をして、画像認識をするサンプルプログラムが表示されます。これをコピーしておきます。

筆者の場合、Pythonの開発環境は「Thonny」を使っています。 「Thonny」はパッケージ管理機能が搭載されているので、 pipなどのコマンドを入力しないで、ボタンをクリックするだけで、ライブラリをインストールすることができます。
最低限、「opencv-python」「keras」「tensorflow」「numpy」のパッケージは必要なのでインストールしておきましょう。

モデルのダウンロード時にコピーしたサンプルプログラムを作業用フォルダに保存します。しかし、プログラムを実行すると、「TypeError」が表示されてしまいました。モデルが正しく読み込めません。Teachable Machineは長い年月をかけて公開しているので、途中で「keras」と「tensorflow」がバージョンアップしてしまって、仕様の食い違いが起きているようです。
そこで、kerasを古いバージョンにダウングレードしたのですが、効果がありません。tensorflowは古いバージョンの公開が終わっていて、ダウングレードできません。

エラーが全く解決できず、行き詰っていたのですが、その後、Meqdad Darwishさんという方が作った「teachable-machine」というライブラリを発見しました。
https://pypi.org/project/teachable-machine/

このライブラリを使うと、バージョンの違うライブラリを使っていても「TypeError」の問題を解決できるとのことです。大助かりです。上記のURLで公開されているサンプルプログラムをThonnyのエディタにコピー＆ペーストします。 筆者の場合、ノートPCを使っているのですが、「VideoCapture」関数の引数が「0」の場合は備え付けのカメラで撮影します。引数を「1」にすると、USBポートに接続したWebカメラで撮影することができます。

実行中の画面です。最初にワーニングが大量に表示されて心配しましたが、「リンゴ」と「バナナ」の認識に成功しました。表示の「confidence」は「信頼度」という意味です。コンソールでは信頼度は少数（0.0～1.0）で表示されます。カメラの画像では信頼度はパーセントで表示されます。
筆者の使っているパソコンの性能が良くないので、認識が物凄く遅いです。1枚に4秒くらいかかります。下記で紹介しているyoutubeの動画では6倍の速度で再生しています。

これで、センサーやモーターの制御と画像認識の要素技術が一通り準備できました。あとは組み合わせるだけですが、記事が一杯になってしまったので、次回に紹介したいと思います。