はじめに SageMaker Canvasは、SageMakerのAutoMLのようなもので、構造化データを突っ込んで、モデル作成！って押すとモデルが作成される。 今回はその性能を自分の目で確かめてみようと思う。 ちなみにタイトルに性能比較とかたいそうなことが書いてあるけ…

全体アーキテクチャ 手順 Dockerイメージのダウンロード コンテナ立ち上げ Macローカル側でやること Gstreamerのインストール gst-launchの実行 Dockerコンテナ内でやること gst-launchの実行 全体アーキテクチャ 全体像はこんな感じ。2段構え。 MacBookのカ…

いつ使う Notebookでterminalを開く 永続化 conda環境の整え方 いつ使う SageMakerでnotebook instanceのkernelを選択したときに、python3.6、ちょっと古いなぁ、python3.8とか使いたいなぁと思った人向け。 Notebookでterminalを開く 下記コマンドを利用し…

参考記事 この記事を多大に参照して、試してみる。 techblog.nhn-techorus.com S3へのデータの保管 まずはこちらから鎌倉市の職員給与データをダウンロード。 https://www.city.kamakura.kanagawa.jp/opendata/kyuuyo.html S3にHive形式のPartitionを区切り…

エラー内容 このエラー↓が出たときの対処 Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: 対処方法 ユーザーにdockerの権限がないので、与える必要がある。 そのために、dockerのユーザーグル…

別にPythonじゃなくてCでもC++でもいいんだけど、機械学習屋さんとしてはPythonに慣れ親しんでいるので、その例でトライ。 HelloWorldで書いても良かったけど、せっかくなのでgit pushすると、自動でPytestが動くようなもの。 CodeCommitとPytestとbuildファ…

EC2を使って、CodeCommitからリポジトリをクローンしたい場合、 credential情報を使わずに、IAMロールを使うことが可能。 IAMロールの設定 EC2にCodeCommitのポリシーをつける。 とりあえずFullAccessを付与。ReadOnlyなどは適宜設定。 gitの設定 gitのcrede…

第1回目はEC2へdockerをセットアップし、JenkinsのイメージをRunする。 Jenkinsの動作確認までをしていきたい。 第2回目でCodeシリーズあたりと連携をしていきたいと思う。 EC2へのDockerのインストール Jenkinsのセットアップ jenkins blueoceanのダウンロ…

はじめに 構成図 はまりどころ NATGatewayでのElasticIPの指定 NATGatewayへのRoute EC2のSecurityGroupの設定はリストで yamlファイル全体はこちら はじめに ちょっと検討をしてみようと思うたびに、VPC作ってSubnet作って、InternetGatewayとElasticIP取得…

AWSアカウントAのリポジトリからAWSアカウントBの人がCloneする Bの人がAのアクセスキーIDとシークレットアクセスキーを持っている場合 非常に簡単。 AWSアカウントBの人のEC2で、下記コマンドでAWSアカウントAのcredential情報を入力。 credentialを入れる…

IAMユーザーから認証情報を作成 AWS CodeCommitのHTTPS Git認証情報を生成をクリック。 ユーザー名とパスワードをダウンロードしておく。 Git cloneするだけ git clone https://git-codecommit.ap-northeast-1.amazonaws.com/*********/ こうするとユーザ名…

この記事で行っている多段SSHは既にベストプラクティスではないので、Session Managerを使うことをお勧めします。 構成はこちらのQiitaを参照のこと。 多段SSHしたい 機械学習の研究開発用だと、SageMakerのJupyter NoteBookじゃ物足りず、EC2にSSHで入って…

事前準備 VPCエンドポイントを作成 VPCのエンドポイントを作成する。サービスとしてS3を選択。 フルアクセス設定と、RouteTableを指定して作ってしまえば、このVPC内の指定されたトラフィックはS3のエンドポイントへ向かうようになる。 AWS S3コマンドで見て…

コマンド ssh -i "./.ssh/***.pem" ec2-user@IPaddress .sshフォルダ以下にpemファイルを置いておいて、基本的にこれだけで接続出来る。 事前準備 VPC VPCにIGを設置する サブネット Public IPを有効にする ルートテーブルで0.0.0.0/0をIG宛に設定する（VPC…

ほぼ人生で初めて触ったMySQLの備忘録。 サンプルデータ MySQLでテーブルにCSVファイルを流し込むまでの手順 MySQLにログイン データベース作成と確認 データベースに移動 テーブルの作成とCSVの流し込み その他MySQLお役立ちコマンド テーブルの概要を見る …