使って学ぶAWS

AWSで色々やってみるブログ

Tips

Sagemaker notebook instanceでユーザ環境を作る

いつ使う Notebookでterminalを開く 永続化 conda環境の整え方 いつ使う SageMakerでnotebook instanceのkernelを選択したときに、python3.6、ちょっと古いなぁ、python3.8とか使いたいなぁと思った人向け。 Notebookでterminalを開く 下記コマンドを利用し…

【Tips】Docker permissionエラー

エラー内容 このエラー↓が出たときの対処 Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: 対処方法 ユーザーにdockerの権限がないので、与える必要がある。 そのために、dockerのユーザーグル…

IAMロールを使ってCodeCommitからクローンする

EC2を使って、CodeCommitからリポジトリをクローンしたい場合、 credential情報を使わずに、IAMロールを使うことが可能。 IAMロールの設定 EC2にCodeCommitのポリシーをつける。 とりあえずFullAccessを付与。ReadOnlyなどは適宜設定。 gitの設定 gitのcrede…

AWSアカウント間でのCodeCommitからのClone

AWSアカウントAのリポジトリからAWSアカウントBの人がCloneする Bの人がAのアクセスキーIDとシークレットアクセスキーを持っている場合 非常に簡単。 AWSアカウントBの人のEC2で、下記コマンドでAWSアカウントAのcredential情報を入力。 credentialを入れる…

CodeCommitからリポジトリをクローンする

IAMユーザーから認証情報を作成 AWS CodeCommitのHTTPS Git認証情報を生成をクリック。 ユーザー名とパスワードをダウンロードしておく。 Git cloneするだけ git clone https://git-codecommit.ap-northeast-1.amazonaws.com/*********/ こうするとユーザ名…

VSCODEから踏み台サーバー越しにSSH接続をする

この記事で行っている多段SSHは既にベストプラクティスではないので、Session Managerを使うことをお勧めします。 構成はこちらのQiitaを参照のこと。 多段SSHしたい 機械学習の研究開発用だと、SageMakerのJupyter NoteBookじゃ物足りず、EC2にSSHで入って…

EC2へS3からデータをダウンロードする(VPCエンドポイント編)

事前準備 VPCエンドポイントを作成 VPCのエンドポイントを作成する。サービスとしてS3を選択。 フルアクセス設定と、RouteTableを指定して作ってしまえば、このVPC内の指定されたトラフィックはS3のエンドポイントへ向かうようになる。 AWS S3コマンドで見て…

EC2へSSHログインする

コマンド ssh -i "./.ssh/***.pem" ec2-user@IPaddress .sshフォルダ以下にpemファイルを置いておいて、基本的にこれだけで接続出来る。 事前準備 VPC VPCにIGを設置する サブネット Public IPを有効にする ルートテーブルで0.0.0.0/0をIG宛に設定する(VPC…

MySQLにCSVからデータを追加する

ほぼ人生で初めて触ったMySQLの備忘録。 サンプルデータ MySQLでテーブルにCSVファイルを流し込むまでの手順 MySQLにログイン データベース作成と確認 データベースに移動 テーブルの作成とCSVの流し込み その他MySQLお役立ちコマンド テーブルの概要を見る …