日々是クラウド

AWSで色々やってみるブログ

AthenaとQuickSightを試す

参考記事 この記事を多大に参照して、試してみる。 techblog.nhn-techorus.com S3へのデータの保管 まずはこちらから鎌倉市の職員給与データをダウンロード。 https://www.city.kamakura.kanagawa.jp/opendata/kyuuyo.html S3にHive形式のPartitionを区切り…

【Tips】Docker permissionエラー

エラー内容 このエラー↓が出たときの対処 Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: 対処方法 ユーザーにdockerの権限がないので、与える必要がある。 そのために、dockerのユーザーグル…

【個人メモ】ELBスティッキーセッションとElasticacheとDynamoDBの使い分け

自分でも理解が浅い部分があるけど、下記のような感じかな。 よく理解したら更新予定。 ELB: 手軽にセッションを保持できる。 Elasticache: ELBでスティッキーセッション張っても、可用性の問題があるので、セッション情報をデータベース参照にする。 弾力…

CodePipelineとPytestで自動テスト

別にPythonじゃなくてCでもC++でもいいんだけど、機械学習屋さんとしてはPythonに慣れ親しんでいるので、その例でトライ。 HelloWorldで書いても良かったけど、せっかくなのでgit pushすると、自動でPytestが動くようなもの。 CodeCommitとPytestとbuildファ…

IAMロールを使ってCodeCommitからクローンする

EC2を使って、CodeCommitからリポジトリをクローンしたい場合、 credential情報を使わずに、IAMロールを使うことが可能。 IAMロールの設定 EC2にCodeCommitのポリシーをつける。 とりあえずFullAccessを付与。ReadOnlyなどは適宜設定。 gitの設定 gitのcrede…

EC2とDockerで手軽にJenkinsを試す #1

第1回目はEC2へdockerをセットアップし、JenkinsのイメージをRunする。 Jenkinsの動作確認までをしていきたい。 第2回目でCodeシリーズあたりと連携をしていきたいと思う。 EC2へのDockerのインストール Jenkinsのセットアップ jenkins blueoceanのダウンロ…

CloudFormationで簡単に機械学習の開発環境を整える

はじめに 構成図 はまりどころ NATGatewayでのElasticIPの指定 NATGatewayへのRoute EC2のSecurityGroupの設定はリストで yamlファイル全体はこちら はじめに ちょっと検討をしてみようと思うたびに、VPC作ってSubnet作って、InternetGatewayとElasticIP取得…

AWSアカウント間でのCodeCommitからのClone

AWSアカウントAのリポジトリからAWSアカウントBの人がCloneする Bの人がAのアクセスキーIDとシークレットアクセスキーを持っている場合 非常に簡単。 AWSアカウントBの人のEC2で、下記コマンドでAWSアカウントAのcredential情報を入力。 credentialを入れる…

CodeCommitからリポジトリをクローンする

IAMユーザーから認証情報を作成 AWS CodeCommitのHTTPS Git認証情報を生成をクリック。 ユーザー名とパスワードをダウンロードしておく。 Git cloneするだけ git clone https://git-codecommit.ap-northeast-1.amazonaws.com/*********/ こうするとユーザ名…

VSCODEから踏み台サーバー越しにSSH接続をする

多段SSHしたい 機械学習の研究開発用だと、SageMakerのJupyter NoteBookじゃ物足りず、EC2にSSHで入って開発したくなる。僕の使い方が悪いのか・・?開発用にEC2を置くなら、Privateに開発用、Publicに踏み台サーバーを置くといいかなぁと思う。(特に会社と…

EC2へS3からデータをダウンロードする(VPCエンドポイント編)

事前準備 VPCエンドポイントを作成 VPCのエンドポイントを作成する。サービスとしてS3を選択。 フルアクセス設定と、RouteTableを指定して作ってしまえば、このVPC内の指定されたトラフィックはS3のエンドポイントへ向かうようになる。 AWS S3コマンドで見て…

EC2へSSHログインする

コマンド ssh -i "./.ssh/***.pem" ec2-user@IPaddress .sshフォルダ以下にpemファイルを置いておいて、基本的にこれだけで接続出来る。 事前準備 VPC VPCにIGを設置する サブネット Public IPを有効にする ルートテーブルで0.0.0.0/0をIG宛に設定する(VPC…

MySQLにCSVからデータを追加する

ほぼ人生で初めて触ったMySQLの備忘録。 サンプルデータ MySQLでテーブルにCSVファイルを流し込むまでの手順 MySQLにログイン データベース作成と確認 データベースに移動 テーブルの作成とCSVの流し込み その他MySQLお役立ちコマンド テーブルの概要を見る …