読者です 読者をやめる 読者になる 読者になる

2泊3日の開発合宿 in 湯河原 おんやど 恵に行ってきました!!!!

こんにちは。メドピアに入社してもうすぐ1年の栢割(カヤワリ)です。
そろそろ開発合宿の時期がやって参りました!!!!弊社は2013年から開発合宿を定期的に行っており、今回で第8回目になります。
(自分は第6回目にも参加し、ブログも書かせて頂きました。)

tech.medpeer.co.jp
今回も私の方から合宿の様子を書かせていただきます。よろしくお願いします!!!!

合宿テーマ

開発合宿のテーマは毎回異なり、技術研鑽や技術的負債の解消、他にも新規サービス立ち上げ等を行ったこともあります。過去の開発合宿では新規サービス立ち上げをテーマに実施され、弊社のサービスとして事業化されているものもあります。

合宿に行く前に各自、取り組む内容について宣言してから開発します。今回はこんな感じ。

  • 社内の業務改善ツール開発
  • これまで懐に温めてきた医療系サービス開発
  • メドピア既存サービスに新機能追加
  • 話題の新技術を使って開発

取り組み方は自由でチームを組んでも良し。個人でモクモクと取り組むも良し。特に取り組み方について制約は無いので、自身が取り組みたかった開発がしやすいです。
しかし、ただ開発するだけでは自己満足で終わってしまうので、今回は最終日に会社へ戻り、成果発表LTをすることになりました。

エンジニアに嬉しい旅館「湯河原 おんやど 恵」さん

f:id:takayukikayawari:20170314143607j:plain さっそく足湯に浸かっている写真ですが、これを見てピンときた方いるのではないでしょうか?
今回の合宿は湯河原の「おんやど 恵(めぐみ)」さんにお邪魔しました。SE出身の社長さんが経営されている旅館で、エンジニアに嬉しい「開発合宿プラン」などが用意されています www.onyadomegumi.co.jp
当日は湯河原駅に直接集合!湯河原駅からタクシーで5~10分程度で到着しました。 f:id:takayukikayawari:20170314143650j:plain

お部屋が空くまで少し時間があったので、先に会議室へ…。
かなり広い会議室でした。合宿参加者は7人でしたが、この人数には広すぎるくらい。電源タップ、スピーカー、USB充電器、おやつ、ホワイトボード、腰が痛くならないグッズ等、設備品も充実してました。食事をしてる最中も、旅館の方が会議室の飲み物やお菓子の補充してくれます。ありがたや〜。(余談ですが、ディスプレイのレンタルプランもあるそうです。) f:id:takayukikayawari:20170315100928j:plain

基本的にお食事、お風呂、寝る時以外は開発に没頭します!!レッドブルかまして夜遅くまで開発するメンバーもいました。 f:id:takayukikayawari:20170314180547j:plainf:id:takayukikayawari:20170315104859j:plain お菓子も摘みながらモクモク…。 f:id:takayukikayawari:20170314180820j:plain

開発の合間には戦士の休息…。足湯でリフレッシュします。気持ちいいべ〜。もちろん温泉もあります。露天風呂は最高でした。 f:id:takayukikayawari:20170314181211j:plain

美味しいご飯レポート

旅館のご飯も美味しかったです。
(※ココから美味しそうな写真が続くので、ご飯時に見るとお腹が空いてきます。ご注意ください。) f:id:takayukikayawari:20170314181544j:plain f:id:takayukikayawari:20170314182243j:plain:w290f:id:takayukikayawari:20170314183252j:plain:w290f:id:takayukikayawari:20170314183653j:plain:w290f:id:takayukikayawari:20170315183027j:plain:w290 f:id:takayukikayawari:20170314183733j:plain:w290f:id:takayukikayawari:20170314183755j:plain:w290
宿の近くにあったラーメン屋さん。あさりラーメンが美味しかったです。 f:id:takayukikayawari:20170314182140j:plain f:id:takayukikayawari:20170314182005j:plain
お店を探している道中……
弊社のRailsプロジェクト開発で大変お世話になった株式会社 万葉さんが…!!??   f:id:takayukikayawari:20170314184527j:plain
……………お茶屋さんでした…。

そして最終日…成果発表へ!!

2泊3日の合宿を終え、成果発表のために会社へ戻ります。 f:id:takayukikayawari:20170314184148j:plain

お昼過ぎに会社に到着し成果発表LTをしました。弊社代表の石見をはじめ、エンジニア以外の方々も見に来てくれました。 f:id:takayukikayawari:20170315175325j:plain

まとめ

開発合宿は普段の業務でなかなか取り組めないタスクや負債を潰したり、新しい技術に集中して取り組める絶好の機会だと思います。 また、2泊3日という短い時間で成果を出す必要があるので、自身がこの短期間にどこまで出来るかを確認できる良い機会でもあると思います。次回も是非参加して、成果発表LTで皆さんに「おぉ!!」と驚かれる物を作りたいです…。

以上!2泊3日のメドピア開発合宿 in 湯河原 おんやど 恵の様子でした。

イマドキのジョブスケジューラについて考える

こんにちは。Ruby化をすすめるメドピアをお手伝いしている@willnetといいます。

メドピアではPHPからRubyに移行するにあたり、単純に言語を置き換えるだけではなく、言語以外の仕組みについても適宜見直しを行っています。今回はそのうちジョブスケジューラを見直した件について書いていきます。

言語を置き換えた話はこちらを参考にしてください。

レガシーな独自フレームワークから脱却してRailsへ徐々に移行している話 - メドピア開発者ブログ

そもそもジョブスケジューラってなに

「毎日1時になったら前日のアクセスログを集計して統計データとしてまとめる」などといった定期的に実行するジョブを登録するためのものです。

ウェブサービスを作るときのジョブスケジューラといったらやっぱりcronですよね。メドピアでもこれまでcronを活用していました。しかしサービスが小さいうちはcronでもそれほど問題ないのですが、サービスが育つにつれだんだん問題が顕になってきます。

cronの問題ってなに

以下列挙します

スケジュールをバージョン管理できない

crontab -e などで直接crontabファイルを編集した場合、変更の履歴が残りません。つまり以前のバージョンに切り戻したり、過去の履歴を振り返ったりすることができません。

余談ですがcrontab -eを打とうとしてeの隣のrを押してしまい、crontab -rでcrontabの設定を消去してしまった経験のある人はチームに一人くらいいるんじゃないでしょうか。

間違えやすい記法

crontabの記法は一見してわかりづらく、設定ミスをしやすいものになっています。

例えば次のようなcronを設定したとします。

5 2 1 * * /your/batch/command

これは毎月1日の2時5分に/your/batch/commandを実行するcronジョブですが、ぱっと見ただけで理解するのは難しくはないでしょうか。あとは*/10とか1-5,10-20とかの特殊記号を使ったときも、本当にこの書き方で想定通りの時間に実行できるのか不安になります。

cronサーバを分散できない

ウェブサービスで負荷が高まったときには、仮にアプリケーションサーバボトルネックであれば同じサーバを追加(スケールアウト)することで負荷を分散することができます。しかしcronサーバで同じことをすると複数のサーバで同じジョブが同時に実行されることになってしまいます。そのため大抵の環境においてcronサーバは1台だけで運用されているはずです。

開発が進みcronジョブが増えてくると、時間帯によっては複数のジョブが1台のcronサーバで並列に実行されて負荷が異常に高まり、予想しない挙動や障害につながっていきます。

デバッグしづらい

cronの環境と、普段使っているシェルの環境との違いでジョブが失敗することはよくありますが、特にそれを示唆するような出力はないことが多いです。そのためこの手の経験がないと「手元で実行すると動くのになぜかcronだと動かない!なぜ!?」のようにハマります。

ログを追いづらい

cronを実行した際の出力はメールで送信されますが、2017年の現在その機能を使っている方はあまりいないのではないでしょうか。普段は自前でログを頑張って出力したものを保持しておき、エラーが起きたときにはAirbrakeなどのエラー管理システムと連携して通知、ログを漁って原因を究明する…というケースが多そうです。

ジョブごとに成功/失敗のステータスやログがまとまっていると便利ですが、そこまで自前で実装するのは大変ですね。

どうやって問題を解決するか

cronの問題についていろいろ書きましたが、どのようにしたらこれらの問題を解決できるのでしょうか。cronそのものを改善させる方向と、cronをやめる方向で考えてみます。

whenever で cron を改善させる

これまで挙げたcronの問題のうちいくつかはwheneverというgemを利用することで改善可能です。使っている方も多いのではないでしょうか。

wheneverを使うと次のような記法でジョブをファイルに定義し、crontab用の記法に変換して登録することができます。

every 1.day, :at => '4:30 am' do
  runner "MyModel.task_to_run_at_four_thirty_in_the_morning"
end

このファイルをバージョン管理しておき、デプロイ時に自動でcrontabを更新するようにします。これで、バージョン管理の問題と、記法の問題を解決できました。

しかし、他の問題は変わらず残っています。

cron をやめる

調べると、cronを置き換えようとするプロジェクトはたくさんあることがわかります。

上記はなるべくRubyで作られたツールの中から選びました。つまりRubyにこだわらなければもっとたくさんの選択肢があるわけです。悩みますね><。

全ての問題を完全に解決するツールは存在しなかったので、次のような観点でツールを選定しました。

  • 適度に問題を解決していること
  • Ruby を使ったプロジェクトであること
  • メンテナンスが続いていること
  • 最悪メンテナンスが停滞しても自分たちでなんとかできること
  • 導入のしやすさ

結果として、sidekiq-cronを採用することにしました。

sidekiq-cron

sidekiq-cron はバックグラウンドジョブを扱うgemであるsidekiqを拡張し、cron的な機能を追加してくれるgemです。

主なメリットとしては、

  • sidekiqに相乗りする形で利用できるので導入が楽
  • ジョブ失敗時にリトライさせることができる
  • sidekiqのワーカーを増やすことで負荷分散できる
  • yamlでスケジューリングを定義するのでスケジュールのバージョン管理ができる
  • sidekiqがweb uiを用意しているので、ジョブの状態を確認できる*1

などがあります。慣れているsidekiqをそのまま使う感覚でいけるのがいいですね。

時間を指定する記法はcrontabと同じだったり、詳細なログ出力は独自で頑張る必要がありますが、cron単体の時よりはだいぶ前進できた気がします。

将来的にどうするか

sidekiq-cronは本番導入されており、今の段階では特に問題はないのですが、遅くても数年したら乗り換えを検討する必要がありそうです。

例えば複数のRailsアプリを管理するようになった場合に、複数アプリを横断したジョブスケジューラを管理したいという要望にはsidekiq-cronでは応えられません。また、ジョブの数が数十〜百になった場合にジョブをどうやって管理するかも悩ましいところですし、ログの出力が弱いことが問題となるケースも今後出てくるでしょう。

と、そんな折に昨年OSS化されたkuroko2を軽く触ってみたところ、なかなか良さそうでした*2。次回乗り換えを検討する際の有力な候補となりそうです。

kuroko2の詳細は以下のリンクを参考にどうぞ。

まとめ

開発しているアプリケーションの規模によって適切なツールは変わってきます。小規模なアプリケーションのジョブスケジューラであればcronはまったく問題ないと思いますが、アプリケーションが成長していくにつれてより適したツールに乗り換えていく必要があるでしょう。このエントリが次のツール選定の参考になれば幸いです。

*1:sidekiqの仕様上、WebUI上にログはほぼ残らないので、sidekiq-failuresを利用して失敗したジョブのエラーを閲覧できるようにしています。

*2:ツール選定当時はOSS化されていなかった

レガシーな独自フレームワークから脱却してRailsへ徐々に移行している話

Rails Ruby

みなさんこんにちわ。 メドピアでエンジニアをやっている内田と申します。

現在メドピアではPHPで作られたレガシーな独自フレームワーク (以下FW) からRailsへと移行するプロジェクトが進んでいます。 今回は移行に向けて行ったことについて共有したいと思います。

移行の計画

メドピア株式会社では、医師限定のコミュニティサイト「MedPeer 」を運営しています。 「MedPeer 」サービス内では、薬剤評価掲示版、症例相談、Forum、ニュースなど、医師同士が情報交換をするための、機能の異なる複数のサービスを提供しています。

それらサービスの内部では7年前に作られたPHPの独自FWが採用されており、コードが肥大化したことで機能の変更や追加がとても困難になっていたことが課題でした。

そうした課題を解決するために、アーキテクチャの見直しを含めたリプレースがエンジニアの主導で計画されました。 様々な言語を比較する中で、生産性の高さやコミュニティが活発なところに魅力を感じて言語はRubyへと決め、FWは独自で作るよりもOSSの方がより多くの開発者によって開発が行われているため、新しい機能が使えたり安定性が高いといったメリットがあるだろうと考え、Railsへと移行することに決めました。

しかし、移行するにしても「MedPeer」はとてもモノリシックな上に、機能によってはもはや誰も知らないコードなども存在しており、一筋縄ではいきません。 一度に全てを移行するという方針だと数年はかかりそうです。その間ビジネスを止めるわけにはいかないので、移行の間も新サービスの開発だったり機能の追加を常に行っていく必要があります。

そこで、既存の機能追加は今まで通りレガシーな旧環境で開発しつつ、新サービスやサービスごと移行したいものに関してはRailsの新環境で開発していく、という方針を取ることにして、両環境を運用しながら徐々に移行することにしました。そのためにまずは旧環境と新環境2つを連携して並列稼働させる仕組みが必要でした。

やったこと

具体的にやったことは以下の3つです

  • urlごとの振り分け

  • 共通処理の切り出し

  • データの同期

urlごとの振り分け

urlの振り分けは、nginxを使ったリバースプロキシー先の振り分けです。ドメインは両環境で同じにしてたとえば、/aaaときたurlは旧環境に、/bbbときたurlは新環境にと振り分けるようにしました。 幸いMedPeerは前述の通り複数のサービスで成り立っておりサービスごとにurlが異なり依存度も少ないためこの方法は合っていました。 注意点としては両環境でurlがバッティングしないように設計する必要があったり、同一ドメインであるためcookieの扱いに気をつける必要があることです。

f:id:yutauchida:20170130140305p:plain

共通処理の切り出し

両環境にて共通に処理する必要のある機能が存在します。たとえば認証です。認証したら環境をまたいでもセッションをセキュアに維持できる仕組みが必要です。 これに対しては既にAPIゲートウェイとして認証部分を別のアプリケーションとして切り出していたためそれを新環境でも利用するようにしました。こういった共通処理を切り出しておくと他サービスでも連携しやすいといったメリットがあります。実際にメドピアの他サービス(キャリア、イシコメ)でも認証部分はAPIゲートウェイを利用しており、サービスのスケールに寄与しています。APIゲートウェイを開発した際の話についてご興味ある方はこちらをご参照ください。

Golang(Go言語)を採用して、たった二人で基盤となるAPIゲートウェイを開発した話 - メドピア開発者ブログ

データの同期

両環境ではユーザーテーブルなど共通のデータを利用する必要があります。 当初は現行のDBを共用することも考えましたが以下の理由でやめました。

  • テーブルの設計がRailsに最適化されていない

  • 移行を機にDB構造を見直したい

RailsはDBに対してある一定の規約があります。例えば主キーはidが望ましいといったことです。 旧環境のDBでは主キーがid以外に設定されていたり、テーブル名が複数形になっていないなどRailsを利用する にあたって最適化されていないという問題がありました。また、長年DBを運用していて設計上見直したい部分が多々ありました。例えば 以下の内容です。

  • 不要なテーブル、カラムが存在している

  • カラム名が適切でないため理解しにくい

  • 正規化が適切にされていない

  • indexやunique制約が適切に貼られていない

移行をいい機会としてこれらを見直して再設計したいこともあり、DBは新しく作るという方針を立てました。 そのために2つのDBのデータを同期する必要があったため、両環境のDBを橋渡しする役割のアプリケーションを作りました。 それがDB-SYNCです。

f:id:yutauchida:20170130152525p:plain

DB-SYNCは旧環境のデータを新環境でも使いたい場合にデータを任意の形にコンバートします。例えば旧環境であるユーザーのEmailが更新されたとします。 その際に更新があったことを通知するテーブルに登録されます。DB-SYNCはcron&キューの処理としてそのテーブルをreadして更新のあった対象のテーブル とデータを判別します。その後、旧環境のDBから対象のデータをFetchして、新環境のDBに新しく設計されたテーブルのどのカラムに対応するのか を変換ルールが定義されたファイルを参照しながらUPSERTを行います。変換ルールが定義されたファイルは例えば以下のような内容が記載されます。

user:
  old_table: portal.users
  column_name_mappings:
    id:              old_user_id
    last_login_time: last_logged_in_at
    account_id:      email
    state_cd:        registration_status
    profession_id:   profession_type
    physical_deletable: true
    unsync_columns:
      - id

DB-SYNCでは命名の変更だけでなく、2つのテーブル を統合して再設計した一つのテーブルにデータを登録していくといったことも可能になっています。その他のポイントとしてはデータの流れは 旧環境から新環境への一方向のみとしています。理由としては、両環境でデータが行き来すると煩雑になり障害発生時に原因の究明に時間がかか るのではと考えたのと、逆方向へのデータ同期によりそれを使う機能を開発する要件があるならば、それは新環境での開発を促すべきだというポリシ ーのもとで、そのようにルール化しました。

まとめ

以上のような施策を行い2016年の夏にRailsで作られた新システムがリリースされており、現在は2つの環境が安定して動いています。 徐々に移行することで比較的小さいリリースとなるので大きな障害が起きにくいといった安心感があるのと、Railsでの開発ができるようになったので楽しんで開発しているエンジニアが見られるようになったのはポジティブな要素だと感じています。

また、Railsアプリケーションの立ち上げについてはパーフェクトRuby on Rails共著の前島さんを始め、株式会社 万葉のエンジニアさんなどRails に知見があるメンバーに推進してもらいました。今後規模が大きくなると予想されるアプリケーションで新しい言語やFWを採用するに あたって経験豊富なエンジニアにしっかりとした土台を作ってもらい、その上で開発していくことが長く運用していくうえで大事だと考えています。

近頃、大規模アプリケーションをRails化しているという案件を聞くことが多くなった気がします。そういった計画を考えている方に弊社 の事例が一つでも参考になれば幸いです。

事業拡大に伴いコーポレートサイトのリニューアルを行いました!そして、コーポレートサイトだから色々技術的に挑戦してみました

Introduction

こんにちは、元Sake部長@shinofara(篠原)です。
Golang(Go言語)を採用して、たった二人で基盤となるAPIゲートウェイを開発した話 以来の登場です。

今回調子に乗って、各セクションを英語にしてみたのですが、途中で力尽きてしまいました。。

それはさておき、みなさんお気づきでしたか?
実は2016年11月10にフルリニューアルした、弊社コーポレートサイト(以下、COJP)を公開していました。

f:id:shinofara:20161125205953p:plain:w300

今までと比べると、とても最近感がありますよね!
ちなみに、11月9日時点までのサイトは、以下の画像です。
f:id:shinofara:20161125205635p:plain:w300

デザイン刷新しただけ?の様に思えますが、技術的な観点でも旧COJPと全く違う物になりました!!
今回は、その裏側を紹介したいと思います。
デザイン観点でのブログはこちら

※ちなみに僕がアサインされたのはリリース3週間前

Background of renewal.

今までのCOJPには様々な課題がありました。
あるあるなモノから、メドピアだけのものだとか

  • エンジニアがいないとデザイン修正が出来ない
  • 1台のサーバに WordPress が複数稼働している状態で、冗長構成に出来ない。
  • そもそも WordPress魔改造されていてセキュリティ対応し難いし、脆弱性多発しやすい
    CVEレポートがおおい
  • そもそも構成を理解している人が居ない(外注)為、ローカルで再現出来ず開発出来ない
  • そもそもデザイン自体が古いので、新しくしたい

Renewal overview.

リニューアルに対しての、企画要望と課題、そして対応方法

Requirement.

リニューアルを行う際に、下記の様な要望がありました。

  1. 更新のある記事は、WordPress 等のCMSで入稿したい
  2. TOPページとか、更新がめったにないサイトは、デザイナが直接更新したい
  3. 問い合わせに対して、自動返答+社内に履歴を残したい
  4. 旧社長ブログや、プレスリリースなどのSNSシェア数などは可能な限り引き継ぎたい(可能な限りとはあるが、これは限りなく100%に近い可能な限り)

という感じで、ざっくりまとめると今より色々な面で良くしたいけど、過去は全部引き継いでね♡という感じでした。

Issue.

あがった要望に対して、見えてきた課題もあります。

  1. WordPress 本番運用はセキュリティ的な問題で、NG
  2. 運用者が、FTPクライアントなどでupload出来る場所が必要
  3. 問い合わせ処理と管理は動的な物なので、サーバサイドの仕組みが何かしら必要
  4. 旧サイトのURLは動的URL (https://medpeer.co.jp/?p=1632

How to respond?

そんな課題に対して、今回行った対応です。

  1. ステージング環境に構築した WordPress から本番用S3に静的ファイルの書きだしを行う事で対応する。(StaticPressを利用) *Updateが止まってるのが悩み
  2. S3に専用バケットを作成して、運用者ごとのIAMでAccess出来る様にする
  3. 会社としてRails化を進めているのでPOSTを受けてメール送信を行う処理をRails5で作成
  4. StaticPressを使う関係上URLは、静的な物(https://medpeer.co.jp/blog/1632.html)になってしまう為、この場合でも旧URLのソーシャルスコアを維持できるように対応

Technical point of view

技術的な取り組みとしても幾つか新しい事をやったりもしています。 今回のリニューアルでは、技術的に以下の取組を行いました。

1. All applications are operated by Docker

最近では珍しくなくなってきたDockerをフル活用しています。 Dockerを使う事で、再現性のある環境を共有・展開出来るようになり、とある環境では動かないと言った問題が起こりにくくなります。

2. Blue Green Deployment(Operation not using SSH)

DockerとECSを使う事で、EC2に対してSSHを用いる事無く、コンテナの作り捨てが出来るようになります。 また、イメージが存在していればトラブルが発生していても、過去の動いていたバージョンにロールバックする事も容易に出来ます。

3. Engineerless operation

エンジニアにデプロイ依頼が発生しているとスピード感が損なわれる為、動的部分以外はエンジニア介入しない公開フローと公開できる仕組みを整えました。

4. Infrastructure as Code

Terraformでインフラ構成管理、Dockerでアプリケーションサーバ構成管理を行う事で、環境構築の再現性を確保 また、コード化する事で、PRによるレビューも行い、インフラ事故を軽減

Infrastructure

今回のCOJPでは、開発環境は、 docker-compose で、ステージング、本番は AWS を使っており、更にステージングではWordPressPHPで動いているのに対して、本番ではS3からの静的配信になっています。
その為、各環境で使っている物が少しずつ変わってきます。

各環境毎に利用しているサービスの違い

本番/ステージングがAWSですが、開発環境の構成も可能な限り同じものを用意してます。

要素 本番 ステージング 開発
SSL AWS Certificate Manager AWS Certificate Manager オレオレCA認証SSL証明書
Load Balancer ALB ALB HAProxy Container
WordPress S3 WordPress Container Wordpress Container
Static File Storage S3 S3 Nginx Container
Rails Rails(Puma) Continer Rails(Puma) Continer Rails(Puma) Continer
SMTP SES SES MailCatcher Container
Mail Log Data Storage DynamoDB DynamoDB DynamoDB Local Container
Wordpress Data Storage None RDS (MariaDB) MariaDB Container
Log Cloud Watch Logs Cloud Watch Logs Stdout

How about services provided by AWS?

ALB,DynamoDB,etc..と言ったAWS提供サービスは、ローカルには存在しませんので、 HAProxy, DynamoDB-local, MailCatcherで代用してます。

ALBの代わりに使ってるHAProxyって何?

HAProxy は、簡単に書くと多機能プロキシサーバで、ALBの様にPATH Routingが出来ます。

DynamoDBの代わりに使ってるDynamoDB-localって何?

RDSの場合は、MySQLなどで代用は可能ですが、AWS提供のDynamoDBは代わりが効きませんが、DynamoDB Local が公式提供されていますので、こちらを使います。

SESの代わりに使ってるMailCathcerって何?

MailCatcherは、SMTPサーバとメールクライアントを同時に提供してくれるアプリケーションになります。 開発環境に導入する事で間違えて本番に.....という事故を防ぐ事ができます。

それぞれの環境毎のinfrastructureについて

環境 ツール
本番・ステージング Terraform / ECR / ECS
開発 Docker Compose

本番/ステージングと開発環境では、ECS/ECRとdocker-composeと違いはあるものの 各アプリケーションは同じDocker Imageを使いまわせる為、便利ですね。

全ての環境の構成図

f:id:shinofara:20161115141208p:plain:w300

About AWS configuration

今回はAWSのインフラに関して、更に深く書いてみたいと思います。

Services

  • ALB
  • ECS
  • ECR
  • S3
  • DynamoDB
  • RDS ( stg only )
  • Cloud Watch Logs

Policy

どのように接続したか

EC2から各サービスを利用するにあたって、IAM Userを作るのでは無く、EC2にIAM ROLEを割り当てました。

なぜ?

  1. IAMの管理がめんどくさい
  2. 何かしらの事情で、キーやシークレットが流出したら削除、もしくは変更しないといけない
  3. そもそも秘密情報の管理方法を考えなくてはいけない

など管理面でワズらしい事がおきてしまいます。

EC2に紐付けるとどうなるの?

EC2に紐付けると上記問題は解決できますし、この割当てられたEC2からしか各サービスへのアクションを行えなくなります。 これだとEC2に入れれば許可された範囲で何かできてしまうのでは?となりますが、この点に関してはキーを発行した場合でも同様の事が言える為、別の問題という事になります。

公式ドキュメントはこちら

ECSに対して付与したPolicy

{
  "Version": "2012-10-17",
  "Statement": [
      {
      "Action": "elasticloadbalancing:*",
      "Effect": "Allow",
      "Resource": "*"
    },
    {
      "Action": "ecs:*",
      "Effect": "Allow",
      "Resource": "*"
    },
    {
    "Action": ["logs:CreateLogStream","logs:PutLogEvents"],
      "Effect": "Allow",
      "Resource": "*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "ecr:BatchCheckLayerAvailability",
        "ecr:BatchGetImage",
        "ecr:GetDownloadUrlForLayer",
        "ecr:GetAuthorizationToken"
      ],
      "Resource": "*"
    },
    {
      "Effect": "Allow",
      "Action": "s3:*",
      "Resource": [
          "arn:aws:s3:::<Bucket Name>",
          "arn:aws:s3:::<Bucket Name>/*"
      ]
    },
    {
      "Effect": "Allow",
      "Action": "dynamodb:PutItem",
      "Resource": [
             "arn:aws:dynamodb:ap-northeast-1:<AWS Account ID>:table/<Table Mame>",
      ]
    },
    {
      "Effect": "Allow",
      "Action": ["SES:SendEmail", "ses:SendRawEmail"],
      "Resource": [
             "arn:aws:ses:us-west-2:<AWS Account ID>:identity/<Domain>",
      ]
    }

  ]
}

TerraformとECS、ECR

Terraformでも、ECS/ECRの操作は出来ますが、今回は2重管理は避けたかったので、 ECS Clusterを作成するところまでをTerraform、 ECS Service作成、Task Difinition作成などは、自作のスクリプトで行っています。 理由としては、task.jsonをterraform管理ではなく、デプロイスクリプト管理にしたかったという理由です

Terraform

Terraformは、開発も活発で結構頻繁にバージョンがあがるのですが、たまにバージョンアップの影響で forces new resource と強制再構築されそうになる時がたまにあります。
過去の例としては、0.6.14 から 0.6.15 にあげる際に、 security_groups ではなく vpc_security_group_ids に書き換えないといけない変更が入っていて、plan せずに apply すると再構築に....
今例に上げた問題は、CHANGELOG.md#0615-april-22-2016 にも書かれているので、見ていれば気付けるのですが、見逃すと怖いですね。

aws_instance - if you still use security_groups field for SG IDs - i.e. inside VPC, this will generate diffs during plan and apply will recreate the resource. Terraform expects IDs (VPC SGs) inside vpc_security_group_ids.

更に言えば、複数のサービスに関わっていると、それぞれを実行したバージョンが違ったりと、毎回最新に追従できていれば問題無いのですが、なかなか出来ない事もあります。

ですので、弊社では誰がどこで実行しても、バージョンによる問題が起きないように、Terraform の実行にも Docker を使っています。
Dockerイメージは、Docker Hubで公開されている hashicorp/terraformを使っています。

簡単な使い方は、下記のとおりです。

OPTION=''
docker run --rm -v ~/.aws:/root/.aws:ro -v ${PWD}:/work -w /work hashicorp/terraform:0.7.13 plan ${OPTION}
docker run --rm -v ~/.aws:/root/.aws:ro -v ${PWD}:/work -w /work hashicorp/terraform:latest plan ${OPTION}

その他利用可能なバージョンはこちら

このようにして置くことで、違うバージョンで実行してしまって再構築が走ったりするリスクは回避できます。 ※でも頑張って追従しましょうね。

ECS with ALB

いいツールが見つからなかったので、自作しました。

Finally

このような感じで、COJPのリニューアルが完了しました。 Dockerイメージ管理下の、WordPressや、Railsはエンジニアの手が必要ですが、日々運用に置いてはエンジニアレスを実現する事ができました。
また、全てのコンテンツを静的配信化することで、スケールしやすくもなり、負荷に怯える日々もなくなりました。(S3のお金は...)

それに、ECSを使うことで、厳密にはDockerを使う事で、CVEなどの対応時に、稼働中のサーバ更新・再起動して動くか分からないと怯えるという事があったのが、動く事を保証した上で、イメージ再作成も行えるようになりました。 罠は多いですが、

では、皆さんよきECS/ECR生活を(๑•̀ㅂ•́)و✧

TerraformでCloudWatch EventsのEBSスナップショット定期作成機能を設定する

はじめに

世の中の医療・ヘルスケア情報を医師たちが実名で解説するWEBメディア、イシコメ開発担当の大谷です。 イシコメは少数の開発者で開発・運営しているため、省力化のためTerraformなどのツールによりインフラ管理を自動化しています。

今回は、TerraformでEBSのスナップショットをサーバレスで定期的に作成する方法について調査したため、その方法を共有します。

本稿ではTerraform自体の解説は行いません。 Terraformを使ったことが無い方は、公式サイトのチュートリアルが分かりやすいので是非試してみて下さい。

尚、使用したTerraformのバージョンはv0.6.16です。

手順

CloudWatch EventsのEBSスナップショット作成機能をTerraformで設定します。 必要なのは.tfファイル一つですが、その中に記述する要素について順を追って説明します。

1. AWSのproviderを準備する

いつもの設定です。

variable "access_key" {}
variable "secret_key" {}
variable "aws_account_id" {}
variable "region" {
  default = "ap-northeast-1"
}

provider "aws" {
  access_key = "${var.access_key}"
  secret_key = "${var.secret_key}"
  region = "${var.region}"
}

2. 取得対象のEBSのIDを指定する

ハードコードにしてもいいですが、実用的ではないので変数化してしまいます。

variable "ebs_id" {}

3. IAM Roleを作成する

CloudWatch EventsがEBSを作成できるように権限を設定します。

resource "aws_iam_role" "cloudwatch_events_automatic_execution" {
  name = "cloudwatch_events_automatic_execution"
  assume_role_policy = <<EOF
{
  "Version": "2012-10-17",
  "Statement": [
      {
          "Action": "sts:AssumeRole",
          "Principal": {
            "Service": "events.amazonaws.com"
          },
          "Effect": "Allow"
      }
  ]
}
EOF
}

resource "aws_iam_role_policy" "cloudwatch_events_automatic_execution_policy" {
  name = "cloudwatch_events_automatic_execution_policy"
  role = "${aws_iam_role.cloudwatch_events_automatic_execution.id}"
  policy = <<EOF
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "ec2:Describe*",
                "ec2:CreateSnapshot"
            ],
            "Effect": "Allow",
            "Resource": "*"
        }
    ]
}
EOF
}

4. EBSスナップショット作成のスケジュールを設定する

aws_cloudwatch_event_ruleリソースでCloudWatch Eventsのルールを作成します。 ここでは主に先程作成したIAM Roleの指定と、実行間隔を設定することになります。 今回は、1日1回実行するようにしてみましたが、変更したい場合はCloudWatch Eventsの仕様に従ってschedule_expressionオプションを変更して下さい。

resource "aws_cloudwatch_event_rule" "take_snapshots_every_day" {
  name = "take_snapshots_every_day"
  description = "Fires every day"
  schedule_expression = "rate(1 day)"
  role_arn = "${aws_iam_role.cloudwatch_events_automatic_execution.arn}"
}

5. EBSスナップショット作成用のイベントターゲットを設定する

ここでスナップショット作成対象EBSボリュームのIDを${var.ebs_id}ではなく${aws_ebs_volume.your_volume.id}のような形でtfファイルの他の場所で作成したEBSボリュームのIDで置き換えるとインフラ一式の作成にあわせてIDが自動で設定されるので便利だと思います。

resource "aws_cloudwatch_event_target" "take_snapshots_every_day" {
  rule = "${aws_cloudwatch_event_rule.take_snapshots_every_day.name}"
  arn = "arn:aws:automation:${var.region}:${var.aws_account_id}:action/EBSCreateSnapshot/EBSCreateSnapshot_${aws_cloudwatch_event_rule.take_snapshots_every_day.name}"
  input = "\"arn:aws:ec2:${var.region}:${var.aws_account_id}:volume/${var.ebs_id}\""
}

実行してみる

今回はaccess_keyなどの設定をsecrets.tfvarsファイルに書いて実行しました。

aws_account_id = "<< substitute me >>"
access_key = "<< substitute me >>"
secret_key = "<< substitute me >>"
ebs_id = "<< substitute me >>"

plan

% terraform plan -state=terraform.tfstate -var-file=secrets.tfvars
Refreshing Terraform state prior to plan...


The Terraform execution plan has been generated and is shown below.
Resources are shown in alphabetical order for quick scanning. Green resources
will be created (or destroyed and then created if an existing resource
exists), yellow resources are being changed in-place, and red resources
will be destroyed.

Note: You didn't specify an "-out" parameter to save this plan, so when
"apply" is called, Terraform can't guarantee this is what will execute.

+ aws_cloudwatch_event_rule.take_snapshots_every_day
    arn:                 "" => "<computed>"
    description:         "" => "Fires every day"
    is_enabled:          "" => "1"
    name:                "" => "take_snapshots_every_day"
    role_arn:            "" => "${aws_iam_role.cloudwatch_events_automatic_execution.arn}"
    schedule_expression: "" => "rate(1 day)"

+ aws_cloudwatch_event_target.take_snapshots_every_day
    arn:       "" => "arn:aws:automation:ap-northeast-1:xxxxxxxxxxxx:action/EBSCreateSnapshot/EBSCreateSnapshot_take_snapshots_every_day"
    input:     "" => "\"arn:aws:ec2:ap-northeast-1:xxxxxxxxxxxx:volume/vol-xxxxxxxx\""
    rule:      "" => "take_snapshots_every_day"
    target_id: "" => "<computed>"

+ aws_iam_role.cloudwatch_events_automatic_execution
    arn:                "" => "<computed>"
    assume_role_policy: "" => "{\n  \"Version\": \"2012-10-17\",\n  \"Statement\": [\n      {\n          \"Action\": \"sts:AssumeRole\",\n          \"Principal\": {\n            \"Service\": \"events.amazonaws.com\"\n          },\n          \"Effect\": \"Allow\"\n      }\n  ]\n}\n"
    name:               "" => "cloudwatch_events_automatic_execution"
    path:               "" => "/"
    unique_id:          "" => "<computed>"

+ aws_iam_role_policy.cloudwatch_events_automatic_execution_policy
    name:   "" => "cloudwatch_events_automatic_execution_policy"
    policy: "" => "{\n    \"Version\": \"2012-10-17\",\n    \"Statement\": [\n        {\n            \"Action\": [\n                \"ec2:Describe*\",\n                \"ec2:CreateSnapshot\"\n            ],\n            \"Effect\": \"Allow\",\n            \"Resource\": \"*\"\n        }\n    ]\n}\n"
    role:   "" => "${aws_iam_role.cloudwatch_events_automatic_execution.id}"


Plan: 4 to add, 0 to change, 0 to destroy.

apply

% terraform apply -state=terraform.tfstate -var-file=secrets.tfvars
aws_iam_role.cloudwatch_events_automatic_execution: Creating...
  arn:                "" => "<computed>"
  assume_role_policy: "" => "{\n  \"Version\": \"2012-10-17\",\n  \"Statement\": [\n      {\n          \"Action\": \"sts:AssumeRole\",\n          \"Principal\": {\n            \"Service\": \"events.amazonaws.com\"\n          },\n          \"Effect\": \"Allow\"\n      }\n  ]\n}\n"
  name:               "" => "cloudwatch_events_automatic_execution"
  path:               "" => "/"
  unique_id:          "" => "<computed>"
aws_iam_role.cloudwatch_events_automatic_execution: Creation complete
aws_iam_role_policy.cloudwatch_events_automatic_execution_policy: Creating...
  name:   "" => "cloudwatch_events_automatic_execution_policy"
  policy: "" => "{\n    \"Version\": \"2012-10-17\",\n    \"Statement\": [\n        {\n            \"Action\": [\n                \"ec2:Describe*\",\n                \"ec2:CreateSnapshot\"\n            ],\n            \"Effect\": \"Allow\",\n            \"Resource\": \"*\"\n        }\n    ]\n}\n"
  role:   "" => "cloudwatch_events_automatic_execution"
aws_cloudwatch_event_rule.take_snapshots_every_day: Creating...
  arn:                 "" => "<computed>"
  description:         "" => "Fires every day"
  is_enabled:          "" => "1"
  name:                "" => "take_snapshots_every_day"
  role_arn:            "" => "arn:aws:iam::xxxxxxxxxxxx:role/cloudwatch_events_automatic_execution"
  schedule_expression: "" => "rate(1 day)"
aws_iam_role_policy.cloudwatch_events_automatic_execution_policy: Creation complete
aws_cloudwatch_event_rule.take_snapshots_every_day: Still creating... (10s elapsed)
aws_cloudwatch_event_rule.take_snapshots_every_day: Creation complete
aws_cloudwatch_event_target.take_snapshots_every_day: Creating...
  arn:       "" => "arn:aws:automation:ap-northeast-1:xxxxxxxxxxxx:action/EBSCreateSnapshot/EBSCreateSnapshot_take_snapshots_every_day"
  input:     "" => "\"arn:aws:ec2:ap-northeast-1:xxxxxxxxxxxx:volume/vol-xxxxxxxx\""
  rule:      "" => "take_snapshots_every_day"
  target_id: "" => "<computed>"
aws_cloudwatch_event_target.take_snapshots_every_day: Creation complete

Apply complete! Resources: 4 added, 0 changed, 0 destroyed.

The state of your infrastructure has been saved to the path
below. This state is required to modify and destroy your
infrastructure, so keep it safe. To inspect the complete state
use the `terraform show` command.

State path: terraform.tfstate

awsコマンドで確認

コマンドラインで確認すると、CloudWatch EventsのルールとIAM Roleの一式が作られています。

% aws iam get-role --role-name cloudwatch_events_automatic_execution
{
    "Role": {
        "AssumeRolePolicyDocument": {
            "Version": "2012-10-17",
            "Statement": [
                {
                    "Action": "sts:AssumeRole",
                    "Effect": "Allow",
                    "Principal": {
                        "Service": "events.amazonaws.com"
                    }
                }
            ]
        },
        "RoleId": "XXXXXXXXXXXXXXXXXXXXX",
        "CreateDate": "2016-05-31T12:54:18Z",
        "RoleName": "cloudwatch_events_automatic_execution",
        "Path": "/",
        "Arn": "arn:aws:iam::xxxxxxxxxxxx:role/cloudwatch_events_automatic_execution"
    }
}
% aws iam get-role-policy --role-name cloudwatch_events_automatic_execution --policy-name cloudwatch_events_automatic_execution_policy
{
    "RoleName": "cloudwatch_events_automatic_execution",
    "PolicyDocument": {
        "Version": "2012-10-17",
        "Statement": [
            {
                "Action": [
                    "ec2:Describe*",
                    "ec2:CreateSnapshot"
                ],
                "Resource": "*",
                "Effect": "Allow"
            }
        ]
    },
    "PolicyName": "cloudwatch_events_automatic_execution_policy"
}
% aws events list-rules
{
    "Rules": [
        {
            "ScheduleExpression": "rate(1 day)",
            "Name": "take_snapshots_every_day",
            "RoleArn": "arn:aws:iam::xxxxxxxxxxxx:role/cloudwatch_events_automatic_execution",
            "State": "ENABLED",
            "Arn": "arn:aws:events:ap-northeast-1:xxxxxxxxxxxx:rule/take_snapshots_every_day",
            "Description": "Fires every day"
        }
    ]
}
% aws events list-targets-by-rule --rule take_snapshots_every_day
{
    "Targets": [
        {
            "Input": "\"arn:aws:ec2:ap-northeast-1:xxxxxxxxxxxx:volume/vol-xxxxxxxx\"",
            "Id": "terraform-xxxxxxxxxxxxxxxxxxxxxxxxxx",
            "Arn": "arn:aws:automation:ap-northeast-1:xxxxxxxxxxxx:action/EBSCreateSnapshot/EBSCreateSnapshot_take_snapshots_every_day"
        }
    ]
}

おわりに

今回は、TerraformでCloudWatch EventsによるEBSボリュームのスナップショット作成機能を設定してみました。 マネジメントコンソールからなら簡単に設定できるのにTerraformでやろうとすると色々調べて回らないといけないので大変でした。 しかし、一度コードに落としてしまえば使いまわせるのがTerraformの良いところですね。

ところで、この方法は設定しなければいけない要素が少なくて手軽ではあるんですが、古いスナップショットを手動で作成しなければいけなかったりと万能ではありません。 より細かい制御がしたい場合はLambdaを使うことになります。 Lambdaも同様にTerraformで設定できるので、興味が湧いたら調べてみて下さいませ。

それでは

ソースコード

今回実行したtfファイルのサンプルコードです。

variable "access_key" {}
variable "secret_key" {}
variable "aws_account_id" {}
variable "region" {
  default = "ap-northeast-1"
}
variable "ebs_id" {}

provider "aws" {
  access_key = "${var.access_key}"
  secret_key = "${var.secret_key}"
  region = "${var.region}"
}

resource "aws_iam_role" "cloudwatch_events_automatic_execution" {
  name = "cloudwatch_events_automatic_execution"
  assume_role_policy = <<EOF
{
  "Version": "2012-10-17",
  "Statement": [
      {
          "Action": "sts:AssumeRole",
          "Principal": {
            "Service": "events.amazonaws.com"
          },
          "Effect": "Allow"
      }
  ]
}
EOF
}

resource "aws_iam_role_policy" "cloudwatch_events_automatic_execution_policy" {
  name = "cloudwatch_events_automatic_execution_policy"
  role = "${aws_iam_role.cloudwatch_events_automatic_execution.id}"
  policy = <<EOF
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "ec2:Describe*",
                "ec2:CreateSnapshot"
            ],
            "Effect": "Allow",
            "Resource": "*"
        }
    ]
}
EOF
}

resource "aws_cloudwatch_event_rule" "take_snapshots_every_day" {
  name = "take_snapshots_every_day"
  description = "Fires every day"
  schedule_expression = "rate(1 day)"
  role_arn = "${aws_iam_role.cloudwatch_events_automatic_execution.arn}"
}

resource "aws_cloudwatch_event_target" "take_snapshots_every_day" {
  rule = "${aws_cloudwatch_event_rule.take_snapshots_every_day.name}"
  arn = "arn:aws:automation:${var.region}:${var.aws_account_id}:action/EBSCreateSnapshot/EBSCreateSnapshot_${aws_cloudwatch_event_rule.take_snapshots_every_day.name}"
  input = "\"arn:aws:ec2:${var.region}:${var.aws_account_id}:volume/${var.ebs_id}\""
}

2泊3日の開発合宿 in 熱海に行ってきました!!

はじめまして。4月からメドピア新卒一期生として入社する栢割(カヤワリ)です。今回は初めてメドピアの開発合宿に参加してきたので、その時の様子を書かせて頂きます。よろしくお願いします!!!!!!

どんな開発合宿なの??

メドピアの開発合宿は、年に2,3回程度定期的に行われているエンジニアのためのイベントです。その都度合宿のテーマを決めて、開発に取り組みます。 今回の合宿は「技術研鑽」をテーマに、熱海で2泊3日の開発合宿となりました。個人でもチームでもいいので、何か一つ学びたいテーマや課題を決め、それらについて知識を深めるといった具合です。

  • 数年前に作られた社内既存システムの深い部分を再解析。そして新技術にどう組み替えるかを考える方

  • Slack APIやNotification APIを使った通知機能を作る方

  • 最近のJSフレームワークAngular2とかReactとか)を学ぶ方(Reactってもうv15.0ってやつが出てるんですね…ひえー)React v15.0 Release Candidate | React

  • AMP(アンプ)googleが発表したモバイル端末でのWebページ表示高速化の規格)について調べる方
    、、、、などなど。いろんなテーマを各自決めて取り組みました。

合宿当日はどんな様子だった??

1日目

宿泊先は熱海温泉 山木旅館です。昔ながらのおもてなしがある、心安らぐ和風の宿でした。
メドピア開発合宿では、有名な伊東の山喜旅館さんに過去何回か行ったことがあるそうですが、今回は違う「やまき」旅館さんに宿泊することになりました。www.yamakiryokan.co.jp

16:00頃に品川駅を出発し、18:00くらいには旅館に到着。
f:id:MedPeerEngineers:20160302142147j:plain

f:id:MedPeerEngineers:20160301095054j:plain
「ふう…着いたー。よっしゃ!!温泉入ろーーー!!!」、、、、ではなく、部屋に入ったら無線環境整えて、すぐに開発に取り組みます。

「3日間もあれば、すげーモノ作れそう!!!余裕っしょ!!」って思う方もいるかもしれません。でも、初日の夜〜最終日の午前中の2泊3日で、食事や睡眠時間などを考えると、実質開発にあてられる時間は、、、
20~24時間くらい?!?!
徹夜は考慮してません。かなりアバウトですが、多分このくらい。楽しみだった半面、開発スピードやスキルがまだまだな自分は「やべぇ、意外と時間ない?!大丈夫か?!」と、行きの新幹線で内心焦ってましたw。

夕飯を食べた後、
「今回の合宿で私は〇〇やります!!」
と宣言してから本格スタート!!!畳や布団で寝転がりながら、、、。座椅子座りながら、、、。温泉に入りながら、、、(<= さすがにコレやってる方はいなかった)。各自好きなスタイルで開発に取り組みました。こんな風に落ち着いた旅館でリラックスして開発に取り組めるのが、開発合宿の魅力だと思います。
ちなみに僕はReactを勉強したかったので、以前メドピアでのインターン時に開発した社内Webアプリのフロント部分を、Reactに置き換えることを目標にしました。

2日目

朝起きて旅館のご飯を食べたら、すぐに開発に没頭!! ちょっと眠かったですが、カタカタ…カタカタ…。

お昼は旅館の隣にある鰻屋さんに行って、高そうな鰻の蒲焼きを食べました。めっちゃ美味しかったです(写真撮るの忘れた…)。

昼食後、各自の進捗状況をみるため、部屋に集まって中間発表!!!!
この時点で、既に開発物が形になっている人もいました。先輩方の成果を見て、「よっしゃ!頑張るぞ!!」と気合を入れ直し、残り時間集中します。3日目は午前中に宿を出てしまうので、あまり時間がありません。
つまり、この2日目が開発の頑張り所です!!!

途中、他の先輩社員の方が差し入れを持って、様子を見に来てくれました(^0^) 差し入れありがとうございます(_ _ )

夜は差し入れを食べて、雑談もしながら、先ほど同様、開発!開発!
12時頃までやった時点でとてつもない眠気が襲ったので、宿の温泉に入ってリフレッシュ。すぐにお風呂入ってリフレッシュできるのも温泉合宿の魅力です。
温泉に入った後も明日のために少しやったのですが、結局2時くらいにダウンしてしまいました。zzzz
中には追い込みで朝方5時くらいまでやってた方もいたそうです。

3日目

最終日!!
最終日は、各自の成果を発表する場があります。 朝食を食べて、午前中はそれぞれの部屋で最終調整。と言っても、2日の時点で完成していた方が殆どだったので、部屋でゆっくり…という感じ。

そしてお昼頃、昨日と同じ部屋で最終成果発表しました!!写真は発表後に各自の成果物に対してディスカッションしてる様子。 f:id:MedPeerEngineers:20160301093331j:plain

当たり前ですが、先輩方とのレベル差を痛感。奥で縮こまって座ってるのが僕ですが、テンション落ちてる感じですねwww。次回はもっと成長して参加します!!!

最後は打ち上げランチして、熱海駅まで徒歩でお土産買いながら帰りました!(また食事の写真撮るの忘れた…ごめんなさい)
帰りに買ったおみやげは、、、 猫の舌!!!!!!
www.mikiseika.com
を買いました。
学校の後輩から「コレ買ってきて!!!」と要望があったので。
洋風なクッキーって感じです。なぜ猫の舌というのかは不明。熱海に来た際は、是非買ってみて下さい。

合宿参加してみてどうだった?? 

「普通に楽しい」「技術研鑽できる」「これから一緒に働く先輩方の雰囲気等も知れる」などなど、、、自分にとって有意義な時間を過ごせたと思います。
2泊3日という短い期間で、特定の技術研鑽や成果を出すというのは、学生時代に特に時間に縛られずダラダラと開発をしていた自分にとっては、なかなか難しかったです。でも、このような開発だけに没頭できるイベントは自身のスキルアップにおいて重要ですし、2泊3日でどの程度自分が出来るのか?確認できるいい機会であるとも思いました。後は今回の合宿で初めてお会いする方や、まだあまりお話したこと無かった方とも親睦を深めることができるのも、合宿の良い所だと思います。 次回も是非参加したいです。
これからメドピアの一員として一生懸命頑張っていくわけですが、初めて参加した今回の合宿を思い出して「あ〜、オレもこんな時期あったな〜」と思えるように成長していきたいと思います。
最後は個人的な抱負になってしまいましたが、以上で2泊3日のメドピア開発合宿 in 熱海の様子を報告させて頂きます。

問題を問題として認識するためにしたこと

こんにちわ、エンジニアの井原です。

どの会社も同じだとは思いますが、自社サービスをフルスクラッチしていた最初のころというのは突貫で作っている部分が少なからずあると思います。 弊社もそういった部分が多々あり、特にフロントエンドは手付かずな状態でした。

この混沌としたフロントエンドに漠然とした不安はあるものの、ルールが全くないため全員が同じ思いになってなく、何をもって悪いと言えるのかといった状態になっていました。 そのため、何が悪いのか、どうしたらいいのかという方針作りからはじめました。

本稿では、方針を作るプロセスとできた方針をいかにまもってもらうかという流れを記載します。

現状を確認する

  • インデント..?
  • styleプロパティ
  • 重複したid
  • 大量のcssファイル
  • ロード目的以外のscriptタグとstyleタグ
  • HTML4のころのタグ
  • invalidなcss
  • etc...

あるべき論なルールを作る

現状がすごすぎて列挙すると切りがないため、 まずは現状は気にせず世の中のデファクトスタンダードを踏襲したルールを作りました。

例えば、JavaScriptAirbnbのコーディングスタイルガイドcssではCyberAgentGoogleの公開しているコーディングスタイルガイドのような、メジャーなものを参考にしました。

Lintツールの導入

上記で定義したルールを人間の目で見るのは限界があるので、各種Lintツールを導入して機械の力に助けてもらいます。

ルールを設定

各Lintにあるべき論ルールを設定しました。

ただ、既存のプロジェクトにあるべき論をそのまま適用するとエラー量が大変な事になります。多すぎるエラーはほとんどの人のやる気を失わせ、やがて放置され、形骸化するのが常です。

ですから、共通のルールを適用しつつ、プロジェクト毎にルールを変えられるようにしました。 (もちろん最終的にはあるべき論に少しずつ近づけていきます)

ESLint

ESLintはルールをnpmで取得して、それを継承する形で設定ができます。 その機能を利用するため、まず社内リポジトリに上記ルールを定義したeslint-config-medpeerを作成します。各プロジェクトはeslint-config-medpeerを継承した上でプロジェクトにあわせた妥協ラインを設定するようにしました。

scss-lint

scss-lintはESLintのような継承の仕組みがないですが、明示的に設定しなかったルールはデフォルトのルールが適用されるという仕様があります。

そこで、scss-lint本体のリポジトリをforkし、デフォルトの設定をあるべき論ルールにあわせて書き換えて社内リポジトリに設置しました。 これをインストールして利用することで、ESLintの設定の継承に近いことが実現できました。

html

htmlに関しては妥協を許さないスタンスで共通の設定ファイルを導入。 Nu HTML Checkerは https://validator.nu で確認するのではなく、ローカルで動かしているものを利用するようにしました。動作環境はdockerfileを作り配布しました。

Runnerを導入する

書き換えるたびに手動で実行するという運用では、面倒でやらなくなる、もしくは実行するのを忘れるので、ファイル監視して書きかわるたびにLintを通すようにします。

ESLintとscss-lint

gulp-watchで監視します。

html

htmlに関しては静的なhtmlファイルであれば同じくgulpでいいのですが、弊社はphpで作っているサービスが多いためテンプレートファイルです。 ビルドするまではhtmlの全貌が見えないので、ビルド済みのものを各種Lintツールに流す必要があります。

できればプロジェクトのセッティング(npm installとかcomposer installとか)しただけで環境が構築されてて欲しかったので、以下の2つをつくってみました。

  • BrowserSyncにmiddlewareで挟んでBrowserSyncのログに流すようにした
  • PHP debugbarにCheckerの結果を表示するタブを増やす

ただBrowserSyncは裏で勝手に動いているのでスルーしがちです。 debugbarはdebugbar自体入れていないプロジェクトもあるので、全てのプロジェクトで使えるわけでもない。

別途インストールが必要ではありますが、ブラウザの拡張ツールにしたほうが良さそうな気がしてます。htmlについてはまだベストな方法を模索しているところです。

今後の展開

ルールや仕組みはできたので次は実際に書き換えていく作業になります。 その際レイアウトが崩れていないかを人間の目ですべてを確認するのは難しいので、画面側のテストを導入しようとしています。

さらに実際に運用されているものの監視も不十分なため、エラートラッキングツールの導入も検討しているところです。

ほかにもjQueryバージョンバラバラ問題とかjQueryプラグインたくさん問題とかロードしているファイル多すぎ問題とかまだまだ問題は多く抱えています...

問題は多く抱えつつも、方針を決めることで今まで空中で漂っていた何かが問題として設定できるようになりました。これで問答無用で斧が投げられるようになったので、今後は改善していくしかないです。

ぼくらのたたかいはまだまだこれからだ!