Googleデータポータル on ララジャパン

Googleデータポータル：コミュニティコネクタ（４）コントローラのセキュリティ

Mon, 26 Aug 2019 01:49:05 +0900

Google Apps Scriptで作成したコネクタやGoogleデータポータルで作成したデータソースとレポートは、すべてGoogleの共有設定によりアクセス権限を細かく設定できます。とりあえず、現在はオーナーの私だけが権限となっているので他からのアクセスされることに心配はありません。一方、Googleデータポータル：コミュニティコネクタ（１）コントローラの作成において作成したコントローラは、この状態では誰でもアクセスできるコントローラとなっています。良くないですね。どうかしてみましょう！

コントローラで認証

コントローラとGoogleデータポータルデータソースで秘密のキーを共有し、データソースがコントローラにアクセスするときに、そのキーを渡してコントローラで認証とします。秘密のキーは一般にAPIのアクセスに使われる、APIキーと同じことです。キーを知らなければ誰もアクセスできません。

まず、環境設定の.envのファイルを変更します。

.env

...
GDP_KEY=N2JjNDc4MTk2M2Q1MGRlMTY3NGIxOGE3

N2JjNDc4MTk2M2Q1MGRlMTY3NGIxOGE3が秘密のキーです。

このキーは、config(‘app.gdp_key’)として取得するので、config/app.phpファイルの編集も必要です。

config/app.php

<?php

return [
...
        'Validator' => Illuminate\Support\Facades\Validator::class,
        'View' => Illuminate\Support\Facades\View::class,

    ],

    'gdp_key' => env('GDP_KEY'),
];

そしてコントローラでデータソースから渡される認証キーをチェックします。キーがない、キーが間違っているなら403の禁止のエラーとなります。

app/Http/Controlelrs/GdpController.php

namespace App\Http\Controllers;

use Illuminate\Http\Request;

use App\User;

class GdpController extends Controller
{
    /**
     * index
     *
     * @param  \Illuminate\Http\Request $request
     * @return \Illuminate\Http\JsonResponse
     */
    public function index(Request $request)
    {
        DB::enableQueryLog();
                                                                                                                                                                                
       // 秘密のキーをチェック
        if ((! $request->key) || ($request->key != config('app.gdp_key'))) {
            abort(403);
        }
                                                                                                                                                                                                              
        $query = User::query();                                                                                                                                                                                    
                                                                                                                                                                                                                   
        if ($request->date_start) {                                                                                                                                                                                
            $query->where('created_at', '>=', $request->date_start);                                                                                                                                               
        }                                                                                                                                                                                                          
                                                                                                                                                                                                                   
        if ($request->date_end) {                                                                                                                                                                                  
            $query->where('created_at', '<=', $request->date_end);                                                                                                                                                 
        }                                                                                                                                                                                                          
                                                                                                                                                                                                                   
        $rows = $query                                                                                                                                                                                             
            ->select(DB::raw('id, DATE(created_at) as date_created'))                                                                                                                             
            ->orderBy('created_at')                                                                                                                                                                                
            ->get();                                                                                                                                                                                               
                                                                                                                                                                                                                   
        Log::debug(DB::getQueryLog());   
    }
}

早速、テストしてみましょう。まずは、秘密キーなしでテストします。

$ php artisan tinker
Psy Shell v0.9.9 (PHP 7.2.16 — cli) by Justin Hileman
>>> use Zttp\Zttp;
>>> $url = 'https://example.com/l58/gdp';
=> "https://example.com/l58/gdp"
>>> $r = Zttp::post($url, ['date_start' => '2019-01-01', 'date_end' => '2019-01-10']);
=> Zttp\ZttpResponse {#2956
     +"response": GuzzleHttp\Psr7\Response {#3001},
     +"cookies": GuzzleHttp\Cookie\CookieJar {#2957},
     +"transferStats": GuzzleHttp\TransferStats {#3002},
   }
>>> $r->status();
=> 403

アクセス禁止のステータスです。次は、秘密キーありでテストします。

>>> $r = Zttp::post($url, ['date_start' => '2019-01-01', 'date_end' => '2019-01-10', 'key' => 'N2JjNDc4MTk2M2Q1MGRlMTY3NGIxOGE3']);
=> Zttp\ZttpResponse {#2997
     +"response": GuzzleHttp\Psr7\Response {#3063},
     +"cookies": GuzzleHttp\Cookie\CookieJar {#3008},
     +"transferStats": GuzzleHttp\TransferStats {#3064},
   }
>>> $r->status();
=> 200
>>> $r->json();
=> [
     [
       "id" => 17,
       "date_created" => "2019-01-06",
     ],
     [
       "id" => 95,
       "date_created" => "2019-01-07",
     ],
     [
       "id" => 73,
       "date_created" => "2019-01-08",
     ],
   ]

認証成功です！

データソースで秘密のキーを設定

今度は、Googleデータポータルでデータソースの作成する際に、カスタムコネクタを選択したところで、アクセスするURLだけではなく秘密キーも尋ねるようにします。

これには、Google Apps Scriptのカスタムコネクタのプログラムの変更が必要です。以下全コードを掲載します。前回のコードgetConfig()と比べてみてください。fetchDataFromApi()の関数の定義に変更があります。

main.js

var cc = DataStudioApp.createCommunityConnector();

// 認証に必要な関数。ここでは認証なし。

function getAuthType() {
  var response = { type: 'NONE' };
  return response;
}

// このコネクタを使用してデータソースを作成するときに指定するときに必要な関数

function getConfig(request) {
  var config = cc.getConfig();
  
  config
    .newTextInput()
    .setId('url')
    .setName('データ元のURLを指定してください')
    .setHelpText('e.g. https://example.com/gdp')
    .setPlaceholder('https://');
  
  config
    .newTextInput()
    .setId('key')
    .setName('秘密のキーを入力してください');　// 秘密のキーを尋ねる
  
  config.setDateRangeRequired(true);

  return config.build();
}

// データソースで表示される項目を定義

function getFields() {
  var fields = cc.getFields();
  var types = cc.FieldType;

  fields
    .newMetric()
    .setId('id')
    .setName('id')
    .setType(types.NUMBER);

  fields
    .newDimension()
    .setId('date_created')
    .setName('date_created')
    .setType(types.YEAR_MONTH_DAY);
  
  fields
    .newDimension()
    .setId('year_month')
    .setName('年月')
    .setFormula("TODATE(date_created,'%Y-%m')")
    .setType(types.YEAR_MONTH);

  return fields;
}

// データソースで表示される項目に必要な関数

function getSchema(request) {
  var fields = getFields().build();
  return { schema: fields };
}

// データソースを通して実際のデータ取得のために必要な関数

function getData(request) {

  var requestedFields = getFields().forIds(
    request.fields.map(function(field) {
      return field.name;
    })
  );
  
  try {
    var response = fetchDataFromApi(request);
    
    var rows = JSON.parse(response);
    
    var data = [];
    
    rows.forEach(function(row) {
      var values = [];
      requestedFields.asArray().forEach(function(field) {
        switch(field.getId()) {
          case 'id':
            values.push(row.id);
            break;
          case 'date_created':
            values.push(row.date_created);
            break;            
          default:
            values.push('');
        }
      });
      data.push({
        values: values
      });
    });
  } catch (e) {
    cc.newUserError()
      .setDebugText('Error fetching data from API. Exception details: ' + e)
      .setText(
        'The connector has encountered an unrecoverable error. Please try again later, or file an issue if this error persists.'
      )
      .throwException();
  }

  return {
    schema: requestedFields.build(),
    rows: data
  };
}

/**
 * コントローラにアクセスして、jsonのデータを取得。開始日と終了日の期間も指定する。
 *
 * @param {Object} request Data request parameters.
 * @returns {string} Response text for UrlFetchApp.
 */
function fetchDataFromApi(request) {
 var formData = {
    'key' : request.configParams.key,   //秘密のキーを送る
    'date_start' : request.dateRange.startDate,
    'date_end' : request.dateRange.endDate
  };

  var options = {
    'method' : 'get',
    'payload' : formData
  };

  var response = UrlFetchApp.fetch(request.configParams.url, options);
  return response;
}

// 以下を設定すると、エラーが起きたときに詳細の説明が得られる

function isAdminUser() {
  return true;
}

データソースとレポートの再設定

コネクタのコードを保存したら、今度はGoogleデータポータルで、データソースを作成し直します。

既存のコネクタを使用するなら、初期化が必要なので、現在使用しているコネクタのアクセス権限を外します。

そこからは、Googleデータポータル：コミュニティコネクタ（３）データソースとレポートの作成の、コネクタの登録とデータソースの作成のステップに従ってください。

前回と違って、以下のように秘密のキーを入力する必要あります。再接続ボタンを押してデータソースの変更は完了です。

今度は、前回作成したGoogleデータポータルのレポートを開いて編集です。オープンすると以下のよにデータソースのエラーとなっています。上の変更でレポートのデータソースが更新されたからです。以下のように前回のデータソースは、「不明」となっているので、更新したデータソースを代わりに選択します。

以前と同じグラフが出てきました。これで完了です。

Googleデータポータル：コミュニティコネクタ（３）データソースとレポートの作成

Wed, 14 Aug 2019 07:27:20 +0900

コネクタを作成したところで、Googleデータポータルでデータソースとレポートを作成します。やっとビジュアルな部分です。

コネクタの登録の準備

まずは作成したコネクタをコミュニティコネクタとしての登録です。まずは、登録時に尋ねられる情報を前もって取得します。

Google Apps Scriptにおいて以下のメニューを選択します。

そこで表示される以下において、Get IDをクリックして、Development IDをコピーします。

コネクタの登録とデータソースの作成

今度は、Googleデータポータルにおいて、データソースの新規を作成します。

以下の画面において、通常はそこで表示されているコネクタを選択する代わりに、右上のでデベロッパーをクリックします。

次に表示される画面で、先ほどコピーしたDevelopment IDをペーストして検証ボタンをクリックします。そうすると、マニフェストを読み取り、「カスタムコネクタ」が表示されるので、それを選択します。

今度は以下の画面で承認します。

承認を完了すると、以下の画面に、作成したコントローラのURLを入力して、右上の接続ボタンをクリックします。

以下の画面では、データソースでアクセスできるフィールドが表示されます。MySQLコネクタとは違ってすでに「年月」の計算項目も表示されています。これは、main.gsにおいて定義しておいたからです。

これでデータソースの作成は完了です。

レポートの作成

レポートにおいて、データソースに作成した「カスタムコネクタ」を指定して、ディメンション、指標、並び替えを指定するとグラフが表示されます。

Googleデータポータル：コミュニティコネクタ（２）コネクタの作成

Wed, 14 Aug 2019 07:08:45 +0900

前回において、データ供給元となるコントローラを作成しました。今度は、それを使用してデータポータルのデータソースを作成するために、カスタムのコミュニティコネクタの作成する必要があります。コネクトの作成は、Google Apps Scriptでの開発となり、ウェブではここで詳しく説明されています。Google Apps Scriptの開発は私には初めてであり、とても興味があるところです。しかし、開発の言語はjavascript(google script）、ファイルの編集はすべてウェブでと、普段のプロジェクトとは違い、また先のGoogleでの説明で扱う例は、参考になるものの、私のやりたいこととは違うゆえに、試行錯誤たくさんありました。

コミュニティコネクタの作成にはいくつかステップがあります。

新しいGoogle Apps Scriptプロジェクトを作成する
コネクタコードを作成する
プロジェクトマニフェストを作成する

Google Apps Scriptのプロジェクトを作成

Googleのアカウントにログインして、以下へ行きます。

https://script.google.com/home

このような画面です。

上の画面で、新規スクリプトをクリックすると、以下の画面になります。

そこで、まず「無題のプロジェクト」を「カスタムコネクタ」と上書きし、「コード.gs」を「main.gs」と英語名に改名します。英語名にするのは、後にウェブ環境以外で編集するときに扱い易くするためです。main.gsでなくてもCode.gsでも名前はＯＫです。ただし、拡張子は、jsでなくgsであることに注意を。

コネクタコードの作成

肝心のコードですが、javascript言語で開発します。データポータル以外でも、GoogleシートなどGoogleの他のサービスのプラグイン機能のための開発も同様なようです。

コネクタのコード開発はリソースも少なく試行錯誤が伴いますが、私が参考としたのは以下です。

https://developers.google.com/datastudio/connector/build https://codelabs.developers.google.com/codelabs/community-connectors/#0 https://developers.google.com/datastudio/connector/reference

開発したコードは以下となります。main.gsにコピペしてください。

main.gs

var cc = DataStudioApp.createCommunityConnector();

// 認証に必要な関数。ここでは認証なし。

function getAuthType() {
  var response = { type: 'NONE' };
  return response;
}

// このコネクタを使用してデータソースを作成するときに入力してもらう項目を指定する関数。
// ここでは、アクセス先のurlのみを尋ねる。

function getConfig(request) {
  var config = cc.getConfig();
  
  config
    .newTextInput()
    .setId('url')
    .setName('データ元のURLを指定してください')
    .setHelpText('e.g. https://example.com/gdp')
    .setPlaceholder('https://');
  
  config.setDateRangeRequired(true);

  return config.build();
}

// データソースで表示される項目を定義をここで定義。
// id, date_created, 年月の３つの項目。年月は、date_createdをもとにした計算式の項目。

function getFields() {
  var fields = cc.getFields();
  var types = cc.FieldType;

  fields
    .newMetric()
    .setId('id')
    .setName('id')
    .setType(types.NUMBER);

  fields
    .newDimension()
    .setId('date_created')
    .setName('date_created')
    .setType(types.YEAR_MONTH_DAY);
  
  fields
    .newDimension()
    .setId('year_month')
    .setName('年月')
    .setFormula("TODATE(date_created,'%Y-%m')")
    .setType(types.YEAR_MONTH);

  return fields;
}

// データソースを接続した後に表示される項目を定義する関数。上のgetFields()をコール。

function getSchema(request) {
  var fields = getFields().build();
  return { schema: fields };
}

// データソースを通して実際のデータ取得してレポートに渡すときにコールする関数。
// データの取得は、fetchDataFromApi()の関数をコール。

function getData(request) {

  var requestedFields = getFields().forIds(
    request.fields.map(function(field) {
      return field.name;
    })
  );
  
  try {
    var response = fetchDataFromApi(request);
    
    var rows = JSON.parse(response);
    
    var data = [];
    
    rows.forEach(function(row) {
      var values = [];
      requestedFields.asArray().forEach(function(field) {
        switch(field.getId()) {
          case 'id':
            values.push(row.id);
            break;
          case 'date_created':
            values.push(row.date_created);
            break;            
          default:
            values.push('');
        }
      });
      data.push({
        values: values
      });
    });
  } catch (e) {
    cc.newUserError()
      .setDebugText('Error fetching data from API. Exception details: ' + e)
      .setText(
        'The connector has encountered an unrecoverable error. Please try again later, or file an issue if this error persists.'
      )
      .throwException();
  }

  return {
    schema: requestedFields.build(),
    rows: data
  };
}

/**
 * コントローラにアクセスして、jsonのデータを取得。開始日と終了日の期間も指定する。
 */
function fetchDataFromApi(request) {
 var formData = {
    'date_start' : request.dateRange.startDate,
    'date_end' : request.dateRange.endDate
  };

  var options = {
    'method' : 'get',
    'payload' : formData
  };

  var response = UrlFetchApp.fetch(request.configParams.url, options);
  return response;
}

// 以下を設定すると、エラーが起きたときにデバッグに必要な詳細の説明が得られる。

function isAdminUser() {
  return true;
}

プロジェクトマニフェストを作成

以下のメニューから、マニフェストファイルを作成します。

マニフェストファイル、appsscript.jsonは、作成したコネクタをコミュニティコネクタとして登録するのに必要な情報を含みます。以下は私のビジネスの例。

これで一応役者は揃ったというところです。今回は残念ながら何も動作するの見せることができません。次回でデータソースとレポートを作成して初めてすべてが繋がります。また、そのときにどこかで間違いがあるなら問題が起こってきます。デバッグの仕方も習得必要となります。次を乞うご期待！

Googleデータポータル：コミュニティコネクタ（１）コントローラの作成

Mon, 05 Aug 2019 06:17:22 +0900

前回のMySQLのデータベースコネクタを使用してのレポート作成は便利な一方、たとえIP制限しても直接Googleからデータベースにアクセスさせるのはセキュリティ上恐ろしいです。そのデータベースのusersのテーブルにはハッシュであれパスワードのデータもあります。もちろん、そのためにViewを作成したりMySQLレベルでいろいろ細かく制御することも可能ですが管理が大変です。せっかくLaravelのプロジェクトを使うのだからEloquentで簡単に設定したいところです。ということで、今回はそれを実現すべく、コミュニティコネクタを作成して、GoogleデータポータルからLaravelのコントローラを通してデータにアクセスの仕方を説明します。

ステップとしては以下あります。う～ん、長い道のりになりそうです。分けてポストしていきます。その１は、データの供給元となるコントローラの作成です。

データの供給元として、Laravelのコントローラを作成する。
Google Apps Scriptを使い、コミュニティコネクタを作成する。
Googleデータポータルで、そのコネクタを利用してデータソースを作成する。
Googleデータポータルで、そのデータソースを使用してレポートを作成する。

コントローラの作成

前回100個のUserのレコードを作成した、Laravelのプロジェクトにおいてコントローラを作成します。

以下を実行してコントローラのひな形を作成します。

$ php artisan make:controller GdpController

作成された、空のコントローラを編集します。

※修正あります。当初の以下のコードのDATE_FORMAT(created_at, ‘%Y%m%d’)は、DATE(created_at) as date_created’)に変更となりました。前者でも問題ないですが、後者の方でもポータルでは問題ないことが判明して、MySQLらしい表現ということで。

app/Http/Controlelrs/GdpController.php

namespace App\Http\Controllers;

use Illuminate\Http\Request;

use App\User;

class GdpController extends Controller
{
    /**
     * index
     *
     * @param  \Illuminate\Http\Request $request
     * @return \Illuminate\Http\JsonResponse
     */
    public function index(Request $request)
    {
        DB::enableQueryLog();                                                                                                                                                                                      
                                                                                                                                                                                                                   
        $query = User::query();                                                                                                                                                                                    
                                                                                                                                                                                                                   
        if ($request->date_start) {                                                                                                                                                                                
            $query->where('created_at', '>=', $request->date_start);                                                                                                                                               
        }                                                                                                                                                                                                          
                                                                                                                                                                                                                   
        if ($request->date_end) {                                                                                                                                                                                  
            $query->where('created_at', '<=', $request->date_end);                                                                                                                                                 
        }                                                                                                                                                                                                          
                                                                                                                                                                                                                   
        $rows = $query                                                                                                                                                                                             
            ->select(DB::raw('id, DATE(created_at) as date_created'))                                                                                                                             
            ->orderBy('created_at')                                                                                                                                                                                
            ->get();                                                                                                                                                                                               
                                                                                                                                                                                                                   
        Log::debug(DB::getQueryLog());   
    }
}

Googleのポータルのレポートでは期間がいつも指定されるので、date_startとdate_endがリクエストに含まれています。これらの値を条件にクエリを実行してデータを返します。返すデータは、idとdate_createdだけで、余計なemailやpasswordなどは含みません。

date_createdにおいてオリジナルの日時（例：2019-01-01 01:02:03）でなく、2019-01-01と日付だけとしているのは、前者だとポータルのレポートにおいてフィールドのタイプが思うように変わらないなど正しく処理されないことがあるからです。

また、ポータルからどのようなリクエストが来てどのようなSQLを実行するのかも興味があるので、Log::debug(DB::getQueryLog()); を追加しています。

次に、routeの設定をします。以下の1行だけの追加ですが、getでなく、postであることに注意してください。ポータルは、postしか使用しないようです。

routes/web.php

...
Route::post('gdp', 'GdpController@index');

postゆえに、CSRFトークンを無視するように、以下の設定も必要です。

app/Http/Middleware/VerifyCsrToken.php

namespace App\Http\Middleware;

use Illuminate\Foundation\Http\Middleware\VerifyCsrfToken as Middleware;

class VerifyCsrfToken extends Middleware
{
    /**
     * Indicates whether the XSRF-TOKEN cookie should be set on the response.
     *
     * @var bool
     */
    protected $addHttpCookie = true;

    /**
     * The URIs that should be excluded from CSRF verification.
     *
     * @var array
     */
    protected $except = [
        'gdp',
    ];
}

コントローラのテスト

ブラウザを使ってテストするには、POSTのためのコントローラなので簡単には行きません。FireFoxなら、Http Request Makerのような拡張機能が必要です。

まあ、それもいいのですが、ここはLaravelゆえに私の好きなtinkerでテストしたいところです。しかし、デフォルトでテストできる関数と言えば、fopen()なのですが、なかなか面倒そうです。

将来も必要だし何か良いものがないかと調べたところ、以下のライブラリがシンプルで良さそうです。

https://github.com/kitetail/zttp

以下の実行で、プロジェクトにライブラリを追加します。

$ composer require kitetail/zttp

早速、tinkerで実行してみましょう。

$ php artisan tinker
Psy Shell v0.9.9 (PHP 7.2.16 — cli) by Justin Hileman
>>> use Zttp\Zttp;
>>> $url = 'https://example.com/l58/gdp';
=> "https://example.com/l58/gdp"
>>> $r = Zttp::post($url, ['date_start' => '2019-01-01', 'date_end' => '2019-01-10']);
=> Zttp\ZttpResponse {#2956
     +"response": GuzzleHttp\Psr7\Response {#3001},
     +"cookies": GuzzleHttp\Cookie\CookieJar {#2957},
     +"transferStats": GuzzleHttp\TransferStats {#3002},
   }
>>> $r->json();
=> [
     [
       "id" => 17,
       "date_created" => "2019-01-06",
     ],
     [
       "id" => 95,
       "date_created" => "2019-01-07",
     ],
     [
       "id" => 73,
       "date_created" => "2019-01-08",
     ],
   ]

うまく動作していますね。Zttpは、以前書いた記事のようにヘルパーとしてもいいかもしれません。

デバッグのログにも以下のように記録されていました。

[2019-08-04 21:04:43] local.DEBUG: array (
  0 => 
  array (
    'query' => 'select id, DATE_FORMAT(created_at, "%Y%m%d") as date_created from `users` where `created_at` >= ? and `created_at` <= ? order by `created_at` asc',
    'bindings' => 
    array (
      0 => '2019-01-01',
      1 => '2019-01-10',
    ),
    'time' => 1.47,
  ),
)

Googleデータポータル：レポートの埋め込み

Sun, 28 Jul 2019 01:36:54 +0900

前回は、Googleデータポータルを使用してプロジェクトのデータベースに直接アクセスしてレポート（グラフ）を作成しました。今回は、作成したレポートを表示のためにLaravelのプロジェクトのダッシュボードに埋め込みます。

レポートの共有

まず、レポートを共有します。共有の仕方は、Googleドライブなどでのファイルの共有と同じやり方です。

ファイルのメニューから共有を選択します。

ポップアップの画面がでます。以下はその詳細画面ですが、そこで共有したいユーザーを指定します。このユーザーは必ずGoogleアカウントのユーザーである必要があります。

上に表示されている共有リンクをブラウザにコピペしてレポートを閲覧することも可能です。

レポートの埋め込み

レポートを、例えば管理画面のダッシュボードに埋め込むには、まず、埋め込みを有効にする必要あります。

ファイルのメニューから今度は、レポートを埋め込むを選択します。

以下のダイアログで、埋め込みを有効にするをチェックします。

次に表示されるダイアログで、クリップボードにコピーします。

次は、ダッシュボードのブレードに以下のようにペーストします。17行目のiframeの部分です。

@extends('layouts.app')                                                                                                                                                                                            
                                                                                                                                                                                                                   
@section('content')                                                                                                                                                                                                
<div class="container">                                                                                                                                                                                            
    <div class="row justify-content-center">                                                                                                                                                                       
        <div class="col-md-8">                                                                                                                                                                                     
            <div class="card">                                                                                                                                                                                     
                <div class="card-header">Dashboard</div>                                                                                                                                                           
                                                                                                                                                                                                                   
                <div class="card-body">                                                                                                                                                                            
                    @if (session('status'))                                                                                                                                                                        
                        <div class="alert alert-success" role="alert">                                                                                                                                             
                            {{ session('status') }}                                                                                                                                                                
                        </div>                                                                                                                                                                                     
                    @endif                                                                                                                                                                                     
                                                                                                                                                                                                                   
                    <iframe width="600" height="450" src="https://datastudio.google.com/embed/reporting/xxx/page/xxx" frameborder="0" style="border:0" allowfullscreen></iframe>                        
                                                                                                                                                                                                                   
                </div>                                                                                                                                                                                             
            </div>                                                                                                                                                                                                 
        </div>                                                                                                                                                                                                     
    </div>                                                                                                                                                                                                         
</div>                                                                                                                                                                                                             
@endsection

上のiframe内のリンクのURLは、共有時の共有リンクのURLとまったく同じです。

これで完了です。ダッシュボードに以下のように表示されます。

最後に重要なことですが、このレポートの閲覧権限は、Laravelのプロジェクトの管理画面の認証とは関係なく、ブラウズしているユーザーが、すでにレポートを共有したGoogleのユーザーでありGoogleのアカウントでログインしているかどうかに関わります。Googleのログインをしていないと、以下のようにたとえLaravelのプロジェクトで認証されていても、閲覧はできません。

さて、MySQLのデータベースコネクタを使用してのレポート作成は便利な一方、管理上、セキュリティ上不都合な点がたくさんあります。次回はそれを解決するために、Googleデータポータルにおいてカスタムコネクタを作成の仕方を説明します。

Googleデータポータル：データソースとレポートの作成

Mon, 22 Jul 2019 03:14:11 +0900

以前からお客さんのプロジェクトの管理画面のダッシュボードに日別や月別の売り上げ合計や会員の獲得数などをグラフで表示したいと思っていました。もちろん、グラフを作成するjavascriptのライブラリはいくつかありますが、習得にも開発にも時間がたくさんかかりそうです。そこで私の目に留まったのが、Googleデータポータル。データソースを指定してビジュアルなツールでちょいちょいとグラフ化できそうです。今回は、それを使用してMySQLのデータベースから月別に登録した会員数の棒グラフの作成の仕方を説明します。

完成は以下のような画面です。

準備：データベース

まず、データポータルが取得してくるデータのソースとなるデータベースの準備が必要です。コマンドラインから、以下を実行します。

$ mysql -u root mysql -p
Enter password: 
mysql> create database l58;
mysql> create user 'gds'@'%' identified by 'password';
mysql> grant select on l58.* to 'gds'@'%';

データベース名　⇒　l58 ユーザー名　⇒　gds パスワード　⇒　password 権限　⇒　SQL文でSELECTのみの実行が可能 アクセス権限　⇒　インターネットのどこからも（上では、‘gds’@’%‘の%の指定により）

という設定です。しかし、たとえパスワードの認証があってもインターネットのどこからでもこのDBにアクセスできるのは不安ですね。これに関しては後に対応します。

次は、このデータベースを使用するLaravelのプロジェクトの作成ですが、ここでは最新のLaravelのバージョン（5.8）をインストールしたと仮定します。.envの設定には先のデータベース情報を使用することを忘れずに。

このデータベースでのDBテーブルの作成は、以下のようにmigrateを実行します。

$ php artisan migrate
Dropped all tables successfully.
Migration table created successfully.
Migrating: 2014_10_12_000000_create_users_table
Migrated:  2014_10_12_000000_create_users_table (0.02 seconds)
Migrating: 2014_10_12_100000_create_password_resets_table
Migrated:  2014_10_12_100000_create_password_resets_table (0.02 seconds)

今度は、DBテーブル、usersを会員のテーブルとして、ここにフェイクの会員レコードを100個作成します。もちろん、factory()のヘルパーを使用してレコード作成となりますが、１つ問題があります。デフォルトの設定では、作成された会員のレコード作成日時(created_at)が皆作成日が同じになってしまうのです。これでは月別の棒グラフでは今月のみの表示となってしまいます。

Fakerのドキュメントを閲覧すると、dateTimeThisYear()という関数があり、多分に今年の日付をランダムに作成してくれるようです。この関数を使い、以下のようにUserFactory.phpを編集して、created_atに値がランダムに振り当てられるようにします。

...                                                                                                                                                                                                 
$factory->define(User::class, function (Faker $faker) {                                                                                                                                                            
    $dtm = $faker->dateTimeThisYear($max = 'now', $timezone = 'Asia/Tokyo');                                                                                                                                       
                                                                                                                                                                                                                   
    return [                                                                                                                                                                                                       
        'name' => $faker->name,                                                                                                                                                                                    
        'email' => $faker->unique()->safeEmail,                                                                                                                                                                    
        'email_verified_at' => now(),                                                                                                                                                                              
        'password' => '$2y$10$92IXUNpkjO0rOQ5byMi.Ye4oKoEa3Ro9llC/.og/at2.uheWG/igi', // password                                                                                                                  
        'remember_token' => Str::random(10),                                                                                                                                                                       
        'created_at' => $dtm,                                                                                                                                                                                      
        'updated_at' => $dtm,                                                                                                                                                                                      
    ];                                                                                                                                                                                                             
});

用意ができたところで、いつものようにtinkerでレコード作成してみましょう。

>>>  factory(App\User::class, 100)->create();
=> Illuminate\Database\Eloquent\Collection {#2982
     all: [
       App\User {#2978
         name: "鈴木 直子",
         email: "kana93@example.com",
         email_verified_at: "2019-07-18 20:06:46",
         created_at: "2018-10-13 10:06:32",
         updated_at: "2018-10-13 10:06:32",
         id: 1,
       },
       App\User {#2976
         name: "伊藤 幹",
         email: "shuhei93@example.com",
         email_verified_at: "2019-07-18 20:06:46",
         created_at: "2019-05-17 21:42:06",
         updated_at: "2019-05-17 21:42:06",
         id: 2,
       },
     ...

100個レコードできました。意図通りに、作成日時（created_at）もレコードごとに違います。しかし、何故か去年のレコードが作成されているのは変ですね。いつか調べてみます。

準備：MySQLのセキュリティ

先ほど設定したデータベースは、ユーザー情報があればインターネットのどこからでも3306のポートでアクセスできます。Googleデータポータルだけからのアクセスに制限したいなら、ここで書かれているIPのみに制限を課すことができます。

AWSならEC2でセキュリティグループを作成して以下のIPだけから、MySQLのポート(3306)にアクセスできる制限を設定できます。そして、このセキュリティグループを使用しているEC2のセキュリティに追加すればよいです。

データソースの作成

データベースとデータの準備ができたところで、今度はGoogleデータポータルに移ります。まずは、先のデータベースに接続するために、データソースなるものを作成します。Googleのアカウントですでにログインしていると仮定して、こちらへアクセスしてください。

以下の画面で、作成ボタンを押して、データソースを選択します。

次に、数あるデータコネクタから、MySQLを選択します。左上のデータソース名を無題から改名することもお忘れずに。

今度は、データベース情報を入力して、認証ボタンを押します。

認証が成功すると、DBテーブルのリストが右に表示されます。そこから、使用したいDBテーブルを選択します。ここでは、会員のusersを選択します。そして、右上の再接続をクリックしてください。

再接続したのちに表示される画面は、DBテーブル、usersの項目のリストです。なぜか、create_at, updated_atのtimestampの項目は「テキスト」となっているので、以下のように日時のタイプを選択しておいてください。

もう１つの作業として、最終の棒グラフでは、X軸を年月としたいので、年月のフィールドをcreated_atをもとに作成します。

以下のように、フィールドを追加で開かれる画面で、計算式をTODATE(created_at,‘DEFAULT_DECIMAL’, ‘%Y-%m’)と設定します。ここ、MONTH(created_at)のように思われますが、グラフが月別の表示とならなくうまく行きません。Googleデータポータルは、MySQLのtimestampのデータタイプを文字列とみなしているためかもしれません。

レポートの作成

フィールドの設定が完了したところで、このデーターソースを使ってレポートを作成します。画面右上のレポートを作成ボタンを押してください。

開かれた画面で、縦棒グラフを追加します。

次に、以下のように、棒グラフの右のパネルで指定します。「使用可能な項目」から、適切な項目をドラグして以下にドロップします。

上の画面で行った設定は、 データソース ⇒ DS MySql（すでにデフォルトで設定されている） 期間のディメンション ⇒　created_at ディメンション ⇒ 年月指標　⇒　idをドラグして、名前を「会員数」とし、集計方法を「件数」に変更。 並べ替え ⇒　年月。降順から昇順に変更。

こう設定すると、X軸に年月、Y軸にに会員数と、指定のデータベースのデータをもとにした棒グラフが期待通りに表示されます。

表示モードとするとこのポストの最初の画面となります。右上の期間の指定を変えてみてください。応じて、棒グラフが変わります。

最後に、ここで作成したレポートは、どのように管理画面にはめ込むのでしょうか？それは次回のポストとします。

Googleデータポータル on ララジャパン

Googleデータポータル：コミュニティコネクタ（４）コントローラのセキュリティ

コントローラで認証

データソースで秘密のキーを設定

データソースとレポートの再設定

Googleデータポータル：コミュニティコネクタ（３）データソースとレポートの作成

コネクタの登録の準備

コネクタの登録とデータソースの作成

レポートの作成

Googleデータポータル：コミュニティコネクタ（２）コネクタの作成

Google Apps Scriptのプロジェクトを作成

コネクタコードの作成

プロジェクト マニフェストを作成

Googleデータポータル：コミュニティコネクタ（１）コントローラの作成

コントローラの作成

コントローラのテスト

Googleデータポータル：レポートの埋め込み

レポートの共有

レポートの埋め込み

Googleデータポータル：データソースとレポートの作成

準備：データベース

準備：MySQLのセキュリティ

データソースの作成

レポートの作成

プロジェクトマニフェストを作成