[Seasar-user:19061] Re: [mobylet]m:img を適用するとGAEからhttp500エラーが返る
Shin Takeuchi
[E-MAIL ADDRESS DELETED]
2009年 12月 25日 (金) 00:39:32 JST
海野さん
竹内（stakeuchi）です。
お問い合わせの件ですが
ご指摘頂いている通りの問題だと思います。
実際にはサーブレットを介してURLFetchを行っていることが
GAE上で問題となっていると思われるのですが
mobyletには元々FilterでProxy的に画像変換処理を行うロジックもあり、
これを復帰させることでGAE上でも動的なリサイズを行うことが出来るようです。
参考： http://mobyletsample.appspot.com/top
＃Filter方式を閉じたのは
＃Servlet方式に比べて機能が制限されることと
＃Proxyのような処理を行うので
＃ロジック的に少々処理が重くなるため
＃現状は推奨していませんでした。
Filter方式はしばらくメンテナンスをしていなかったのですが
今回の事例を受けて再度インターフェースを用意致しましたので
こちらのSNAPSHOTを適用して頂けますでしょうか？
http://maven.seasar.org/maven2-snapshot/org/seasar/mobylet/mobylet-core/1.0.4-SNAPSHOT/mobylet-core-1.0.4-20091224.152304-1.jar
http://maven.seasar.org/maven2-snapshot/org/seasar/mobylet/mobylet-taglibs/1.0.4-SNAPSHOT/mobylet-taglibs-1.0.4-20091224.152904-1.jar
また、インターフェースとしてtaglibsも改修し、次のような記述を行うことで
Filter方式の画像リサイズ処理を行うことが出来ます。
<m:img src="/getimage" magniWidth="0.8" useFilter="true" codec="GIF" />
＃「codec」は上記のようなURLに拡張子が付いてない場合等に
＃明示的にFilterにContentTypeを教える意味で必要です。
＃逆に「src」にイメージの拡張子が付いているパスであれば「codec」の指定は不要です。
また、全てにuseFilter="true"を記述することが面倒な場合は
mobylet.image.properties内に記述している
image.scale.servlet.pathの値を削除することで
Filterに全て変換処理を行わせることが可能です。
注意点としてはこの方式ではキャッシュが行えないため
毎回Bigtableにアクセスして変換処理を行いますので
高負荷になった場合においては懸念が残る形ではありますので
念頭において頂ければ幸いです。
よろしくお願い致します。
2009年12月24日23:13 <[E-MAIL ADDRESS DELETED]>:
> 渡さん
>
> こちらこそはじめまして。
>
> なるほど、その視点がまったくありませんでした。
>
> 「URL フェッチ Java API 概要」
> http://code.google.com/intl/ja/appengine/docs/java/urlfetch/overview.html
> の「リクエストの作成」に
>
> 「URL フェッチ サービスへのコールは同期されており、サービスがリモート ホスト
> からレスポンスを受け取るまで結果は返されません。リモートホストが応答する前に、
> アプリケーションのリクエストタイマーの時間が経過してしまう場合もあります。リ
> クエストの発行後にキャンセルすることはできません。」
>
> としっかり書いてありました。これのことですね。
>
> とはいえ、まだ理解が浅いため、よく考えてから
> 回避策などをどうするか決めたいと思います。
>
> たいへん助かりました。
> ありがとうございました。
>
> 海野
>
>
>> 海野さん
>>
>> 渡といいます。初めまして。
>>
>> Google App Engineでは、リクエスト処理にローカル環境で
>> エミュレートできていない、いくつかの制限があります。
>> アプリケーションが自分自身に対してURLFetchを利用してリクエストした場合、
>> ある限定的な条件で失敗すると推測されます。
>>
>> A．インスタンスが立ち上がっていない状態から、アプリへリクエストする。
>> ⇒一つインスタンスが立ち上がる。
>> B．アプリのリクエスト処理でURLFetchService#fetchを呼び出す。
>> ⇒リクエストがキューに積まれ、今の処理とは別のインスタンスを利用しようと
>> する。
>>
>> Aのリクエストはインスタンス起動の処理と同一のスレッドで処理されますが、
>> URLFetchServiceの呼び出しによりこのスレッドがブロックされるため、
>> Bのリクエストを処理するためのインスタンスの起動が行なえません。
>> ある程度インスタンスが立ち上がった（スケールアウトした）状態ですとうまく動い
>> てしまうので、
>> テスト時には表面化しなかったのかもしれません。
>>
>> 一般的な回避方法として、インスタンス起動のリクエストでは自分自身に対する
>> URLFetchを使わない、もしくは処理そのものを回避する(slim3ではインスタンス
>> 起動リクエストではredirectさせるような処理があるようです）ぐらいかと思います。
>>
>> mobyletは触ったことがないので、回避するには m:imgを使わない、
>> http://xxx.appspot.com/imagelist/image?key=99999
>> を外部のサーバにする、程度しか私には思いつかないのですが、ご参考まで。
>>
>> 2009年12月23日17:21 <[E-MAIL ADDRESS DELETED]>:
>>> 海野です。
>>> お世話になります。
>>>
>>> mobylet + t2 + S2 + Slim3Datastore
>>> という構成でGAE/Jでアプリを作ってみているのですが、、
>>>
>>> あらかじめBigTableに格納した100k程度のjpg画像を
>>> mobyletの画像リサイズ機能を使って表示しようとして、
>>>
>>> <m:img src="http://xxx.appspot.com/imagelist/image?key=99999"
>>> magniWidth="0.8"/>
>>>
>>> というタグをjspからhtmlに出力しています。
>>>
>>> すると、ローカル環境では表示されるのですが
>>> GAE上にデプロイすると表示できない
>>> という現象に出くわしてます。
>>> （GAEからはhttpの500エラーが返ります。）
>>>
>>> GAEのログを見る限り、MobyletImageReader.getStreamで
>>> ストリームがオープンできなくて、その原因は
>>> com.google.appengine.api.urlfetch.URLFetchServiceImpl.fetch
>>> でタイムアウトが起きたから、と読めます。
>>>
>>> ローカル上のデバッグで確認したところ、
>>> imageScalerにはGaeImageScalerが適用されてます。
>>>
>>> 切り分けの為に、m:imgに指定した
>>> http://xxx.appspot.com/imagelist/image?key=99999
>>> をブラウザから直接リクエストすると、表示されます。
>>>
>>> もひとつためしに、画像を5kくらいの小さなものに変えても
>>> 現象は同じです。
>>>
>>> さらにためしに、m:imgではなく、普通のimgタグに変えると
>>> 表示できます。
>>>
>>> ここまでのお試しで、m:imgを適用したことによって
>>> GAE上でローカルとは異なる何かが原因で
>>> getStreamが失敗しているのだろう
>>> ということしか見当がつきません。
>>>
>>> 何か原因が思いつきましたら、アドバイスいただけませんでしょうか。
>>>
>>> バージョンは次の通りです。
>>> appengine-java-sdk-1.3.0
>>> mobylet 1.0.3
>>> t2 0.6.2-ga
>>> Seaser 2.4.40
>>> Slim3Datastore EA1-SNAPSHOT
>>>
>>> よろしくお願い致します。
>>> 海野
>>>
>>> ＜以下、GAEの管理画面で確認したスタックトレース＞−−−
>>> Nested in javax.servlet.ServletException: javax.servlet.ServletException: org.mobylet.core.MobyletRuntimeException: ストリームをオープンできません path = http://xxx.appspot.com/imagelist/image?k=20091223070604826:
>>> javax.servlet.ServletException: org.mobylet.core.MobyletRuntimeException: ストリームをオープンできません path = http://xxx.appspot.com/imagelist/image?k=20091223070604826
>>> at
>>> org.t2framework.t2.handler.impl.GlobalExceptionHandlerImpl.handleException(GlobalExceptionHandlerImpl.java:79)
>>> at
>>> org.t2framework.t2.filter.T2Filter.handleException(T2Filter.java:284)
>>> at org.t2framework.t2.filter.T2Filter.doFilter(T2Filter.java:217)
>>> at
>>> org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1084)
>>> at
>>> org.t2framework.t2.filter.MultiPartRequestFilter.doFilter(MultiPartRequestFilter.java:161)
>>> at
>>> org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1084)
>>> at
>>> org.mobylet.core.http.MobyletFilter.processFilter(MobyletFilter.java:115)
>>> at
>>> org.mobylet.core.http.MobyletFilter.doFilter(MobyletFilter.java:69)
>>> at
>>> org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1084)
>>> at
>>> com.google.apphosting.utils.servlet.ParseBlobUploadFilter.doFilter(ParseBlobUploadFilter.java:97)
>>> at
>>> org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1084)
>>> at
>>> com.google.apphosting.runtime.jetty.SaveSessionFilter.doFilter(SaveSessionFilter.java:35)
>>> at
>>> org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1084)
>>> at
>>> com.google.apphosting.utils.servlet.TransactionCleanupFilter.doFilter(TransactionCleanupFilter.java:43)
>>> at
>>> org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1084)
>>> at
>>> org.mortbay.jetty.servlet.ServletHandler.handle(ServletHandler.java:360)
>>> at
>>> org.mortbay.jetty.security.SecurityHandler.handle(SecurityHandler.java:216)
>>> at
>>> org.mortbay.jetty.servlet.SessionHandler.handle(SessionHandler.java:181)
>>> at
>>> org.mortbay.jetty.handler.ContextHandler.handle(ContextHandler.java:712)
>>> at
>>> org.mortbay.jetty.webapp.WebAppContext.handle(WebAppContext.java:405)
>>> at
>>> com.google.apphosting.runtime.jetty.AppVersionHandlerMap.handle(AppVersionHandlerMap.java:238)
>>> at
>>> org.mortbay.jetty.handler.HandlerWrapper.handle(HandlerWrapper.java:139)
>>> at org.mortbay.jetty.Server.handle(Server.java:313)
>>> at
>>> org.mortbay.jetty.HttpConnection.handleRequest(HttpConnection.java:506)
>>> at
>>> org.mortbay.jetty.HttpConnection$RequestHandler.headerComplete(HttpConnection.java:830)
>>> at
>>> com.google.apphosting.runtime.jetty.RpcRequestParser.parseAvailable(RpcRequestParser.java:76)
>>> at
>>> org.mortbay.jetty.HttpConnection.handle(HttpConnection.java:381)
>>> at
>>> com.google.apphosting.runtime.jetty.JettyServletEngineAdapter.serviceRequest(JettyServletEngineAdapter.java:135)
>>> at
>>> com.google.apphosting.runtime.JavaRuntime.handleRequest(JavaRuntime.java:235)
>>> at
>>> com.google.apphosting.base.RuntimePb$EvaluationRuntime$6.handleBlockingRequest(RuntimePb.java:5235)
>>> at
>>> com.google.apphosting.base.RuntimePb$EvaluationRuntime$6.handleBlockingRequest(RuntimePb.java:5233)
>>> at
>>> com.google.net.rpc.impl.BlockingApplicationHandler.handleRequest(BlockingApplicationHandler.java:24)
>>> at
>>> com.google.net.rpc.impl.RpcUtil.runRpcInApplication(RpcUtil.java:363)
>>> at com.google.net.rpc.impl.Server$2.run(Server.java:838)
>>> at
>>> com.google.tracing.LocalTraceSpanRunnable.run(LocalTraceSpanRunnable.java:56)
>>> at
>>> com.google.tracing.LocalTraceSpanBuilder.internalContinueSpan(LocalTraceSpanBuilder.java:536)
>>> at com.google.net.rpc.impl.Server.startRpc(Server.java:793)
>>> at com.google.net.rpc.impl.Server.processRequest(Server.java:368)
>>> at
>>> com.google.net.rpc.impl.ServerConnection.messageReceived(ServerConnection.java:448)
>>> at
>>> com.google.net.rpc.impl.RpcConnection.parseMessages(RpcConnection.java:319)
>>> at
>>> com.google.net.rpc.impl.RpcConnection.dataReceived(RpcConnection.java:290)
>>> at
>>> com.google.net.async.Connection.handleReadEvent(Connection.java:466)
>>> at
>>> com.google.net.async.EventDispatcher.processNetworkEvents(EventDispatcher.java:759)
>>> at
>>> com.google.net.async.EventDispatcher.internalLoop(EventDispatcher.java:205)
>>> at
>>> com.google.net.async.EventDispatcher.loop(EventDispatcher.java:101)
>>> at
>>> com.google.net.rpc.RpcService.runUntilServerShutdown(RpcService.java:251)
>>> at
>>> com.google.apphosting.runtime.JavaRuntime$RpcRunnable.run(JavaRuntime.java:394)
>>> at java.lang.Thread.run(Unknown Source)
>>> Caused by: org.mobylet.core.MobyletRuntimeException: ストリームをオープンできません path = http://xxx.appspot.com/imagelist/image?k=20091223070604826
>>> at
>>> org.mobylet.core.image.impl.MobyletImageReader.getStream(MobyletImageReader.java:85)
>>> at
>>> org.mobylet.core.http.image.MobyletImageScaleServlet.doGet(MobyletImageScaleServlet.java:77)
>>> at javax.servlet.http.HttpServlet.service(HttpServlet.java:693)
>>> at javax.servlet.http.HttpServlet.service(HttpServlet.java:806)
>>> at
>>> org.mortbay.jetty.servlet.ServletHolder.handle(ServletHolder.java:487)
>>> at
>>> org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1093)
>>> at
>>> org.slim3.datastore.DatastoreFilter.doFilter(DatastoreFilter.java:53)
>>> at
>>> org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1084)
>>> at
>>> org.t2framework.t2.contexts.impl.ChainImpl.doFilter(ChainImpl.java:53)
>>> at
>>> org.t2framework.t2.navigation.PassThrough.execute(PassThrough.java:71)
>>> at
>>> org.t2framework.t2.filter.T2Filter.handleNotT2Request(T2Filter.java:323)
>>> at
>>> org.t2framework.t2.filter.T2Filter.handleNavigation(T2Filter.java:268)
>>> at org.t2framework.t2.filter.T2Filter.doFilter(T2Filter.java:215)
>>> ... 45 more
>>> Caused by: java.io.IOException: Timeout while fetching:
>>> http://xxx.appspot.com/imagelist/image?k=20091223070604826
>>> at
>>> com.google.appengine.api.urlfetch.URLFetchServiceImpl.convertApplicationException(URLFetchServiceImpl.java:119)
>>> at
>>> com.google.appengine.api.urlfetch.URLFetchServiceImpl.fetch(URLFetchServiceImpl.java:47)
>>> at
>>> com.google.apphosting.utils.security.urlfetch.URLFetchServiceStreamHandler$Connection.fetchResponse(URLFetchServiceStreamHandler.java:409)
>>> at
>>> com.google.apphosting.utils.security.urlfetch.URLFetchServiceStreamHandler$Connection.getInputStream(URLFetchServiceStreamHandler.java:290)
>>> at
>>> org.mobylet.core.image.impl.MobyletImageReader.getStream(MobyletImageReader.java:83)
>>> ... 57 more
>>>
>>>
>>> ＜以下、web.xmlのfilter-mappingとサーブレット設定＞−−−
>>> <filter-mapping>
>>> <filter-name>mobyletfilter</filter-name>
>>> <url-pattern>/*</url-pattern>
>>> <dispatcher>REQUEST</dispatcher>
>>> <dispatcher>FORWARD</dispatcher>
>>> <dispatcher>INCLUDE</dispatcher>
>>> </filter-mapping>
>>> <filter-mapping>
>>> <filter-name>uploadFilter</filter-name>
>>> <url-pattern>/*</url-pattern>
>>> </filter-mapping>
>>> <filter-mapping>
>>> <filter-name>t2</filter-name>
>>> <url-pattern>/*</url-pattern>
>>> </filter-mapping>
>>> <filter-mapping>
>>> <filter-name>datastoreFilter</filter-name>
>>> <url-pattern>/*</url-pattern>
>>> <dispatcher>REQUEST</dispatcher>
>>> </filter-mapping>
>>>
>>> <servlet>
>>> <servlet-name>imageScaleServlet</servlet-name>
>>> <servlet-class>org.mobylet.core.http.image.MobyletImageScaleServlet</servlet-class>
>>> </servlet>
>>> <servlet-mapping>
>>> <servlet-name>imageScaleServlet</servlet-name>
>>> <url-pattern>/imageScaler</url-pattern>
>>> </servlet-mapping>
>>>
>>>
>>>
>>> _______________________________________________
>>> Seasar-user mailing list
>>> [E-MAIL ADDRESS DELETED]
>>> https://ml.seasar.org/mailman/listinfo/seasar-user
>>>
>> _______________________________________________
>> Seasar-user mailing list
>> [E-MAIL ADDRESS DELETED]
>> https://ml.seasar.org/mailman/listinfo/seasar-user
>>
>>
>
>
> _______________________________________________
> Seasar-user mailing list
> [E-MAIL ADDRESS DELETED]
> https://ml.seasar.org/mailman/listinfo/seasar-user
>
--
―Lei Hau'oli Co.,Ltd.―――――――――――
竹内 真（TAKEUCHI SHIN）
Tel: 080-3300-9888
Mail: [E-MAIL ADDRESS DELETED]
株式会社Lei Hau'oli
〒150-0001 東京都渋谷区神宮前4丁目18番6号
Tel: 03-5775-0315 Fax: 03-5775-0314
Seasar-user メーリングリストの案内